/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2007-09-17 23:11:44 UTC
  • mfrom: (2825.2.1 misc-fixen)
  • Revision ID: pqm@pqm.ubuntu.com-20070917231144-u7uxe56m03v95chg
(robertc) Micro-tweaks to sha routines. (Robert Collins)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 by Canonical Ltd
2
 
 
 
1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
26
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
27
27
# new assertFoo() methods.
28
28
 
 
29
import atexit
29
30
import codecs
30
31
from cStringIO import StringIO
31
32
import difflib
 
33
import doctest
32
34
import errno
33
35
import logging
34
36
import os
 
37
from pprint import pformat
 
38
import random
35
39
import re
36
 
import shutil
 
40
import shlex
37
41
import stat
 
42
from subprocess import Popen, PIPE
38
43
import sys
39
44
import tempfile
40
45
import unittest
41
46
import time
42
 
 
43
 
 
 
47
import warnings
 
48
 
 
49
 
 
50
from bzrlib import (
 
51
    bzrdir,
 
52
    debug,
 
53
    errors,
 
54
    memorytree,
 
55
    osutils,
 
56
    progress,
 
57
    ui,
 
58
    urlutils,
 
59
    workingtree,
 
60
    )
44
61
import bzrlib.branch
45
 
import bzrlib.bzrdir as bzrdir
46
62
import bzrlib.commands
47
 
import bzrlib.errors as errors
 
63
import bzrlib.timestamp
 
64
import bzrlib.export
48
65
import bzrlib.inventory
49
66
import bzrlib.iterablefile
50
67
import bzrlib.lockdir
 
68
try:
 
69
    import bzrlib.lsprof
 
70
except ImportError:
 
71
    # lsprof not available
 
72
    pass
51
73
from bzrlib.merge import merge_inner
52
74
import bzrlib.merge3
53
75
import bzrlib.osutils
54
 
import bzrlib.osutils as osutils
55
76
import bzrlib.plugin
56
77
from bzrlib.revision import common_ancestor
57
78
import bzrlib.store
 
79
from bzrlib import symbol_versioning
 
80
from bzrlib.symbol_versioning import (
 
81
    deprecated_method,
 
82
    zero_eighteen,
 
83
    zero_ninetyone,
 
84
    )
58
85
import bzrlib.trace
59
 
from bzrlib.transport import urlescape, get_transport
 
86
from bzrlib.transport import get_transport
60
87
import bzrlib.transport
61
 
from bzrlib.transport.local import LocalRelpathServer
 
88
from bzrlib.transport.local import LocalURLServer
 
89
from bzrlib.transport.memory import MemoryServer
62
90
from bzrlib.transport.readonly import ReadonlyServer
63
 
from bzrlib.trace import mutter
64
 
from bzrlib.tests.TestUtil import TestLoader, TestSuite
 
91
from bzrlib.trace import mutter, note
 
92
from bzrlib.tests import TestUtil
 
93
from bzrlib.tests.HttpServer import HttpServer
 
94
from bzrlib.tests.TestUtil import (
 
95
                          TestSuite,
 
96
                          TestLoader,
 
97
                          )
65
98
from bzrlib.tests.treeshape import build_tree_contents
66
99
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
67
100
 
68
 
default_transport = LocalRelpathServer
 
101
# Mark this python module as being part of the implementation
 
102
# of unittest: this gives us better tracebacks where the last
 
103
# shown frame is the test code, not our assertXYZ.
 
104
__unittest = 1
 
105
 
 
106
default_transport = LocalURLServer
69
107
 
70
108
MODULES_TO_TEST = []
71
109
MODULES_TO_DOCTEST = [
72
 
                      bzrlib.branch,
73
 
                      bzrlib.commands,
74
 
                      bzrlib.errors,
75
 
                      bzrlib.inventory,
76
 
                      bzrlib.iterablefile,
77
 
                      bzrlib.lockdir,
78
 
                      bzrlib.merge3,
79
 
                      bzrlib.option,
80
 
                      bzrlib.osutils,
81
 
                      bzrlib.store
82
 
                      ]
 
110
        bzrlib.timestamp,
 
111
        bzrlib.errors,
 
112
        bzrlib.export,
 
113
        bzrlib.inventory,
 
114
        bzrlib.iterablefile,
 
115
        bzrlib.lockdir,
 
116
        bzrlib.merge3,
 
117
        bzrlib.option,
 
118
        bzrlib.store,
 
119
        # quoted to avoid module-loading circularity
 
120
        'bzrlib.tests',
 
121
        ]
 
122
 
 
123
 
83
124
def packages_to_test():
84
125
    """Return a list of packages to test.
85
126
 
90
131
    import bzrlib.tests.blackbox
91
132
    import bzrlib.tests.branch_implementations
92
133
    import bzrlib.tests.bzrdir_implementations
 
134
    import bzrlib.tests.commands
93
135
    import bzrlib.tests.interrepository_implementations
94
136
    import bzrlib.tests.interversionedfile_implementations
 
137
    import bzrlib.tests.intertree_implementations
 
138
    import bzrlib.tests.inventory_implementations
 
139
    import bzrlib.tests.per_lock
95
140
    import bzrlib.tests.repository_implementations
96
141
    import bzrlib.tests.revisionstore_implementations
 
142
    import bzrlib.tests.tree_implementations
97
143
    import bzrlib.tests.workingtree_implementations
98
144
    return [
99
145
            bzrlib.doc,
100
146
            bzrlib.tests.blackbox,
101
147
            bzrlib.tests.branch_implementations,
102
148
            bzrlib.tests.bzrdir_implementations,
 
149
            bzrlib.tests.commands,
103
150
            bzrlib.tests.interrepository_implementations,
104
151
            bzrlib.tests.interversionedfile_implementations,
 
152
            bzrlib.tests.intertree_implementations,
 
153
            bzrlib.tests.inventory_implementations,
 
154
            bzrlib.tests.per_lock,
105
155
            bzrlib.tests.repository_implementations,
106
156
            bzrlib.tests.revisionstore_implementations,
 
157
            bzrlib.tests.tree_implementations,
107
158
            bzrlib.tests.workingtree_implementations,
108
159
            ]
109
160
 
110
161
 
111
 
class _MyResult(unittest._TextTestResult):
112
 
    """Custom TestResult.
113
 
 
114
 
    Shows output in a different format, including displaying runtime for tests.
 
162
class ExtendedTestResult(unittest._TextTestResult):
 
163
    """Accepts, reports and accumulates the results of running tests.
 
164
 
 
165
    Compared to this unittest version this class adds support for
 
166
    profiling, benchmarking, stopping as soon as a test fails,  and
 
167
    skipping tests.  There are further-specialized subclasses for
 
168
    different types of display.
 
169
 
 
170
    When a test finishes, in whatever way, it calls one of the addSuccess,
 
171
    addFailure or addError classes.  These in turn may redirect to a more
 
172
    specific case for the special test results supported by our extended
 
173
    tests.
 
174
 
 
175
    Note that just one of these objects is fed the results from many tests.
115
176
    """
 
177
 
116
178
    stop_early = False
117
 
 
118
 
    def _elapsedTime(self):
119
 
        return "%5dms" % (1000 * (time.time() - self._start_time))
 
179
    
 
180
    def __init__(self, stream, descriptions, verbosity,
 
181
                 bench_history=None,
 
182
                 num_tests=None,
 
183
                 ):
 
184
        """Construct new TestResult.
 
185
 
 
186
        :param bench_history: Optionally, a writable file object to accumulate
 
187
            benchmark results.
 
188
        """
 
189
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
190
        if bench_history is not None:
 
191
            from bzrlib.version import _get_bzr_source_tree
 
192
            src_tree = _get_bzr_source_tree()
 
193
            if src_tree:
 
194
                try:
 
195
                    revision_id = src_tree.get_parent_ids()[0]
 
196
                except IndexError:
 
197
                    # XXX: if this is a brand new tree, do the same as if there
 
198
                    # is no branch.
 
199
                    revision_id = ''
 
200
            else:
 
201
                # XXX: If there's no branch, what should we do?
 
202
                revision_id = ''
 
203
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
 
204
        self._bench_history = bench_history
 
205
        self.ui = ui.ui_factory
 
206
        self.num_tests = num_tests
 
207
        self.error_count = 0
 
208
        self.failure_count = 0
 
209
        self.known_failure_count = 0
 
210
        self.skip_count = 0
 
211
        self.not_applicable_count = 0
 
212
        self.unsupported = {}
 
213
        self.count = 0
 
214
        self._overall_start_time = time.time()
 
215
    
 
216
    def _extractBenchmarkTime(self, testCase):
 
217
        """Add a benchmark time for the current test case."""
 
218
        return getattr(testCase, "_benchtime", None)
 
219
    
 
220
    def _elapsedTestTimeString(self):
 
221
        """Return a time string for the overall time the current test has taken."""
 
222
        return self._formatTime(time.time() - self._start_time)
 
223
 
 
224
    def _testTimeString(self, testCase):
 
225
        benchmark_time = self._extractBenchmarkTime(testCase)
 
226
        if benchmark_time is not None:
 
227
            return "%s/%s" % (
 
228
                self._formatTime(benchmark_time),
 
229
                self._elapsedTestTimeString())
 
230
        else:
 
231
            return "           %s" % self._elapsedTestTimeString()
 
232
 
 
233
    def _formatTime(self, seconds):
 
234
        """Format seconds as milliseconds with leading spaces."""
 
235
        # some benchmarks can take thousands of seconds to run, so we need 8
 
236
        # places
 
237
        return "%8dms" % (1000 * seconds)
 
238
 
 
239
    def _shortened_test_description(self, test):
 
240
        what = test.id()
 
241
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
242
        return what
120
243
 
121
244
    def startTest(self, test):
122
245
        unittest.TestResult.startTest(self, test)
123
 
        # In a short description, the important words are in
124
 
        # the beginning, but in an id, the important words are
125
 
        # at the end
126
 
        SHOW_DESCRIPTIONS = False
127
 
        if self.showAll:
128
 
            width = osutils.terminal_width()
129
 
            name_width = width - 15
130
 
            what = None
131
 
            if SHOW_DESCRIPTIONS:
132
 
                what = test.shortDescription()
133
 
                if what:
134
 
                    if len(what) > name_width:
135
 
                        what = what[:name_width-3] + '...'
136
 
            if what is None:
137
 
                what = test.id()
138
 
                if what.startswith('bzrlib.tests.'):
139
 
                    what = what[13:]
140
 
                if len(what) > name_width:
141
 
                    what = '...' + what[3-name_width:]
142
 
            what = what.ljust(name_width)
143
 
            self.stream.write(what)
144
 
        self.stream.flush()
 
246
        self.report_test_start(test)
 
247
        test.number = self.count
 
248
        self._recordTestStartTime()
 
249
 
 
250
    def _recordTestStartTime(self):
 
251
        """Record that a test has started."""
145
252
        self._start_time = time.time()
146
253
 
 
254
    def _cleanupLogFile(self, test):
 
255
        # We can only do this if we have one of our TestCases, not if
 
256
        # we have a doctest.
 
257
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
258
        if setKeepLogfile is not None:
 
259
            setKeepLogfile()
 
260
 
147
261
    def addError(self, test, err):
 
262
        """Tell result that test finished with an error.
 
263
 
 
264
        Called from the TestCase run() method when the test
 
265
        fails with an unexpected error.
 
266
        """
 
267
        self._testConcluded(test)
148
268
        if isinstance(err[1], TestSkipped):
149
 
            return self.addSkipped(test, err)    
150
 
        unittest.TestResult.addError(self, test, err)
151
 
        if self.showAll:
152
 
            self.stream.writeln("ERROR %s" % self._elapsedTime())
153
 
        elif self.dots:
154
 
            self.stream.write('E')
155
 
        self.stream.flush()
156
 
        if self.stop_early:
157
 
            self.stop()
 
269
            return self._addSkipped(test, err)
 
270
        elif isinstance(err[1], UnavailableFeature):
 
271
            return self.addNotSupported(test, err[1].args[0])
 
272
        else:
 
273
            unittest.TestResult.addError(self, test, err)
 
274
            self.error_count += 1
 
275
            self.report_error(test, err)
 
276
            if self.stop_early:
 
277
                self.stop()
158
278
 
159
279
    def addFailure(self, test, err):
160
 
        unittest.TestResult.addFailure(self, test, err)
161
 
        if self.showAll:
162
 
            self.stream.writeln(" FAIL %s" % self._elapsedTime())
163
 
        elif self.dots:
164
 
            self.stream.write('F')
165
 
        self.stream.flush()
166
 
        if self.stop_early:
167
 
            self.stop()
 
280
        """Tell result that test failed.
 
281
 
 
282
        Called from the TestCase run() method when the test
 
283
        fails because e.g. an assert() method failed.
 
284
        """
 
285
        self._testConcluded(test)
 
286
        if isinstance(err[1], KnownFailure):
 
287
            return self._addKnownFailure(test, err)
 
288
        else:
 
289
            unittest.TestResult.addFailure(self, test, err)
 
290
            self.failure_count += 1
 
291
            self.report_failure(test, err)
 
292
            if self.stop_early:
 
293
                self.stop()
168
294
 
169
295
    def addSuccess(self, test):
170
 
        if self.showAll:
171
 
            self.stream.writeln('   OK %s' % self._elapsedTime())
172
 
        elif self.dots:
173
 
            self.stream.write('~')
174
 
        self.stream.flush()
175
 
        unittest.TestResult.addSuccess(self, test)
176
 
 
177
 
    def addSkipped(self, test, skip_excinfo):
178
 
        if self.showAll:
179
 
            print >>self.stream, ' SKIP %s' % self._elapsedTime()
180
 
            print >>self.stream, '     %s' % skip_excinfo[1]
181
 
        elif self.dots:
182
 
            self.stream.write('S')
183
 
        self.stream.flush()
184
 
        # seems best to treat this as success from point-of-view of unittest
185
 
        # -- it actually does nothing so it barely matters :)
186
 
        unittest.TestResult.addSuccess(self, test)
 
296
        """Tell result that test completed successfully.
 
297
 
 
298
        Called from the TestCase run()
 
299
        """
 
300
        self._testConcluded(test)
 
301
        if self._bench_history is not None:
 
302
            benchmark_time = self._extractBenchmarkTime(test)
 
303
            if benchmark_time is not None:
 
304
                self._bench_history.write("%s %s\n" % (
 
305
                    self._formatTime(benchmark_time),
 
306
                    test.id()))
 
307
        self.report_success(test)
 
308
        unittest.TestResult.addSuccess(self, test)
 
309
 
 
310
    def _testConcluded(self, test):
 
311
        """Common code when a test has finished.
 
312
 
 
313
        Called regardless of whether it succeded, failed, etc.
 
314
        """
 
315
        self._cleanupLogFile(test)
 
316
 
 
317
    def _addKnownFailure(self, test, err):
 
318
        self.known_failure_count += 1
 
319
        self.report_known_failure(test, err)
 
320
 
 
321
    def addNotSupported(self, test, feature):
 
322
        """The test will not be run because of a missing feature.
 
323
        """
 
324
        # this can be called in two different ways: it may be that the
 
325
        # test started running, and then raised (through addError) 
 
326
        # UnavailableFeature.  Alternatively this method can be called
 
327
        # while probing for features before running the tests; in that
 
328
        # case we will see startTest and stopTest, but the test will never
 
329
        # actually run.
 
330
        self.unsupported.setdefault(str(feature), 0)
 
331
        self.unsupported[str(feature)] += 1
 
332
        self.report_unsupported(test, feature)
 
333
 
 
334
    def _addSkipped(self, test, skip_excinfo):
 
335
        if isinstance(skip_excinfo[1], TestNotApplicable):
 
336
            self.not_applicable_count += 1
 
337
            self.report_not_applicable(test, skip_excinfo)
 
338
        else:
 
339
            self.skip_count += 1
 
340
            self.report_skip(test, skip_excinfo)
 
341
        try:
 
342
            test.tearDown()
 
343
        except KeyboardInterrupt:
 
344
            raise
 
345
        except:
 
346
            self.addError(test, test.__exc_info())
 
347
        else:
 
348
            # seems best to treat this as success from point-of-view of unittest
 
349
            # -- it actually does nothing so it barely matters :)
 
350
            unittest.TestResult.addSuccess(self, test)
187
351
 
188
352
    def printErrorList(self, flavour, errors):
189
353
        for test, err in errors:
190
354
            self.stream.writeln(self.separator1)
191
 
            self.stream.writeln("%s: %s" % (flavour, self.getDescription(test)))
 
355
            self.stream.write("%s: " % flavour)
 
356
            self.stream.writeln(self.getDescription(test))
192
357
            if getattr(test, '_get_log', None) is not None:
193
358
                print >>self.stream
194
359
                print >>self.stream, \
199
364
            self.stream.writeln(self.separator2)
200
365
            self.stream.writeln("%s" % err)
201
366
 
202
 
 
203
 
class TextTestRunner(unittest.TextTestRunner):
 
367
    def finished(self):
 
368
        pass
 
369
 
 
370
    def report_cleaning_up(self):
 
371
        pass
 
372
 
 
373
    def report_success(self, test):
 
374
        pass
 
375
 
 
376
    def wasStrictlySuccessful(self):
 
377
        if self.unsupported or self.known_failure_count:
 
378
            return False
 
379
        return self.wasSuccessful()
 
380
 
 
381
 
 
382
class TextTestResult(ExtendedTestResult):
 
383
    """Displays progress and results of tests in text form"""
 
384
 
 
385
    def __init__(self, stream, descriptions, verbosity,
 
386
                 bench_history=None,
 
387
                 num_tests=None,
 
388
                 pb=None,
 
389
                 ):
 
390
        ExtendedTestResult.__init__(self, stream, descriptions, verbosity,
 
391
            bench_history, num_tests)
 
392
        if pb is None:
 
393
            self.pb = self.ui.nested_progress_bar()
 
394
            self._supplied_pb = False
 
395
        else:
 
396
            self.pb = pb
 
397
            self._supplied_pb = True
 
398
        self.pb.show_pct = False
 
399
        self.pb.show_spinner = False
 
400
        self.pb.show_eta = False,
 
401
        self.pb.show_count = False
 
402
        self.pb.show_bar = False
 
403
 
 
404
    def report_starting(self):
 
405
        self.pb.update('[test 0/%d] starting...' % (self.num_tests))
 
406
 
 
407
    def _progress_prefix_text(self):
 
408
        a = '[%d' % self.count
 
409
        if self.num_tests is not None:
 
410
            a +='/%d' % self.num_tests
 
411
        a += ' in %ds' % (time.time() - self._overall_start_time)
 
412
        if self.error_count:
 
413
            a += ', %d errors' % self.error_count
 
414
        if self.failure_count:
 
415
            a += ', %d failed' % self.failure_count
 
416
        if self.known_failure_count:
 
417
            a += ', %d known failures' % self.known_failure_count
 
418
        if self.skip_count:
 
419
            a += ', %d skipped' % self.skip_count
 
420
        if self.unsupported:
 
421
            a += ', %d missing features' % len(self.unsupported)
 
422
        a += ']'
 
423
        return a
 
424
 
 
425
    def report_test_start(self, test):
 
426
        self.count += 1
 
427
        self.pb.update(
 
428
                self._progress_prefix_text()
 
429
                + ' ' 
 
430
                + self._shortened_test_description(test))
 
431
 
 
432
    def _test_description(self, test):
 
433
        return self._shortened_test_description(test)
 
434
 
 
435
    def report_error(self, test, err):
 
436
        self.pb.note('ERROR: %s\n    %s\n', 
 
437
            self._test_description(test),
 
438
            err[1],
 
439
            )
 
440
 
 
441
    def report_failure(self, test, err):
 
442
        self.pb.note('FAIL: %s\n    %s\n', 
 
443
            self._test_description(test),
 
444
            err[1],
 
445
            )
 
446
 
 
447
    def report_known_failure(self, test, err):
 
448
        self.pb.note('XFAIL: %s\n%s\n',
 
449
            self._test_description(test), err[1])
 
450
 
 
451
    def report_skip(self, test, skip_excinfo):
 
452
        pass
 
453
 
 
454
    def report_not_applicable(self, test, skip_excinfo):
 
455
        pass
 
456
 
 
457
    def report_unsupported(self, test, feature):
 
458
        """test cannot be run because feature is missing."""
 
459
                  
 
460
    def report_cleaning_up(self):
 
461
        self.pb.update('cleaning up...')
 
462
 
 
463
    def finished(self):
 
464
        if not self._supplied_pb:
 
465
            self.pb.finished()
 
466
 
 
467
 
 
468
class VerboseTestResult(ExtendedTestResult):
 
469
    """Produce long output, with one line per test run plus times"""
 
470
 
 
471
    def _ellipsize_to_right(self, a_string, final_width):
 
472
        """Truncate and pad a string, keeping the right hand side"""
 
473
        if len(a_string) > final_width:
 
474
            result = '...' + a_string[3-final_width:]
 
475
        else:
 
476
            result = a_string
 
477
        return result.ljust(final_width)
 
478
 
 
479
    def report_starting(self):
 
480
        self.stream.write('running %d tests...\n' % self.num_tests)
 
481
 
 
482
    def report_test_start(self, test):
 
483
        self.count += 1
 
484
        name = self._shortened_test_description(test)
 
485
        # width needs space for 6 char status, plus 1 for slash, plus 2 10-char
 
486
        # numbers, plus a trailing blank
 
487
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
488
        self.stream.write(self._ellipsize_to_right(name,
 
489
                          osutils.terminal_width()-30))
 
490
        self.stream.flush()
 
491
 
 
492
    def _error_summary(self, err):
 
493
        indent = ' ' * 4
 
494
        return '%s%s' % (indent, err[1])
 
495
 
 
496
    def report_error(self, test, err):
 
497
        self.stream.writeln('ERROR %s\n%s'
 
498
                % (self._testTimeString(test),
 
499
                   self._error_summary(err)))
 
500
 
 
501
    def report_failure(self, test, err):
 
502
        self.stream.writeln(' FAIL %s\n%s'
 
503
                % (self._testTimeString(test),
 
504
                   self._error_summary(err)))
 
505
 
 
506
    def report_known_failure(self, test, err):
 
507
        self.stream.writeln('XFAIL %s\n%s'
 
508
                % (self._testTimeString(test),
 
509
                   self._error_summary(err)))
 
510
 
 
511
    def report_success(self, test):
 
512
        self.stream.writeln('   OK %s' % self._testTimeString(test))
 
513
        for bench_called, stats in getattr(test, '_benchcalls', []):
 
514
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
515
            stats.pprint(file=self.stream)
 
516
        # flush the stream so that we get smooth output. This verbose mode is
 
517
        # used to show the output in PQM.
 
518
        self.stream.flush()
 
519
 
 
520
    def report_skip(self, test, skip_excinfo):
 
521
        self.stream.writeln(' SKIP %s\n%s'
 
522
                % (self._testTimeString(test),
 
523
                   self._error_summary(skip_excinfo)))
 
524
 
 
525
    def report_not_applicable(self, test, skip_excinfo):
 
526
        self.stream.writeln('  N/A %s\n%s'
 
527
                % (self._testTimeString(test),
 
528
                   self._error_summary(skip_excinfo)))
 
529
 
 
530
    def report_unsupported(self, test, feature):
 
531
        """test cannot be run because feature is missing."""
 
532
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
533
                %(self._testTimeString(test), feature))
 
534
 
 
535
 
 
536
class TextTestRunner(object):
204
537
    stop_on_failure = False
205
538
 
206
 
    def _makeResult(self):
207
 
        result = _MyResult(self.stream, self.descriptions, self.verbosity)
 
539
    def __init__(self,
 
540
                 stream=sys.stderr,
 
541
                 descriptions=0,
 
542
                 verbosity=1,
 
543
                 bench_history=None,
 
544
                 list_only=False
 
545
                 ):
 
546
        self.stream = unittest._WritelnDecorator(stream)
 
547
        self.descriptions = descriptions
 
548
        self.verbosity = verbosity
 
549
        self._bench_history = bench_history
 
550
        self.list_only = list_only
 
551
 
 
552
    def run(self, test):
 
553
        "Run the given test case or test suite."
 
554
        startTime = time.time()
 
555
        if self.verbosity == 1:
 
556
            result_class = TextTestResult
 
557
        elif self.verbosity >= 2:
 
558
            result_class = VerboseTestResult
 
559
        result = result_class(self.stream,
 
560
                              self.descriptions,
 
561
                              self.verbosity,
 
562
                              bench_history=self._bench_history,
 
563
                              num_tests=test.countTestCases(),
 
564
                              )
208
565
        result.stop_early = self.stop_on_failure
 
566
        result.report_starting()
 
567
        if self.list_only:
 
568
            if self.verbosity >= 2:
 
569
                self.stream.writeln("Listing tests only ...\n")
 
570
            run = 0
 
571
            for t in iter_suite_tests(test):
 
572
                self.stream.writeln("%s" % (t.id()))
 
573
                run += 1
 
574
            actionTaken = "Listed"
 
575
        else: 
 
576
            test.run(result)
 
577
            run = result.testsRun
 
578
            actionTaken = "Ran"
 
579
        stopTime = time.time()
 
580
        timeTaken = stopTime - startTime
 
581
        result.printErrors()
 
582
        self.stream.writeln(result.separator2)
 
583
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
584
                            run, run != 1 and "s" or "", timeTaken))
 
585
        self.stream.writeln()
 
586
        if not result.wasSuccessful():
 
587
            self.stream.write("FAILED (")
 
588
            failed, errored = map(len, (result.failures, result.errors))
 
589
            if failed:
 
590
                self.stream.write("failures=%d" % failed)
 
591
            if errored:
 
592
                if failed: self.stream.write(", ")
 
593
                self.stream.write("errors=%d" % errored)
 
594
            if result.known_failure_count:
 
595
                if failed or errored: self.stream.write(", ")
 
596
                self.stream.write("known_failure_count=%d" %
 
597
                    result.known_failure_count)
 
598
            self.stream.writeln(")")
 
599
        else:
 
600
            if result.known_failure_count:
 
601
                self.stream.writeln("OK (known_failures=%d)" %
 
602
                    result.known_failure_count)
 
603
            else:
 
604
                self.stream.writeln("OK")
 
605
        if result.skip_count > 0:
 
606
            skipped = result.skip_count
 
607
            self.stream.writeln('%d test%s skipped' %
 
608
                                (skipped, skipped != 1 and "s" or ""))
 
609
        if result.unsupported:
 
610
            for feature, count in sorted(result.unsupported.items()):
 
611
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
612
                    (feature, count))
 
613
        result.finished()
209
614
        return result
210
615
 
211
616
 
224
629
 
225
630
class TestSkipped(Exception):
226
631
    """Indicates that a test was intentionally skipped, rather than failing."""
227
 
    # XXX: Not used yet
 
632
 
 
633
 
 
634
class TestNotApplicable(TestSkipped):
 
635
    """A test is not applicable to the situation where it was run.
 
636
 
 
637
    This is only normally raised by parameterized tests, if they find that 
 
638
    the instance they're constructed upon does not support one aspect 
 
639
    of its interface.
 
640
    """
 
641
 
 
642
 
 
643
class KnownFailure(AssertionError):
 
644
    """Indicates that a test failed in a precisely expected manner.
 
645
 
 
646
    Such failures dont block the whole test suite from passing because they are
 
647
    indicators of partially completed code or of future work. We have an
 
648
    explicit error for them so that we can ensure that they are always visible:
 
649
    KnownFailures are always shown in the output of bzr selftest.
 
650
    """
 
651
 
 
652
 
 
653
class UnavailableFeature(Exception):
 
654
    """A feature required for this test was not available.
 
655
 
 
656
    The feature should be used to construct the exception.
 
657
    """
228
658
 
229
659
 
230
660
class CommandFailed(Exception):
231
661
    pass
232
662
 
 
663
 
 
664
class StringIOWrapper(object):
 
665
    """A wrapper around cStringIO which just adds an encoding attribute.
 
666
    
 
667
    Internally we can check sys.stdout to see what the output encoding
 
668
    should be. However, cStringIO has no encoding attribute that we can
 
669
    set. So we wrap it instead.
 
670
    """
 
671
    encoding='ascii'
 
672
    _cstring = None
 
673
 
 
674
    def __init__(self, s=None):
 
675
        if s is not None:
 
676
            self.__dict__['_cstring'] = StringIO(s)
 
677
        else:
 
678
            self.__dict__['_cstring'] = StringIO()
 
679
 
 
680
    def __getattr__(self, name, getattr=getattr):
 
681
        return getattr(self.__dict__['_cstring'], name)
 
682
 
 
683
    def __setattr__(self, name, val):
 
684
        if name == 'encoding':
 
685
            self.__dict__['encoding'] = val
 
686
        else:
 
687
            return setattr(self._cstring, name, val)
 
688
 
 
689
 
 
690
class TestUIFactory(ui.CLIUIFactory):
 
691
    """A UI Factory for testing.
 
692
 
 
693
    Hide the progress bar but emit note()s.
 
694
    Redirect stdin.
 
695
    Allows get_password to be tested without real tty attached.
 
696
    """
 
697
 
 
698
    def __init__(self,
 
699
                 stdout=None,
 
700
                 stderr=None,
 
701
                 stdin=None):
 
702
        super(TestUIFactory, self).__init__()
 
703
        if stdin is not None:
 
704
            # We use a StringIOWrapper to be able to test various
 
705
            # encodings, but the user is still responsible to
 
706
            # encode the string and to set the encoding attribute
 
707
            # of StringIOWrapper.
 
708
            self.stdin = StringIOWrapper(stdin)
 
709
        if stdout is None:
 
710
            self.stdout = sys.stdout
 
711
        else:
 
712
            self.stdout = stdout
 
713
        if stderr is None:
 
714
            self.stderr = sys.stderr
 
715
        else:
 
716
            self.stderr = stderr
 
717
 
 
718
    def clear(self):
 
719
        """See progress.ProgressBar.clear()."""
 
720
 
 
721
    def clear_term(self):
 
722
        """See progress.ProgressBar.clear_term()."""
 
723
 
 
724
    def clear_term(self):
 
725
        """See progress.ProgressBar.clear_term()."""
 
726
 
 
727
    def finished(self):
 
728
        """See progress.ProgressBar.finished()."""
 
729
 
 
730
    def note(self, fmt_string, *args, **kwargs):
 
731
        """See progress.ProgressBar.note()."""
 
732
        self.stdout.write((fmt_string + "\n") % args)
 
733
 
 
734
    def progress_bar(self):
 
735
        return self
 
736
 
 
737
    def nested_progress_bar(self):
 
738
        return self
 
739
 
 
740
    def update(self, message, count=None, total=None):
 
741
        """See progress.ProgressBar.update()."""
 
742
 
 
743
    def get_non_echoed_password(self, prompt):
 
744
        """Get password from stdin without trying to handle the echo mode"""
 
745
        if prompt:
 
746
            self.stdout.write(prompt.encode(self.stdout.encoding, 'replace'))
 
747
        password = self.stdin.readline()
 
748
        if not password:
 
749
            raise EOFError
 
750
        if password[-1] == '\n':
 
751
            password = password[:-1]
 
752
        return password
 
753
 
 
754
 
233
755
class TestCase(unittest.TestCase):
234
756
    """Base class for bzr unit tests.
235
757
    
251
773
    accidentally overlooked.
252
774
    """
253
775
 
254
 
    BZRPATH = 'bzr'
255
776
    _log_file_name = None
256
777
    _log_contents = ''
 
778
    _keep_log_file = False
 
779
    # record lsprof data when performing benchmark calls.
 
780
    _gather_lsprof_in_benchmarks = False
257
781
 
258
782
    def __init__(self, methodName='testMethod'):
259
783
        super(TestCase, self).__init__(methodName)
263
787
        unittest.TestCase.setUp(self)
264
788
        self._cleanEnvironment()
265
789
        bzrlib.trace.disable_default_logging()
 
790
        self._silenceUI()
266
791
        self._startLogFile()
 
792
        self._benchcalls = []
 
793
        self._benchtime = None
 
794
        self._clear_hooks()
 
795
        self._clear_debug_flags()
 
796
 
 
797
    def _clear_debug_flags(self):
 
798
        """Prevent externally set debug flags affecting tests.
 
799
        
 
800
        Tests that want to use debug flags can just set them in the
 
801
        debug_flags set during setup/teardown.
 
802
        """
 
803
        self._preserved_debug_flags = set(debug.debug_flags)
 
804
        debug.debug_flags.clear()
 
805
        self.addCleanup(self._restore_debug_flags)
 
806
 
 
807
    def _clear_hooks(self):
 
808
        # prevent hooks affecting tests
 
809
        import bzrlib.branch
 
810
        import bzrlib.smart.server
 
811
        self._preserved_hooks = {
 
812
            bzrlib.branch.Branch: bzrlib.branch.Branch.hooks,
 
813
            bzrlib.smart.server.SmartTCPServer: bzrlib.smart.server.SmartTCPServer.hooks,
 
814
            }
 
815
        self.addCleanup(self._restoreHooks)
 
816
        # reset all hooks to an empty instance of the appropriate type
 
817
        bzrlib.branch.Branch.hooks = bzrlib.branch.BranchHooks()
 
818
        bzrlib.smart.server.SmartTCPServer.hooks = bzrlib.smart.server.SmartServerHooks()
 
819
 
 
820
    def _silenceUI(self):
 
821
        """Turn off UI for duration of test"""
 
822
        # by default the UI is off; tests can turn it on if they want it.
 
823
        saved = ui.ui_factory
 
824
        def _restore():
 
825
            ui.ui_factory = saved
 
826
        ui.ui_factory = ui.SilentUIFactory()
 
827
        self.addCleanup(_restore)
267
828
 
268
829
    def _ndiff_strings(self, a, b):
269
830
        """Return ndiff between two strings containing lines.
280
841
                                  charjunk=lambda x: False)
281
842
        return ''.join(difflines)
282
843
 
 
844
    def assertEqual(self, a, b, message=''):
 
845
        try:
 
846
            if a == b:
 
847
                return
 
848
        except UnicodeError, e:
 
849
            # If we can't compare without getting a UnicodeError, then
 
850
            # obviously they are different
 
851
            mutter('UnicodeError: %s', e)
 
852
        if message:
 
853
            message += '\n'
 
854
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
 
855
            % (message,
 
856
               pformat(a), pformat(b)))
 
857
 
 
858
    assertEquals = assertEqual
 
859
 
283
860
    def assertEqualDiff(self, a, b, message=None):
284
861
        """Assert two texts are equal, if not raise an exception.
285
862
        
291
868
            return
292
869
        if message is None:
293
870
            message = "texts not equal:\n"
294
 
        raise AssertionError(message + 
295
 
                             self._ndiff_strings(a, b))      
 
871
        raise AssertionError(message +
 
872
                             self._ndiff_strings(a, b))
296
873
        
297
874
    def assertEqualMode(self, mode, mode_test):
298
875
        self.assertEqual(mode, mode_test,
299
876
                         'mode mismatch %o != %o' % (mode, mode_test))
300
877
 
 
878
    def assertPositive(self, val):
 
879
        """Assert that val is greater than 0."""
 
880
        self.assertTrue(val > 0, 'expected a positive value, but got %s' % val)
 
881
 
 
882
    def assertNegative(self, val):
 
883
        """Assert that val is less than 0."""
 
884
        self.assertTrue(val < 0, 'expected a negative value, but got %s' % val)
 
885
 
301
886
    def assertStartsWith(self, s, prefix):
302
887
        if not s.startswith(prefix):
303
888
            raise AssertionError('string %r does not start with %r' % (s, prefix))
304
889
 
305
890
    def assertEndsWith(self, s, suffix):
306
 
        if not s.endswith(prefix):
 
891
        """Asserts that s ends with suffix."""
 
892
        if not s.endswith(suffix):
307
893
            raise AssertionError('string %r does not end with %r' % (s, suffix))
308
894
 
309
895
    def assertContainsRe(self, haystack, needle_re):
310
896
        """Assert that a contains something matching a regular expression."""
311
897
        if not re.search(needle_re, haystack):
312
 
            raise AssertionError('pattern "%s" not found in "%s"'
 
898
            if '\n' in haystack or len(haystack) > 60:
 
899
                # a long string, format it in a more readable way
 
900
                raise AssertionError(
 
901
                        'pattern "%s" not found in\n"""\\\n%s"""\n'
 
902
                        % (needle_re, haystack))
 
903
            else:
 
904
                raise AssertionError('pattern "%s" not found in "%s"'
 
905
                        % (needle_re, haystack))
 
906
 
 
907
    def assertNotContainsRe(self, haystack, needle_re):
 
908
        """Assert that a does not match a regular expression"""
 
909
        if re.search(needle_re, haystack):
 
910
            raise AssertionError('pattern "%s" found in "%s"'
313
911
                    % (needle_re, haystack))
314
912
 
315
913
    def assertSubset(self, sublist, superlist):
316
914
        """Assert that every entry in sublist is present in superlist."""
317
 
        missing = []
318
 
        for entry in sublist:
319
 
            if entry not in superlist:
320
 
                missing.append(entry)
 
915
        missing = set(sublist) - set(superlist)
321
916
        if len(missing) > 0:
322
 
            raise AssertionError("value(s) %r not present in container %r" % 
 
917
            raise AssertionError("value(s) %r not present in container %r" %
323
918
                                 (missing, superlist))
324
919
 
325
 
    def assertIs(self, left, right):
 
920
    def assertListRaises(self, excClass, func, *args, **kwargs):
 
921
        """Fail unless excClass is raised when the iterator from func is used.
 
922
        
 
923
        Many functions can return generators this makes sure
 
924
        to wrap them in a list() call to make sure the whole generator
 
925
        is run, and that the proper exception is raised.
 
926
        """
 
927
        try:
 
928
            list(func(*args, **kwargs))
 
929
        except excClass:
 
930
            return
 
931
        else:
 
932
            if getattr(excClass,'__name__', None) is not None:
 
933
                excName = excClass.__name__
 
934
            else:
 
935
                excName = str(excClass)
 
936
            raise self.failureException, "%s not raised" % excName
 
937
 
 
938
    def assertRaises(self, excClass, callableObj, *args, **kwargs):
 
939
        """Assert that a callable raises a particular exception.
 
940
 
 
941
        :param excClass: As for the except statement, this may be either an
 
942
            exception class, or a tuple of classes.
 
943
        :param callableObj: A callable, will be passed ``*args`` and
 
944
            ``**kwargs``.
 
945
 
 
946
        Returns the exception so that you can examine it.
 
947
        """
 
948
        try:
 
949
            callableObj(*args, **kwargs)
 
950
        except excClass, e:
 
951
            return e
 
952
        else:
 
953
            if getattr(excClass,'__name__', None) is not None:
 
954
                excName = excClass.__name__
 
955
            else:
 
956
                # probably a tuple
 
957
                excName = str(excClass)
 
958
            raise self.failureException, "%s not raised" % excName
 
959
 
 
960
    def assertIs(self, left, right, message=None):
326
961
        if not (left is right):
327
 
            raise AssertionError("%r is not %r." % (left, right))
 
962
            if message is not None:
 
963
                raise AssertionError(message)
 
964
            else:
 
965
                raise AssertionError("%r is not %r." % (left, right))
 
966
 
 
967
    def assertIsNot(self, left, right, message=None):
 
968
        if (left is right):
 
969
            if message is not None:
 
970
                raise AssertionError(message)
 
971
            else:
 
972
                raise AssertionError("%r is %r." % (left, right))
328
973
 
329
974
    def assertTransportMode(self, transport, path, mode):
330
975
        """Fail if a path does not have mode mode.
341
986
    def assertIsInstance(self, obj, kls):
342
987
        """Fail if obj is not an instance of kls"""
343
988
        if not isinstance(obj, kls):
344
 
            self.fail("%r is not an instance of %s" % (obj, kls))
 
989
            self.fail("%r is an instance of %s rather than %s" % (
 
990
                obj, obj.__class__, kls))
 
991
 
 
992
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
993
        """Invoke a test, expecting it to fail for the given reason.
 
994
 
 
995
        This is for assertions that ought to succeed, but currently fail.
 
996
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
997
        about the failure you're expecting.  If a new bug is introduced,
 
998
        AssertionError should be raised, not KnownFailure.
 
999
 
 
1000
        Frequently, expectFailure should be followed by an opposite assertion.
 
1001
        See example below.
 
1002
 
 
1003
        Intended to be used with a callable that raises AssertionError as the
 
1004
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
1005
 
 
1006
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
1007
        test succeeds.
 
1008
 
 
1009
        example usage::
 
1010
 
 
1011
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
1012
                             dynamic_val)
 
1013
          self.assertEqual(42, dynamic_val)
 
1014
 
 
1015
          This means that a dynamic_val of 54 will cause the test to raise
 
1016
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
1017
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
1018
          than 54 or 42 will cause an AssertionError.
 
1019
        """
 
1020
        try:
 
1021
            assertion(*args, **kwargs)
 
1022
        except AssertionError:
 
1023
            raise KnownFailure(reason)
 
1024
        else:
 
1025
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
1026
 
 
1027
    def _capture_warnings(self, a_callable, *args, **kwargs):
 
1028
        """A helper for callDeprecated and applyDeprecated.
 
1029
 
 
1030
        :param a_callable: A callable to call.
 
1031
        :param args: The positional arguments for the callable
 
1032
        :param kwargs: The keyword arguments for the callable
 
1033
        :return: A tuple (warnings, result). result is the result of calling
 
1034
            a_callable(``*args``, ``**kwargs``).
 
1035
        """
 
1036
        local_warnings = []
 
1037
        def capture_warnings(msg, cls=None, stacklevel=None):
 
1038
            # we've hooked into a deprecation specific callpath,
 
1039
            # only deprecations should getting sent via it.
 
1040
            self.assertEqual(cls, DeprecationWarning)
 
1041
            local_warnings.append(msg)
 
1042
        original_warning_method = symbol_versioning.warn
 
1043
        symbol_versioning.set_warning_method(capture_warnings)
 
1044
        try:
 
1045
            result = a_callable(*args, **kwargs)
 
1046
        finally:
 
1047
            symbol_versioning.set_warning_method(original_warning_method)
 
1048
        return (local_warnings, result)
 
1049
 
 
1050
    def applyDeprecated(self, deprecation_format, a_callable, *args, **kwargs):
 
1051
        """Call a deprecated callable without warning the user.
 
1052
 
 
1053
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1054
        not other callers that go direct to the warning module.
 
1055
 
 
1056
        To test that a deprecated method raises an error, do something like
 
1057
        this::
 
1058
 
 
1059
        self.assertRaises(errors.ReservedId,
 
1060
            self.applyDeprecated, zero_ninetyone,
 
1061
                br.append_revision, 'current:')
 
1062
 
 
1063
        :param deprecation_format: The deprecation format that the callable
 
1064
            should have been deprecated with. This is the same type as the
 
1065
            parameter to deprecated_method/deprecated_function. If the
 
1066
            callable is not deprecated with this format, an assertion error
 
1067
            will be raised.
 
1068
        :param a_callable: A callable to call. This may be a bound method or
 
1069
            a regular function. It will be called with ``*args`` and
 
1070
            ``**kwargs``.
 
1071
        :param args: The positional arguments for the callable
 
1072
        :param kwargs: The keyword arguments for the callable
 
1073
        :return: The result of a_callable(``*args``, ``**kwargs``)
 
1074
        """
 
1075
        call_warnings, result = self._capture_warnings(a_callable,
 
1076
            *args, **kwargs)
 
1077
        expected_first_warning = symbol_versioning.deprecation_string(
 
1078
            a_callable, deprecation_format)
 
1079
        if len(call_warnings) == 0:
 
1080
            self.fail("No deprecation warning generated by call to %s" %
 
1081
                a_callable)
 
1082
        self.assertEqual(expected_first_warning, call_warnings[0])
 
1083
        return result
 
1084
 
 
1085
    def callDeprecated(self, expected, callable, *args, **kwargs):
 
1086
        """Assert that a callable is deprecated in a particular way.
 
1087
 
 
1088
        This is a very precise test for unusual requirements. The 
 
1089
        applyDeprecated helper function is probably more suited for most tests
 
1090
        as it allows you to simply specify the deprecation format being used
 
1091
        and will ensure that that is issued for the function being called.
 
1092
 
 
1093
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1094
        not other callers that go direct to the warning module.
 
1095
 
 
1096
        :param expected: a list of the deprecation warnings expected, in order
 
1097
        :param callable: The callable to call
 
1098
        :param args: The positional arguments for the callable
 
1099
        :param kwargs: The keyword arguments for the callable
 
1100
        """
 
1101
        call_warnings, result = self._capture_warnings(callable,
 
1102
            *args, **kwargs)
 
1103
        self.assertEqual(expected, call_warnings)
 
1104
        return result
345
1105
 
346
1106
    def _startLogFile(self):
347
1107
        """Send bzr and test log messages to a temporary file.
349
1109
        The file is removed as the test is torn down.
350
1110
        """
351
1111
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
352
 
        encoder, decoder, stream_reader, stream_writer = codecs.lookup('UTF-8')
353
 
        self._log_file = stream_writer(os.fdopen(fileno, 'w+'))
 
1112
        self._log_file = os.fdopen(fileno, 'w+')
354
1113
        self._log_nonce = bzrlib.trace.enable_test_log(self._log_file)
355
1114
        self._log_file_name = name
356
1115
        self.addCleanup(self._finishLogFile)
358
1117
    def _finishLogFile(self):
359
1118
        """Finished with the log file.
360
1119
 
361
 
        Read contents into memory, close, and delete.
 
1120
        Close the file and delete it, unless setKeepLogfile was called.
362
1121
        """
 
1122
        if self._log_file is None:
 
1123
            return
363
1124
        bzrlib.trace.disable_test_log(self._log_nonce)
364
 
        self._log_file.seek(0)
365
 
        self._log_contents = self._log_file.read()
366
1125
        self._log_file.close()
367
 
        os.remove(self._log_file_name)
368
 
        self._log_file = self._log_file_name = None
 
1126
        self._log_file = None
 
1127
        if not self._keep_log_file:
 
1128
            os.remove(self._log_file_name)
 
1129
            self._log_file_name = None
 
1130
 
 
1131
    def setKeepLogfile(self):
 
1132
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1133
        self._keep_log_file = True
369
1134
 
370
1135
    def addCleanup(self, callable):
371
1136
        """Arrange to run a callable when this case is torn down.
380
1145
 
381
1146
    def _cleanEnvironment(self):
382
1147
        new_env = {
 
1148
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
383
1149
            'HOME': os.getcwd(),
384
 
            'APPDATA': os.getcwd(),
385
 
            'BZREMAIL': None,
 
1150
            'APPDATA': None,  # bzr now use Win32 API and don't rely on APPDATA
 
1151
            'BZR_EMAIL': None,
 
1152
            'BZREMAIL': None, # may still be present in the environment
386
1153
            'EMAIL': None,
 
1154
            'BZR_PROGRESS_BAR': None,
 
1155
            # SSH Agent
 
1156
            'SSH_AUTH_SOCK': None,
 
1157
            # Proxies
 
1158
            'http_proxy': None,
 
1159
            'HTTP_PROXY': None,
 
1160
            'https_proxy': None,
 
1161
            'HTTPS_PROXY': None,
 
1162
            'no_proxy': None,
 
1163
            'NO_PROXY': None,
 
1164
            'all_proxy': None,
 
1165
            'ALL_PROXY': None,
 
1166
            # Nobody cares about these ones AFAIK. So far at
 
1167
            # least. If you do (care), please update this comment
 
1168
            # -- vila 20061212
 
1169
            'ftp_proxy': None,
 
1170
            'FTP_PROXY': None,
 
1171
            'BZR_REMOTE_PATH': None,
387
1172
        }
388
1173
        self.__old_env = {}
389
1174
        self.addCleanup(self._restoreEnvironment)
390
1175
        for name, value in new_env.iteritems():
391
1176
            self._captureVar(name, value)
392
1177
 
393
 
 
394
1178
    def _captureVar(self, name, newvalue):
395
 
        """Set an environment variable, preparing it to be reset when finished."""
396
 
        self.__old_env[name] = os.environ.get(name, None)
397
 
        if newvalue is None:
398
 
            if name in os.environ:
399
 
                del os.environ[name]
400
 
        else:
401
 
            os.environ[name] = newvalue
 
1179
        """Set an environment variable, and reset it when finished."""
 
1180
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
402
1181
 
403
 
    @staticmethod
404
 
    def _restoreVar(name, value):
405
 
        if value is None:
406
 
            if name in os.environ:
407
 
                del os.environ[name]
408
 
        else:
409
 
            os.environ[name] = value
 
1182
    def _restore_debug_flags(self):
 
1183
        debug.debug_flags.clear()
 
1184
        debug.debug_flags.update(self._preserved_debug_flags)
410
1185
 
411
1186
    def _restoreEnvironment(self):
412
1187
        for name, value in self.__old_env.iteritems():
413
 
            self._restoreVar(name, value)
 
1188
            osutils.set_or_unset_env(name, value)
 
1189
 
 
1190
    def _restoreHooks(self):
 
1191
        for klass, hooks in self._preserved_hooks.items():
 
1192
            setattr(klass, 'hooks', hooks)
 
1193
 
 
1194
    def knownFailure(self, reason):
 
1195
        """This test has failed for some known reason."""
 
1196
        raise KnownFailure(reason)
 
1197
 
 
1198
    def run(self, result=None):
 
1199
        if result is None: result = self.defaultTestResult()
 
1200
        for feature in getattr(self, '_test_needs_features', []):
 
1201
            if not feature.available():
 
1202
                result.startTest(self)
 
1203
                if getattr(result, 'addNotSupported', None):
 
1204
                    result.addNotSupported(self, feature)
 
1205
                else:
 
1206
                    result.addSuccess(self)
 
1207
                result.stopTest(self)
 
1208
                return
 
1209
        return unittest.TestCase.run(self, result)
414
1210
 
415
1211
    def tearDown(self):
416
1212
        self._runCleanups()
417
1213
        unittest.TestCase.tearDown(self)
418
1214
 
 
1215
    def time(self, callable, *args, **kwargs):
 
1216
        """Run callable and accrue the time it takes to the benchmark time.
 
1217
        
 
1218
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
1219
        this will cause lsprofile statistics to be gathered and stored in
 
1220
        self._benchcalls.
 
1221
        """
 
1222
        if self._benchtime is None:
 
1223
            self._benchtime = 0
 
1224
        start = time.time()
 
1225
        try:
 
1226
            if not self._gather_lsprof_in_benchmarks:
 
1227
                return callable(*args, **kwargs)
 
1228
            else:
 
1229
                # record this benchmark
 
1230
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
1231
                stats.sort()
 
1232
                self._benchcalls.append(((callable, args, kwargs), stats))
 
1233
                return ret
 
1234
        finally:
 
1235
            self._benchtime += time.time() - start
 
1236
 
419
1237
    def _runCleanups(self):
420
1238
        """Run registered cleanup functions. 
421
1239
 
423
1241
        """
424
1242
        # TODO: Perhaps this should keep running cleanups even if 
425
1243
        # one of them fails?
426
 
        for cleanup_fn in reversed(self._cleanups):
427
 
            cleanup_fn()
 
1244
 
 
1245
        # Actually pop the cleanups from the list so tearDown running
 
1246
        # twice is safe (this happens for skipped tests).
 
1247
        while self._cleanups:
 
1248
            self._cleanups.pop()()
428
1249
 
429
1250
    def log(self, *args):
430
1251
        mutter(*args)
431
1252
 
432
 
    def _get_log(self):
433
 
        """Return as a string the log for this test"""
434
 
        if self._log_file_name:
435
 
            return open(self._log_file_name).read()
436
 
        else:
 
1253
    def _get_log(self, keep_log_file=False):
 
1254
        """Get the log from bzrlib.trace calls from this test.
 
1255
 
 
1256
        :param keep_log_file: When True, if the log is still a file on disk
 
1257
            leave it as a file on disk. When False, if the log is still a file
 
1258
            on disk, the log file is deleted and the log preserved as
 
1259
            self._log_contents.
 
1260
        :return: A string containing the log.
 
1261
        """
 
1262
        # flush the log file, to get all content
 
1263
        import bzrlib.trace
 
1264
        bzrlib.trace._trace_file.flush()
 
1265
        if self._log_contents:
437
1266
            return self._log_contents
438
 
        # TODO: Delete the log after it's been read in
 
1267
        if self._log_file_name is not None:
 
1268
            logfile = open(self._log_file_name)
 
1269
            try:
 
1270
                log_contents = logfile.read()
 
1271
            finally:
 
1272
                logfile.close()
 
1273
            if not keep_log_file:
 
1274
                self._log_contents = log_contents
 
1275
                try:
 
1276
                    os.remove(self._log_file_name)
 
1277
                except OSError, e:
 
1278
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
 
1279
                        print >>sys.stderr, ('Unable to delete log file '
 
1280
                                             ' %r' % self._log_file_name)
 
1281
                    else:
 
1282
                        raise
 
1283
            return log_contents
 
1284
        else:
 
1285
            return "DELETED log file to reduce memory footprint"
439
1286
 
 
1287
    @deprecated_method(zero_eighteen)
440
1288
    def capture(self, cmd, retcode=0):
441
1289
        """Shortcut that splits cmd into words, runs, and returns stdout"""
442
1290
        return self.run_bzr_captured(cmd.split(), retcode=retcode)[0]
443
1291
 
444
 
    def run_bzr_captured(self, argv, retcode=0):
 
1292
    def requireFeature(self, feature):
 
1293
        """This test requires a specific feature is available.
 
1294
 
 
1295
        :raises UnavailableFeature: When feature is not available.
 
1296
        """
 
1297
        if not feature.available():
 
1298
            raise UnavailableFeature(feature)
 
1299
 
 
1300
    @deprecated_method(zero_eighteen)
 
1301
    def run_bzr_captured(self, argv, retcode=0, encoding=None, stdin=None,
 
1302
                         working_dir=None):
445
1303
        """Invoke bzr and return (stdout, stderr).
446
1304
 
447
 
        Useful for code that wants to check the contents of the
448
 
        output, the way error messages are presented, etc.
449
 
 
450
 
        This should be the main method for tests that want to exercise the
451
 
        overall behavior of the bzr application (rather than a unit test
452
 
        or a functional test of the library.)
453
 
 
454
 
        Much of the old code runs bzr by forking a new copy of Python, but
455
 
        that is slower, harder to debug, and generally not necessary.
456
 
 
457
 
        This runs bzr through the interface that catches and reports
458
 
        errors, and with logging set to something approximating the
459
 
        default, so that error reporting can be checked.
460
 
 
461
 
        argv -- arguments to invoke bzr
462
 
        retcode -- expected return code, or None for don't-care.
 
1305
        Don't call this method, just use run_bzr() which is equivalent.
 
1306
 
 
1307
        :param argv: Arguments to invoke bzr.  This may be either a 
 
1308
            single string, in which case it is split by shlex into words, 
 
1309
            or a list of arguments.
 
1310
        :param retcode: Expected return code, or None for don't-care.
 
1311
        :param encoding: Encoding for sys.stdout and sys.stderr
 
1312
        :param stdin: A string to be used as stdin for the command.
 
1313
        :param working_dir: Change to this directory before running
463
1314
        """
464
 
        stdout = StringIO()
465
 
        stderr = StringIO()
466
 
        self.log('run bzr: %s', ' '.join(argv))
 
1315
        return self._run_bzr_autosplit(argv, retcode=retcode,
 
1316
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1317
                )
 
1318
 
 
1319
    def _run_bzr_autosplit(self, args, retcode, encoding, stdin,
 
1320
            working_dir):
 
1321
        """Run bazaar command line, splitting up a string command line."""
 
1322
        if isinstance(args, basestring):
 
1323
            args = list(shlex.split(args))
 
1324
        return self._run_bzr_core(args, retcode=retcode,
 
1325
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1326
                )
 
1327
 
 
1328
    def _run_bzr_core(self, args, retcode, encoding, stdin,
 
1329
            working_dir):
 
1330
        if encoding is None:
 
1331
            encoding = bzrlib.user_encoding
 
1332
        stdout = StringIOWrapper()
 
1333
        stderr = StringIOWrapper()
 
1334
        stdout.encoding = encoding
 
1335
        stderr.encoding = encoding
 
1336
 
 
1337
        self.log('run bzr: %r', args)
467
1338
        # FIXME: don't call into logging here
468
1339
        handler = logging.StreamHandler(stderr)
469
 
        handler.setFormatter(bzrlib.trace.QuietFormatter())
470
1340
        handler.setLevel(logging.INFO)
471
1341
        logger = logging.getLogger('')
472
1342
        logger.addHandler(handler)
 
1343
        old_ui_factory = ui.ui_factory
 
1344
        ui.ui_factory = TestUIFactory(stdin=stdin, stdout=stdout, stderr=stderr)
 
1345
 
 
1346
        cwd = None
 
1347
        if working_dir is not None:
 
1348
            cwd = osutils.getcwd()
 
1349
            os.chdir(working_dir)
 
1350
 
473
1351
        try:
474
 
            result = self.apply_redirected(None, stdout, stderr,
475
 
                                           bzrlib.commands.run_bzr_catch_errors,
476
 
                                           argv)
 
1352
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1353
                stdout, stderr,
 
1354
                bzrlib.commands.run_bzr_catch_errors,
 
1355
                args)
477
1356
        finally:
478
1357
            logger.removeHandler(handler)
 
1358
            ui.ui_factory = old_ui_factory
 
1359
            if cwd is not None:
 
1360
                os.chdir(cwd)
 
1361
 
479
1362
        out = stdout.getvalue()
480
1363
        err = stderr.getvalue()
481
1364
        if out:
482
 
            self.log('output:\n%s', out)
 
1365
            self.log('output:\n%r', out)
483
1366
        if err:
484
 
            self.log('errors:\n%s', err)
 
1367
            self.log('errors:\n%r', err)
485
1368
        if retcode is not None:
486
 
            self.assertEquals(result, retcode)
 
1369
            self.assertEquals(retcode, result,
 
1370
                              message='Unexpected return code')
487
1371
        return out, err
488
1372
 
489
1373
    def run_bzr(self, *args, **kwargs):
490
1374
        """Invoke bzr, as if it were run from the command line.
491
1375
 
 
1376
        The argument list should not include the bzr program name - the
 
1377
        first argument is normally the bzr command.  Arguments may be
 
1378
        passed in three ways:
 
1379
 
 
1380
        1- A list of strings, eg ["commit", "a"].  This is recommended
 
1381
        when the command contains whitespace or metacharacters, or 
 
1382
        is built up at run time.
 
1383
 
 
1384
        2- A single string, eg "add a".  This is the most convenient 
 
1385
        for hardcoded commands.
 
1386
 
 
1387
        3- Several varargs parameters, eg run_bzr("add", "a").  
 
1388
        This is not recommended for new code.
 
1389
 
 
1390
        This runs bzr through the interface that catches and reports
 
1391
        errors, and with logging set to something approximating the
 
1392
        default, so that error reporting can be checked.
 
1393
 
492
1394
        This should be the main method for tests that want to exercise the
493
1395
        overall behavior of the bzr application (rather than a unit test
494
1396
        or a functional test of the library.)
495
1397
 
496
1398
        This sends the stdout/stderr results into the test's log,
497
1399
        where it may be useful for debugging.  See also run_captured.
 
1400
 
 
1401
        :keyword stdin: A string to be used as stdin for the command.
 
1402
        :keyword retcode: The status code the command should return;
 
1403
            default 0.
 
1404
        :keyword working_dir: The directory to run the command in
 
1405
        :keyword error_regexes: A list of expected error messages.  If
 
1406
            specified they must be seen in the error output of the command.
498
1407
        """
499
1408
        retcode = kwargs.pop('retcode', 0)
500
 
        return self.run_bzr_captured(args, retcode)
 
1409
        encoding = kwargs.pop('encoding', None)
 
1410
        stdin = kwargs.pop('stdin', None)
 
1411
        working_dir = kwargs.pop('working_dir', None)
 
1412
        error_regexes = kwargs.pop('error_regexes', [])
 
1413
 
 
1414
        if kwargs:
 
1415
            raise TypeError("run_bzr() got unexpected keyword arguments '%s'"
 
1416
                            % kwargs.keys())
 
1417
 
 
1418
        if len(args) == 1:
 
1419
            if isinstance(args[0], (list, basestring)):
 
1420
                args = args[0]
 
1421
        else:
 
1422
            symbol_versioning.warn(zero_eighteen % "passing varargs to run_bzr",
 
1423
                                   DeprecationWarning, stacklevel=3)
 
1424
 
 
1425
        out, err = self._run_bzr_autosplit(args=args,
 
1426
            retcode=retcode,
 
1427
            encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1428
            )
 
1429
 
 
1430
        for regex in error_regexes:
 
1431
            self.assertContainsRe(err, regex)
 
1432
        return out, err
 
1433
 
 
1434
    def run_bzr_decode(self, *args, **kwargs):
 
1435
        if 'encoding' in kwargs:
 
1436
            encoding = kwargs['encoding']
 
1437
        else:
 
1438
            encoding = bzrlib.user_encoding
 
1439
        return self.run_bzr(*args, **kwargs)[0].decode(encoding)
 
1440
 
 
1441
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
1442
        """Run bzr, and check that stderr contains the supplied regexes
 
1443
 
 
1444
        :param error_regexes: Sequence of regular expressions which
 
1445
            must each be found in the error output. The relative ordering
 
1446
            is not enforced.
 
1447
        :param args: command-line arguments for bzr
 
1448
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
1449
            This function changes the default value of retcode to be 3,
 
1450
            since in most cases this is run when you expect bzr to fail.
 
1451
 
 
1452
        :return: (out, err) The actual output of running the command (in case
 
1453
            you want to do more inspection)
 
1454
 
 
1455
        Examples of use::
 
1456
 
 
1457
            # Make sure that commit is failing because there is nothing to do
 
1458
            self.run_bzr_error(['no changes to commit'],
 
1459
                               ['commit', '-m', 'my commit comment'])
 
1460
            # Make sure --strict is handling an unknown file, rather than
 
1461
            # giving us the 'nothing to do' error
 
1462
            self.build_tree(['unknown'])
 
1463
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
1464
                               ['commit', --strict', '-m', 'my commit comment'])
 
1465
        """
 
1466
        kwargs.setdefault('retcode', 3)
 
1467
        kwargs['error_regexes'] = error_regexes
 
1468
        out, err = self.run_bzr(*args, **kwargs)
 
1469
        return out, err
 
1470
 
 
1471
    def run_bzr_subprocess(self, *args, **kwargs):
 
1472
        """Run bzr in a subprocess for testing.
 
1473
 
 
1474
        This starts a new Python interpreter and runs bzr in there. 
 
1475
        This should only be used for tests that have a justifiable need for
 
1476
        this isolation: e.g. they are testing startup time, or signal
 
1477
        handling, or early startup code, etc.  Subprocess code can't be 
 
1478
        profiled or debugged so easily.
 
1479
 
 
1480
        :keyword retcode: The status code that is expected.  Defaults to 0.  If
 
1481
            None is supplied, the status code is not checked.
 
1482
        :keyword env_changes: A dictionary which lists changes to environment
 
1483
            variables. A value of None will unset the env variable.
 
1484
            The values must be strings. The change will only occur in the
 
1485
            child, so you don't need to fix the environment after running.
 
1486
        :keyword universal_newlines: Convert CRLF => LF
 
1487
        :keyword allow_plugins: By default the subprocess is run with
 
1488
            --no-plugins to ensure test reproducibility. Also, it is possible
 
1489
            for system-wide plugins to create unexpected output on stderr,
 
1490
            which can cause unnecessary test failures.
 
1491
        """
 
1492
        env_changes = kwargs.get('env_changes', {})
 
1493
        working_dir = kwargs.get('working_dir', None)
 
1494
        allow_plugins = kwargs.get('allow_plugins', False)
 
1495
        if len(args) == 1:
 
1496
            if isinstance(args[0], list):
 
1497
                args = args[0]
 
1498
            elif isinstance(args[0], basestring):
 
1499
                args = list(shlex.split(args[0]))
 
1500
        else:
 
1501
            symbol_versioning.warn(zero_ninetyone %
 
1502
                                   "passing varargs to run_bzr_subprocess",
 
1503
                                   DeprecationWarning, stacklevel=3)
 
1504
        process = self.start_bzr_subprocess(args, env_changes=env_changes,
 
1505
                                            working_dir=working_dir,
 
1506
                                            allow_plugins=allow_plugins)
 
1507
        # We distinguish between retcode=None and retcode not passed.
 
1508
        supplied_retcode = kwargs.get('retcode', 0)
 
1509
        return self.finish_bzr_subprocess(process, retcode=supplied_retcode,
 
1510
            universal_newlines=kwargs.get('universal_newlines', False),
 
1511
            process_args=args)
 
1512
 
 
1513
    def start_bzr_subprocess(self, process_args, env_changes=None,
 
1514
                             skip_if_plan_to_signal=False,
 
1515
                             working_dir=None,
 
1516
                             allow_plugins=False):
 
1517
        """Start bzr in a subprocess for testing.
 
1518
 
 
1519
        This starts a new Python interpreter and runs bzr in there.
 
1520
        This should only be used for tests that have a justifiable need for
 
1521
        this isolation: e.g. they are testing startup time, or signal
 
1522
        handling, or early startup code, etc.  Subprocess code can't be
 
1523
        profiled or debugged so easily.
 
1524
 
 
1525
        :param process_args: a list of arguments to pass to the bzr executable,
 
1526
            for example ``['--version']``.
 
1527
        :param env_changes: A dictionary which lists changes to environment
 
1528
            variables. A value of None will unset the env variable.
 
1529
            The values must be strings. The change will only occur in the
 
1530
            child, so you don't need to fix the environment after running.
 
1531
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1532
            is not available.
 
1533
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
1534
 
 
1535
        :returns: Popen object for the started process.
 
1536
        """
 
1537
        if skip_if_plan_to_signal:
 
1538
            if not getattr(os, 'kill', None):
 
1539
                raise TestSkipped("os.kill not available.")
 
1540
 
 
1541
        if env_changes is None:
 
1542
            env_changes = {}
 
1543
        old_env = {}
 
1544
 
 
1545
        def cleanup_environment():
 
1546
            for env_var, value in env_changes.iteritems():
 
1547
                old_env[env_var] = osutils.set_or_unset_env(env_var, value)
 
1548
 
 
1549
        def restore_environment():
 
1550
            for env_var, value in old_env.iteritems():
 
1551
                osutils.set_or_unset_env(env_var, value)
 
1552
 
 
1553
        bzr_path = self.get_bzr_path()
 
1554
 
 
1555
        cwd = None
 
1556
        if working_dir is not None:
 
1557
            cwd = osutils.getcwd()
 
1558
            os.chdir(working_dir)
 
1559
 
 
1560
        try:
 
1561
            # win32 subprocess doesn't support preexec_fn
 
1562
            # so we will avoid using it on all platforms, just to
 
1563
            # make sure the code path is used, and we don't break on win32
 
1564
            cleanup_environment()
 
1565
            command = [sys.executable, bzr_path]
 
1566
            if not allow_plugins:
 
1567
                command.append('--no-plugins')
 
1568
            command.extend(process_args)
 
1569
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
1570
        finally:
 
1571
            restore_environment()
 
1572
            if cwd is not None:
 
1573
                os.chdir(cwd)
 
1574
 
 
1575
        return process
 
1576
 
 
1577
    def _popen(self, *args, **kwargs):
 
1578
        """Place a call to Popen.
 
1579
 
 
1580
        Allows tests to override this method to intercept the calls made to
 
1581
        Popen for introspection.
 
1582
        """
 
1583
        return Popen(*args, **kwargs)
 
1584
 
 
1585
    def get_bzr_path(self):
 
1586
        """Return the path of the 'bzr' executable for this test suite."""
 
1587
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
1588
        if not os.path.isfile(bzr_path):
 
1589
            # We are probably installed. Assume sys.argv is the right file
 
1590
            bzr_path = sys.argv[0]
 
1591
        return bzr_path
 
1592
 
 
1593
    def finish_bzr_subprocess(self, process, retcode=0, send_signal=None,
 
1594
                              universal_newlines=False, process_args=None):
 
1595
        """Finish the execution of process.
 
1596
 
 
1597
        :param process: the Popen object returned from start_bzr_subprocess.
 
1598
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1599
            None is supplied, the status code is not checked.
 
1600
        :param send_signal: an optional signal to send to the process.
 
1601
        :param universal_newlines: Convert CRLF => LF
 
1602
        :returns: (stdout, stderr)
 
1603
        """
 
1604
        if send_signal is not None:
 
1605
            os.kill(process.pid, send_signal)
 
1606
        out, err = process.communicate()
 
1607
 
 
1608
        if universal_newlines:
 
1609
            out = out.replace('\r\n', '\n')
 
1610
            err = err.replace('\r\n', '\n')
 
1611
 
 
1612
        if retcode is not None and retcode != process.returncode:
 
1613
            if process_args is None:
 
1614
                process_args = "(unknown args)"
 
1615
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1616
            mutter('Error for bzr %s:\n%s', process_args, err)
 
1617
            self.fail('Command bzr %s failed with retcode %s != %s'
 
1618
                      % (process_args, retcode, process.returncode))
 
1619
        return [out, err]
501
1620
 
502
1621
    def check_inventory_shape(self, inv, shape):
503
1622
        """Compare an inventory to a list of expected names.
508
1627
        shape = list(shape)             # copy
509
1628
        for path, ie in inv.entries():
510
1629
            name = path.replace('\\', '/')
511
 
            if ie.kind == 'dir':
 
1630
            if ie.kind == 'directory':
512
1631
                name = name + '/'
513
1632
            if name in shape:
514
1633
                shape.remove(name)
551
1670
            sys.stderr = real_stderr
552
1671
            sys.stdin = real_stdin
553
1672
 
554
 
    def merge(self, branch_from, wt_to):
555
 
        """A helper for tests to do a ui-less merge.
556
 
 
557
 
        This should move to the main library when someone has time to integrate
558
 
        it in.
559
 
        """
560
 
        # minimal ui-less merge.
561
 
        wt_to.branch.fetch(branch_from)
562
 
        base_rev = common_ancestor(branch_from.last_revision(),
563
 
                                   wt_to.branch.last_revision(),
564
 
                                   wt_to.branch.repository)
565
 
        merge_inner(wt_to.branch, branch_from.basis_tree(), 
566
 
                    wt_to.branch.repository.revision_tree(base_rev),
567
 
                    this_tree=wt_to)
568
 
        wt_to.add_pending_merge(branch_from.last_revision())
569
 
 
570
 
 
571
 
BzrTestBase = TestCase
 
1673
    def reduceLockdirTimeout(self):
 
1674
        """Reduce the default lock timeout for the duration of the test, so that
 
1675
        if LockContention occurs during a test, it does so quickly.
 
1676
 
 
1677
        Tests that expect to provoke LockContention errors should call this.
 
1678
        """
 
1679
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
1680
        def resetTimeout():
 
1681
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
1682
        self.addCleanup(resetTimeout)
 
1683
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
1684
 
 
1685
    def make_utf8_encoded_stringio(self, encoding_type=None):
 
1686
        """Return a StringIOWrapper instance, that will encode Unicode
 
1687
        input to UTF-8.
 
1688
        """
 
1689
        if encoding_type is None:
 
1690
            encoding_type = 'strict'
 
1691
        sio = StringIO()
 
1692
        output_encoding = 'utf-8'
 
1693
        sio = codecs.getwriter(output_encoding)(sio, errors=encoding_type)
 
1694
        sio.encoding = output_encoding
 
1695
        return sio
 
1696
 
 
1697
 
 
1698
class TestCaseWithMemoryTransport(TestCase):
 
1699
    """Common test class for tests that do not need disk resources.
 
1700
 
 
1701
    Tests that need disk resources should derive from TestCaseWithTransport.
 
1702
 
 
1703
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
 
1704
 
 
1705
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
1706
    a directory which does not exist. This serves to help ensure test isolation
 
1707
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
1708
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
1709
    file defaults for the transport in tests, nor does it obey the command line
 
1710
    override, so tests that accidentally write to the common directory should
 
1711
    be rare.
 
1712
 
 
1713
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
 
1714
    a .bzr directory that stops us ascending higher into the filesystem.
 
1715
    """
 
1716
 
 
1717
    TEST_ROOT = None
 
1718
    _TEST_NAME = 'test'
 
1719
 
 
1720
    def __init__(self, methodName='runTest'):
 
1721
        # allow test parameterisation after test construction and before test
 
1722
        # execution. Variables that the parameteriser sets need to be 
 
1723
        # ones that are not set by setUp, or setUp will trash them.
 
1724
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
 
1725
        self.vfs_transport_factory = default_transport
 
1726
        self.transport_server = None
 
1727
        self.transport_readonly_server = None
 
1728
        self.__vfs_server = None
 
1729
 
 
1730
    def get_transport(self, relpath=None):
 
1731
        """Return a writeable transport.
 
1732
 
 
1733
        This transport is for the test scratch space relative to
 
1734
        "self._test_root"
 
1735
        
 
1736
        :param relpath: a path relative to the base url.
 
1737
        """
 
1738
        t = get_transport(self.get_url(relpath))
 
1739
        self.assertFalse(t.is_readonly())
 
1740
        return t
 
1741
 
 
1742
    def get_readonly_transport(self, relpath=None):
 
1743
        """Return a readonly transport for the test scratch space
 
1744
        
 
1745
        This can be used to test that operations which should only need
 
1746
        readonly access in fact do not try to write.
 
1747
 
 
1748
        :param relpath: a path relative to the base url.
 
1749
        """
 
1750
        t = get_transport(self.get_readonly_url(relpath))
 
1751
        self.assertTrue(t.is_readonly())
 
1752
        return t
 
1753
 
 
1754
    def create_transport_readonly_server(self):
 
1755
        """Create a transport server from class defined at init.
 
1756
 
 
1757
        This is mostly a hook for daughter classes.
 
1758
        """
 
1759
        return self.transport_readonly_server()
 
1760
 
 
1761
    def get_readonly_server(self):
 
1762
        """Get the server instance for the readonly transport
 
1763
 
 
1764
        This is useful for some tests with specific servers to do diagnostics.
 
1765
        """
 
1766
        if self.__readonly_server is None:
 
1767
            if self.transport_readonly_server is None:
 
1768
                # readonly decorator requested
 
1769
                # bring up the server
 
1770
                self.__readonly_server = ReadonlyServer()
 
1771
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1772
            else:
 
1773
                self.__readonly_server = self.create_transport_readonly_server()
 
1774
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1775
            self.addCleanup(self.__readonly_server.tearDown)
 
1776
        return self.__readonly_server
 
1777
 
 
1778
    def get_readonly_url(self, relpath=None):
 
1779
        """Get a URL for the readonly transport.
 
1780
 
 
1781
        This will either be backed by '.' or a decorator to the transport 
 
1782
        used by self.get_url()
 
1783
        relpath provides for clients to get a path relative to the base url.
 
1784
        These should only be downwards relative, not upwards.
 
1785
        """
 
1786
        base = self.get_readonly_server().get_url()
 
1787
        return self._adjust_url(base, relpath)
 
1788
 
 
1789
    def get_vfs_only_server(self):
 
1790
        """Get the vfs only read/write server instance.
 
1791
 
 
1792
        This is useful for some tests with specific servers that need
 
1793
        diagnostics.
 
1794
 
 
1795
        For TestCaseWithMemoryTransport this is always a MemoryServer, and there
 
1796
        is no means to override it.
 
1797
        """
 
1798
        if self.__vfs_server is None:
 
1799
            self.__vfs_server = MemoryServer()
 
1800
            self.__vfs_server.setUp()
 
1801
            self.addCleanup(self.__vfs_server.tearDown)
 
1802
        return self.__vfs_server
 
1803
 
 
1804
    def get_server(self):
 
1805
        """Get the read/write server instance.
 
1806
 
 
1807
        This is useful for some tests with specific servers that need
 
1808
        diagnostics.
 
1809
 
 
1810
        This is built from the self.transport_server factory. If that is None,
 
1811
        then the self.get_vfs_server is returned.
 
1812
        """
 
1813
        if self.__server is None:
 
1814
            if self.transport_server is None or self.transport_server is self.vfs_transport_factory:
 
1815
                return self.get_vfs_only_server()
 
1816
            else:
 
1817
                # bring up a decorated means of access to the vfs only server.
 
1818
                self.__server = self.transport_server()
 
1819
                try:
 
1820
                    self.__server.setUp(self.get_vfs_only_server())
 
1821
                except TypeError, e:
 
1822
                    # This should never happen; the try:Except here is to assist
 
1823
                    # developers having to update code rather than seeing an
 
1824
                    # uninformative TypeError.
 
1825
                    raise Exception, "Old server API in use: %s, %s" % (self.__server, e)
 
1826
            self.addCleanup(self.__server.tearDown)
 
1827
        return self.__server
 
1828
 
 
1829
    def _adjust_url(self, base, relpath):
 
1830
        """Get a URL (or maybe a path) for the readwrite transport.
 
1831
 
 
1832
        This will either be backed by '.' or to an equivalent non-file based
 
1833
        facility.
 
1834
        relpath provides for clients to get a path relative to the base url.
 
1835
        These should only be downwards relative, not upwards.
 
1836
        """
 
1837
        if relpath is not None and relpath != '.':
 
1838
            if not base.endswith('/'):
 
1839
                base = base + '/'
 
1840
            # XXX: Really base should be a url; we did after all call
 
1841
            # get_url()!  But sometimes it's just a path (from
 
1842
            # LocalAbspathServer), and it'd be wrong to append urlescaped data
 
1843
            # to a non-escaped local path.
 
1844
            if base.startswith('./') or base.startswith('/'):
 
1845
                base += relpath
 
1846
            else:
 
1847
                base += urlutils.escape(relpath)
 
1848
        return base
 
1849
 
 
1850
    def get_url(self, relpath=None):
 
1851
        """Get a URL (or maybe a path) for the readwrite transport.
 
1852
 
 
1853
        This will either be backed by '.' or to an equivalent non-file based
 
1854
        facility.
 
1855
        relpath provides for clients to get a path relative to the base url.
 
1856
        These should only be downwards relative, not upwards.
 
1857
        """
 
1858
        base = self.get_server().get_url()
 
1859
        return self._adjust_url(base, relpath)
 
1860
 
 
1861
    def get_vfs_only_url(self, relpath=None):
 
1862
        """Get a URL (or maybe a path for the plain old vfs transport.
 
1863
 
 
1864
        This will never be a smart protocol.  It always has all the
 
1865
        capabilities of the local filesystem, but it might actually be a
 
1866
        MemoryTransport or some other similar virtual filesystem.
 
1867
 
 
1868
        This is the backing transport (if any) of the server returned by
 
1869
        get_url and get_readonly_url.
 
1870
 
 
1871
        :param relpath: provides for clients to get a path relative to the base
 
1872
            url.  These should only be downwards relative, not upwards.
 
1873
        :return: A URL
 
1874
        """
 
1875
        base = self.get_vfs_only_server().get_url()
 
1876
        return self._adjust_url(base, relpath)
 
1877
 
 
1878
    def _make_test_root(self):
 
1879
        if TestCaseWithMemoryTransport.TEST_ROOT is not None:
 
1880
            return
 
1881
        root = tempfile.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
1882
        TestCaseWithMemoryTransport.TEST_ROOT = root
 
1883
        
 
1884
        # make a fake bzr directory there to prevent any tests propagating
 
1885
        # up onto the source directory's real branch
 
1886
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
1887
 
 
1888
        # The same directory is used by all tests, and we're not specifically
 
1889
        # told when all tests are finished.  This will do.
 
1890
        atexit.register(_rmtree_temp_dir, root)
 
1891
 
 
1892
    def makeAndChdirToTestDir(self):
 
1893
        """Create a temporary directories for this one test.
 
1894
        
 
1895
        This must set self.test_home_dir and self.test_dir and chdir to
 
1896
        self.test_dir.
 
1897
        
 
1898
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
 
1899
        """
 
1900
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
1901
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
 
1902
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
 
1903
        
 
1904
    def make_branch(self, relpath, format=None):
 
1905
        """Create a branch on the transport at relpath."""
 
1906
        repo = self.make_repository(relpath, format=format)
 
1907
        return repo.bzrdir.create_branch()
 
1908
 
 
1909
    def make_bzrdir(self, relpath, format=None):
 
1910
        try:
 
1911
            # might be a relative or absolute path
 
1912
            maybe_a_url = self.get_url(relpath)
 
1913
            segments = maybe_a_url.rsplit('/', 1)
 
1914
            t = get_transport(maybe_a_url)
 
1915
            if len(segments) > 1 and segments[-1] not in ('', '.'):
 
1916
                t.ensure_base()
 
1917
            if format is None:
 
1918
                format = 'default'
 
1919
            if isinstance(format, basestring):
 
1920
                format = bzrdir.format_registry.make_bzrdir(format)
 
1921
            return format.initialize_on_transport(t)
 
1922
        except errors.UninitializableFormat:
 
1923
            raise TestSkipped("Format %s is not initializable." % format)
 
1924
 
 
1925
    def make_repository(self, relpath, shared=False, format=None):
 
1926
        """Create a repository on our default transport at relpath.
 
1927
        
 
1928
        Note that relpath must be a relative path, not a full url.
 
1929
        """
 
1930
        # FIXME: If you create a remoterepository this returns the underlying
 
1931
        # real format, which is incorrect.  Actually we should make sure that 
 
1932
        # RemoteBzrDir returns a RemoteRepository.
 
1933
        # maybe  mbp 20070410
 
1934
        made_control = self.make_bzrdir(relpath, format=format)
 
1935
        return made_control.create_repository(shared=shared)
 
1936
 
 
1937
    def make_branch_and_memory_tree(self, relpath, format=None):
 
1938
        """Create a branch on the default transport and a MemoryTree for it."""
 
1939
        b = self.make_branch(relpath, format=format)
 
1940
        return memorytree.MemoryTree.create_on_branch(b)
 
1941
 
 
1942
    def overrideEnvironmentForTesting(self):
 
1943
        os.environ['HOME'] = self.test_home_dir
 
1944
        os.environ['BZR_HOME'] = self.test_home_dir
 
1945
        
 
1946
    def setUp(self):
 
1947
        super(TestCaseWithMemoryTransport, self).setUp()
 
1948
        self._make_test_root()
 
1949
        _currentdir = os.getcwdu()
 
1950
        def _leaveDirectory():
 
1951
            os.chdir(_currentdir)
 
1952
        self.addCleanup(_leaveDirectory)
 
1953
        self.makeAndChdirToTestDir()
 
1954
        self.overrideEnvironmentForTesting()
 
1955
        self.__readonly_server = None
 
1956
        self.__server = None
 
1957
        self.reduceLockdirTimeout()
572
1958
 
573
1959
     
574
 
class TestCaseInTempDir(TestCase):
 
1960
class TestCaseInTempDir(TestCaseWithMemoryTransport):
575
1961
    """Derived class that runs a test within a temporary directory.
576
1962
 
577
1963
    This is useful for tests that need to create a branch, etc.
581
1967
    All test cases create their own directory within that.  If the
582
1968
    tests complete successfully, the directory is removed.
583
1969
 
584
 
    InTempDir is an old alias for FunctionalTestCase.
 
1970
    :ivar test_base_dir: The path of the top-level directory for this 
 
1971
    test, which contains a home directory and a work directory.
 
1972
 
 
1973
    :ivar test_home_dir: An initially empty directory under test_base_dir
 
1974
    which is used as $HOME for this test.
 
1975
 
 
1976
    :ivar test_dir: A directory under test_base_dir used as the current
 
1977
    directory when the test proper is run.
585
1978
    """
586
1979
 
587
 
    TEST_ROOT = None
588
 
    _TEST_NAME = 'test'
589
1980
    OVERRIDE_PYTHON = 'python'
590
1981
 
591
1982
    def check_file_contents(self, filename, expect):
596
1987
            self.log("actually: %r" % contents)
597
1988
            self.fail("contents of %s not as expected" % filename)
598
1989
 
599
 
    def _make_test_root(self):
600
 
        if TestCaseInTempDir.TEST_ROOT is not None:
601
 
            return
602
 
        i = 0
603
 
        while True:
604
 
            root = u'test%04d.tmp' % i
605
 
            try:
606
 
                os.mkdir(root)
607
 
            except OSError, e:
608
 
                if e.errno == errno.EEXIST:
609
 
                    i += 1
610
 
                    continue
611
 
                else:
612
 
                    raise
613
 
            # successfully created
614
 
            TestCaseInTempDir.TEST_ROOT = osutils.abspath(root)
615
 
            break
616
 
        # make a fake bzr directory there to prevent any tests propagating
617
 
        # up onto the source directory's real branch
618
 
        bzrdir.BzrDir.create_standalone_workingtree(TestCaseInTempDir.TEST_ROOT)
619
 
 
620
 
    def setUp(self):
621
 
        super(TestCaseInTempDir, self).setUp()
622
 
        self._make_test_root()
623
 
        _currentdir = os.getcwdu()
624
 
        # shorten the name, to avoid test failures due to path length
625
 
        short_id = self.id().replace('bzrlib.tests.', '') \
626
 
                   .replace('__main__.', '')[-100:]
627
 
        # it's possible the same test class is run several times for
628
 
        # parameterized tests, so make sure the names don't collide.  
629
 
        i = 0
630
 
        while True:
631
 
            if i > 0:
632
 
                candidate_dir = '%s/%s.%d' % (self.TEST_ROOT, short_id, i)
633
 
            else:
634
 
                candidate_dir = '%s/%s' % (self.TEST_ROOT, short_id)
635
 
            if os.path.exists(candidate_dir):
636
 
                i = i + 1
637
 
                continue
638
 
            else:
639
 
                self.test_dir = candidate_dir
640
 
                os.mkdir(self.test_dir)
641
 
                os.chdir(self.test_dir)
642
 
                break
643
 
        os.environ['HOME'] = self.test_dir
644
 
        os.environ['APPDATA'] = self.test_dir
645
 
        def _leaveDirectory():
646
 
            os.chdir(_currentdir)
647
 
        self.addCleanup(_leaveDirectory)
 
1990
    def makeAndChdirToTestDir(self):
 
1991
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
648
1992
        
649
 
    def build_tree(self, shape, line_endings='native', transport=None):
 
1993
        For TestCaseInTempDir we create a temporary directory based on the test
 
1994
        name and then create two subdirs - test and home under it.
 
1995
        """
 
1996
        # create a directory within the top level test directory
 
1997
        candidate_dir = tempfile.mkdtemp(dir=self.TEST_ROOT)
 
1998
        # now create test and home directories within this dir
 
1999
        self.test_base_dir = candidate_dir
 
2000
        self.test_home_dir = self.test_base_dir + '/home'
 
2001
        os.mkdir(self.test_home_dir)
 
2002
        self.test_dir = self.test_base_dir + '/work'
 
2003
        os.mkdir(self.test_dir)
 
2004
        os.chdir(self.test_dir)
 
2005
        # put name of test inside
 
2006
        f = file(self.test_base_dir + '/name', 'w')
 
2007
        try:
 
2008
            f.write(self.id())
 
2009
        finally:
 
2010
            f.close()
 
2011
        self.addCleanup(self.deleteTestDir)
 
2012
 
 
2013
    def deleteTestDir(self):
 
2014
        os.chdir(self.TEST_ROOT)
 
2015
        _rmtree_temp_dir(self.test_base_dir)
 
2016
 
 
2017
    def build_tree(self, shape, line_endings='binary', transport=None):
650
2018
        """Build a test tree according to a pattern.
651
2019
 
652
2020
        shape is a sequence of file specifications.  If the final
653
2021
        character is '/', a directory is created.
654
2022
 
 
2023
        This assumes that all the elements in the tree being built are new.
 
2024
 
655
2025
        This doesn't add anything to a branch.
 
2026
 
656
2027
        :param line_endings: Either 'binary' or 'native'
657
 
                             in binary mode, exact contents are written
658
 
                             in native mode, the line endings match the
659
 
                             default platform endings.
660
 
 
661
 
        :param transport: A transport to write to, for building trees on 
662
 
                          VFS's. If the transport is readonly or None,
663
 
                          "." is opened automatically.
 
2028
            in binary mode, exact contents are written in native mode, the
 
2029
            line endings match the default platform endings.
 
2030
        :param transport: A transport to write to, for building trees on VFS's.
 
2031
            If the transport is readonly or None, "." is opened automatically.
 
2032
        :return: None
664
2033
        """
665
 
        # XXX: It's OK to just create them using forward slashes on windows?
 
2034
        # It's OK to just create them using forward slashes on windows.
666
2035
        if transport is None or transport.is_readonly():
667
2036
            transport = get_transport(".")
668
2037
        for name in shape:
669
2038
            self.assert_(isinstance(name, basestring))
670
2039
            if name[-1] == '/':
671
 
                transport.mkdir(urlescape(name[:-1]))
 
2040
                transport.mkdir(urlutils.escape(name[:-1]))
672
2041
            else:
673
2042
                if line_endings == 'binary':
674
2043
                    end = '\n'
675
2044
                elif line_endings == 'native':
676
2045
                    end = os.linesep
677
2046
                else:
678
 
                    raise errors.BzrError('Invalid line ending request %r' % (line_endings,))
679
 
                content = "contents of %s%s" % (name, end)
680
 
                transport.put(urlescape(name), StringIO(content))
 
2047
                    raise errors.BzrError(
 
2048
                        'Invalid line ending request %r' % line_endings)
 
2049
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
2050
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
681
2051
 
682
2052
    def build_tree_contents(self, shape):
683
2053
        build_tree_contents(shape)
684
2054
 
 
2055
    def assertFileEqual(self, content, path):
 
2056
        """Fail if path does not contain 'content'."""
 
2057
        self.failUnlessExists(path)
 
2058
        f = file(path, 'rb')
 
2059
        try:
 
2060
            s = f.read()
 
2061
        finally:
 
2062
            f.close()
 
2063
        self.assertEqualDiff(content, s)
 
2064
 
685
2065
    def failUnlessExists(self, path):
686
 
        """Fail unless path, which may be abs or relative, exists."""
687
 
        self.failUnless(osutils.lexists(path))
 
2066
        """Fail unless path or paths, which may be abs or relative, exist."""
 
2067
        if not isinstance(path, basestring):
 
2068
            for p in path:
 
2069
                self.failUnlessExists(p)
 
2070
        else:
 
2071
            self.failUnless(osutils.lexists(path),path+" does not exist")
688
2072
 
689
2073
    def failIfExists(self, path):
690
 
        """Fail if path, which may be abs or relative, exists."""
691
 
        self.failIf(osutils.lexists(path))
692
 
        
693
 
    def assertFileEqual(self, content, path):
694
 
        """Fail if path does not contain 'content'."""
695
 
        self.failUnless(osutils.lexists(path))
696
 
        self.assertEqualDiff(content, open(path, 'r').read())
 
2074
        """Fail if path or paths, which may be abs or relative, exist."""
 
2075
        if not isinstance(path, basestring):
 
2076
            for p in path:
 
2077
                self.failIfExists(p)
 
2078
        else:
 
2079
            self.failIf(osutils.lexists(path),path+" exists")
 
2080
 
 
2081
    def assertInWorkingTree(self, path, root_path='.', tree=None):
 
2082
        """Assert whether path or paths are in the WorkingTree"""
 
2083
        if tree is None:
 
2084
            tree = workingtree.WorkingTree.open(root_path)
 
2085
        if not isinstance(path, basestring):
 
2086
            for p in path:
 
2087
                self.assertInWorkingTree(p,tree=tree)
 
2088
        else:
 
2089
            self.assertIsNot(tree.path2id(path), None,
 
2090
                path+' not in working tree.')
 
2091
 
 
2092
    def assertNotInWorkingTree(self, path, root_path='.', tree=None):
 
2093
        """Assert whether path or paths are not in the WorkingTree"""
 
2094
        if tree is None:
 
2095
            tree = workingtree.WorkingTree.open(root_path)
 
2096
        if not isinstance(path, basestring):
 
2097
            for p in path:
 
2098
                self.assertNotInWorkingTree(p,tree=tree)
 
2099
        else:
 
2100
            self.assertIs(tree.path2id(path), None, path+' in working tree.')
697
2101
 
698
2102
 
699
2103
class TestCaseWithTransport(TestCaseInTempDir):
710
2114
    readwrite one must both define get_url() as resolving to os.getcwd().
711
2115
    """
712
2116
 
713
 
    def __init__(self, methodName='testMethod'):
714
 
        super(TestCaseWithTransport, self).__init__(methodName)
715
 
        self.__readonly_server = None
716
 
        self.__server = None
717
 
        self.transport_server = default_transport
718
 
        self.transport_readonly_server = None
719
 
 
720
 
    def get_readonly_url(self, relpath=None):
721
 
        """Get a URL for the readonly transport.
722
 
 
723
 
        This will either be backed by '.' or a decorator to the transport 
724
 
        used by self.get_url()
725
 
        relpath provides for clients to get a path relative to the base url.
726
 
        These should only be downwards relative, not upwards.
727
 
        """
728
 
        base = self.get_readonly_server().get_url()
729
 
        if relpath is not None:
730
 
            if not base.endswith('/'):
731
 
                base = base + '/'
732
 
            base = base + relpath
733
 
        return base
734
 
 
735
 
    def get_readonly_server(self):
736
 
        """Get the server instance for the readonly transport
737
 
 
738
 
        This is useful for some tests with specific servers to do diagnostics.
739
 
        """
740
 
        if self.__readonly_server is None:
741
 
            if self.transport_readonly_server is None:
742
 
                # readonly decorator requested
743
 
                # bring up the server
744
 
                self.get_url()
745
 
                self.__readonly_server = ReadonlyServer()
746
 
                self.__readonly_server.setUp(self.__server)
747
 
            else:
748
 
                self.__readonly_server = self.transport_readonly_server()
749
 
                self.__readonly_server.setUp()
750
 
            self.addCleanup(self.__readonly_server.tearDown)
751
 
        return self.__readonly_server
752
 
 
753
 
    def get_server(self):
754
 
        """Get the read/write server instance.
 
2117
    def get_vfs_only_server(self):
 
2118
        """See TestCaseWithMemoryTransport.
755
2119
 
756
2120
        This is useful for some tests with specific servers that need
757
2121
        diagnostics.
758
2122
        """
759
 
        if self.__server is None:
760
 
            self.__server = self.transport_server()
761
 
            self.__server.setUp()
762
 
            self.addCleanup(self.__server.tearDown)
763
 
        return self.__server
764
 
 
765
 
    def get_url(self, relpath=None):
766
 
        """Get a URL for the readwrite transport.
767
 
 
768
 
        This will either be backed by '.' or to an equivalent non-file based
769
 
        facility.
770
 
        relpath provides for clients to get a path relative to the base url.
771
 
        These should only be downwards relative, not upwards.
772
 
        """
773
 
        base = self.get_server().get_url()
774
 
        if relpath is not None and relpath != '.':
775
 
            if not base.endswith('/'):
776
 
                base = base + '/'
777
 
            base = base + relpath
778
 
        return base
779
 
 
780
 
    def get_transport(self):
781
 
        """Return a writeable transport for the test scratch space"""
782
 
        t = get_transport(self.get_url())
783
 
        self.assertFalse(t.is_readonly())
784
 
        return t
785
 
 
786
 
    def get_readonly_transport(self):
787
 
        """Return a readonly transport for the test scratch space
788
 
        
789
 
        This can be used to test that operations which should only need
790
 
        readonly access in fact do not try to write.
791
 
        """
792
 
        t = get_transport(self.get_readonly_url())
793
 
        self.assertTrue(t.is_readonly())
794
 
        return t
795
 
 
796
 
    def make_branch(self, relpath):
797
 
        """Create a branch on the transport at relpath."""
798
 
        repo = self.make_repository(relpath)
799
 
        return repo.bzrdir.create_branch()
800
 
 
801
 
    def make_bzrdir(self, relpath):
802
 
        try:
803
 
            url = self.get_url(relpath)
804
 
            segments = relpath.split('/')
805
 
            if segments and segments[-1] not in ('', '.'):
806
 
                parent = self.get_url('/'.join(segments[:-1]))
807
 
                t = get_transport(parent)
808
 
                try:
809
 
                    t.mkdir(segments[-1])
810
 
                except errors.FileExists:
811
 
                    pass
812
 
            return bzrlib.bzrdir.BzrDir.create(url)
813
 
        except errors.UninitializableFormat:
814
 
            raise TestSkipped("Format %s is not initializable.")
815
 
 
816
 
    def make_repository(self, relpath, shared=False):
817
 
        """Create a repository on our default transport at relpath."""
818
 
        made_control = self.make_bzrdir(relpath)
819
 
        return made_control.create_repository(shared=shared)
820
 
 
821
 
    def make_branch_and_tree(self, relpath):
 
2123
        if self.__vfs_server is None:
 
2124
            self.__vfs_server = self.vfs_transport_factory()
 
2125
            self.__vfs_server.setUp()
 
2126
            self.addCleanup(self.__vfs_server.tearDown)
 
2127
        return self.__vfs_server
 
2128
 
 
2129
    def make_branch_and_tree(self, relpath, format=None):
822
2130
        """Create a branch on the transport and a tree locally.
823
2131
 
824
 
        Returns the tree.
 
2132
        If the transport is not a LocalTransport, the Tree can't be created on
 
2133
        the transport.  In that case if the vfs_transport_factory is
 
2134
        LocalURLServer the working tree is created in the local
 
2135
        directory backing the transport, and the returned tree's branch and
 
2136
        repository will also be accessed locally. Otherwise a lightweight
 
2137
        checkout is created and returned.
 
2138
 
 
2139
        :param format: The BzrDirFormat.
 
2140
        :returns: the WorkingTree.
825
2141
        """
826
2142
        # TODO: always use the local disk path for the working tree,
827
2143
        # this obviously requires a format that supports branch references
828
2144
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
829
2145
        # RBC 20060208
830
 
        b = self.make_branch(relpath)
 
2146
        b = self.make_branch(relpath, format=format)
831
2147
        try:
832
2148
            return b.bzrdir.create_workingtree()
833
2149
        except errors.NotLocalUrl:
834
 
            # new formats - catch No tree error and create
835
 
            # a branch reference and a checkout.
836
 
            # old formats at that point - raise TestSkipped.
837
 
            # TODO: rbc 20060208
838
 
            return WorkingTreeFormat2().initialize(bzrdir.BzrDir.open(relpath))
 
2150
            # We can only make working trees locally at the moment.  If the
 
2151
            # transport can't support them, then we keep the non-disk-backed
 
2152
            # branch and create a local checkout.
 
2153
            if self.vfs_transport_factory is LocalURLServer:
 
2154
                # the branch is colocated on disk, we cannot create a checkout.
 
2155
                # hopefully callers will expect this.
 
2156
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
 
2157
                return local_controldir.create_workingtree()
 
2158
            else:
 
2159
                return b.create_checkout(relpath, lightweight=True)
839
2160
 
840
2161
    def assertIsDirectory(self, relpath, transport):
841
2162
        """Assert that relpath within transport is a directory.
852
2173
            self.fail("path %s is not a directory; has mode %#o"
853
2174
                      % (relpath, mode))
854
2175
 
 
2176
    def assertTreesEqual(self, left, right):
 
2177
        """Check that left and right have the same content and properties."""
 
2178
        # we use a tree delta to check for equality of the content, and we
 
2179
        # manually check for equality of other things such as the parents list.
 
2180
        self.assertEqual(left.get_parent_ids(), right.get_parent_ids())
 
2181
        differences = left.changes_from(right)
 
2182
        self.assertFalse(differences.has_changed(),
 
2183
            "Trees %r and %r are different: %r" % (left, right, differences))
 
2184
 
 
2185
    def setUp(self):
 
2186
        super(TestCaseWithTransport, self).setUp()
 
2187
        self.__vfs_server = None
 
2188
 
855
2189
 
856
2190
class ChrootedTestCase(TestCaseWithTransport):
857
2191
    """A support class that provides readonly urls outside the local namespace.
867
2201
 
868
2202
    def setUp(self):
869
2203
        super(ChrootedTestCase, self).setUp()
870
 
        if not self.transport_server == bzrlib.transport.memory.MemoryServer:
871
 
            self.transport_readonly_server = bzrlib.transport.http.HttpServer
872
 
 
873
 
 
874
 
def filter_suite_by_re(suite, pattern):
875
 
    result = TestSuite()
 
2204
        if not self.vfs_transport_factory == MemoryServer:
 
2205
            self.transport_readonly_server = HttpServer
 
2206
 
 
2207
 
 
2208
def filter_suite_by_re(suite, pattern, exclude_pattern=None,
 
2209
                       random_order=False):
 
2210
    """Create a test suite by filtering another one.
 
2211
    
 
2212
    :param suite:           the source suite
 
2213
    :param pattern:         pattern that names must match
 
2214
    :param exclude_pattern: pattern that names must not match, if any
 
2215
    :param random_order:    if True, tests in the new suite will be put in
 
2216
                            random order
 
2217
    :returns: the newly created suite
 
2218
    """ 
 
2219
    return sort_suite_by_re(suite, pattern, exclude_pattern,
 
2220
        random_order, False)
 
2221
 
 
2222
 
 
2223
def sort_suite_by_re(suite, pattern, exclude_pattern=None,
 
2224
                     random_order=False, append_rest=True):
 
2225
    """Create a test suite by sorting another one.
 
2226
    
 
2227
    :param suite:           the source suite
 
2228
    :param pattern:         pattern that names must match in order to go
 
2229
                            first in the new suite
 
2230
    :param exclude_pattern: pattern that names must not match, if any
 
2231
    :param random_order:    if True, tests in the new suite will be put in
 
2232
                            random order
 
2233
    :param append_rest:     if False, pattern is a strict filter and not
 
2234
                            just an ordering directive
 
2235
    :returns: the newly created suite
 
2236
    """ 
 
2237
    first = []
 
2238
    second = []
876
2239
    filter_re = re.compile(pattern)
 
2240
    if exclude_pattern is not None:
 
2241
        exclude_re = re.compile(exclude_pattern)
877
2242
    for test in iter_suite_tests(suite):
878
 
        if filter_re.search(test.id()):
879
 
            result.addTest(test)
880
 
    return result
 
2243
        test_id = test.id()
 
2244
        if exclude_pattern is None or not exclude_re.search(test_id):
 
2245
            if filter_re.search(test_id):
 
2246
                first.append(test)
 
2247
            elif append_rest:
 
2248
                second.append(test)
 
2249
    if random_order:
 
2250
        random.shuffle(first)
 
2251
        random.shuffle(second)
 
2252
    return TestUtil.TestSuite(first + second)
881
2253
 
882
2254
 
883
2255
def run_suite(suite, name='test', verbose=False, pattern=".*",
884
 
              stop_on_failure=False, keep_output=False,
885
 
              transport=None):
886
 
    TestCaseInTempDir._TEST_NAME = name
 
2256
              stop_on_failure=False,
 
2257
              transport=None, lsprof_timed=None, bench_history=None,
 
2258
              matching_tests_first=None,
 
2259
              list_only=False,
 
2260
              random_seed=None,
 
2261
              exclude_pattern=None,
 
2262
              strict=False,
 
2263
              ):
 
2264
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
887
2265
    if verbose:
888
2266
        verbosity = 2
889
2267
    else:
890
2268
        verbosity = 1
891
2269
    runner = TextTestRunner(stream=sys.stdout,
892
2270
                            descriptions=0,
893
 
                            verbosity=verbosity)
 
2271
                            verbosity=verbosity,
 
2272
                            bench_history=bench_history,
 
2273
                            list_only=list_only,
 
2274
                            )
894
2275
    runner.stop_on_failure=stop_on_failure
895
 
    if pattern != '.*':
896
 
        suite = filter_suite_by_re(suite, pattern)
 
2276
    # Initialise the random number generator and display the seed used.
 
2277
    # We convert the seed to a long to make it reuseable across invocations.
 
2278
    random_order = False
 
2279
    if random_seed is not None:
 
2280
        random_order = True
 
2281
        if random_seed == "now":
 
2282
            random_seed = long(time.time())
 
2283
        else:
 
2284
            # Convert the seed to a long if we can
 
2285
            try:
 
2286
                random_seed = long(random_seed)
 
2287
            except:
 
2288
                pass
 
2289
        runner.stream.writeln("Randomizing test order using seed %s\n" %
 
2290
            (random_seed))
 
2291
        random.seed(random_seed)
 
2292
    # Customise the list of tests if requested
 
2293
    if pattern != '.*' or exclude_pattern is not None or random_order:
 
2294
        if matching_tests_first:
 
2295
            suite = sort_suite_by_re(suite, pattern, exclude_pattern,
 
2296
                random_order)
 
2297
        else:
 
2298
            suite = filter_suite_by_re(suite, pattern, exclude_pattern,
 
2299
                random_order)
897
2300
    result = runner.run(suite)
898
 
    # This is still a little bogus, 
899
 
    # but only a little. Folk not using our testrunner will
900
 
    # have to delete their temp directories themselves.
901
 
    test_root = TestCaseInTempDir.TEST_ROOT
902
 
    if result.wasSuccessful() or not keep_output:
903
 
        if test_root is not None:
904
 
            print 'Deleting test root %s...' % test_root
905
 
            try:
906
 
                shutil.rmtree(test_root)
907
 
            finally:
908
 
                print
909
 
    else:
910
 
        print "Failed tests working directories are in '%s'\n" % TestCaseInTempDir.TEST_ROOT
 
2301
 
 
2302
    if strict:
 
2303
        return result.wasStrictlySuccessful()
 
2304
 
911
2305
    return result.wasSuccessful()
912
2306
 
913
2307
 
914
2308
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
915
 
             keep_output=False,
916
 
             transport=None):
 
2309
             transport=None,
 
2310
             test_suite_factory=None,
 
2311
             lsprof_timed=None,
 
2312
             bench_history=None,
 
2313
             matching_tests_first=None,
 
2314
             list_only=False,
 
2315
             random_seed=None,
 
2316
             exclude_pattern=None,
 
2317
             strict=False,
 
2318
             ):
917
2319
    """Run the whole test suite under the enhanced runner"""
 
2320
    # XXX: Very ugly way to do this...
 
2321
    # Disable warning about old formats because we don't want it to disturb
 
2322
    # any blackbox tests.
 
2323
    from bzrlib import repository
 
2324
    repository._deprecation_warning_done = True
 
2325
 
918
2326
    global default_transport
919
2327
    if transport is None:
920
2328
        transport = default_transport
921
2329
    old_transport = default_transport
922
2330
    default_transport = transport
923
 
    suite = test_suite()
924
2331
    try:
 
2332
        if test_suite_factory is None:
 
2333
            suite = test_suite()
 
2334
        else:
 
2335
            suite = test_suite_factory()
925
2336
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
926
 
                     stop_on_failure=stop_on_failure, keep_output=keep_output,
927
 
                     transport=transport)
 
2337
                     stop_on_failure=stop_on_failure,
 
2338
                     transport=transport,
 
2339
                     lsprof_timed=lsprof_timed,
 
2340
                     bench_history=bench_history,
 
2341
                     matching_tests_first=matching_tests_first,
 
2342
                     list_only=list_only,
 
2343
                     random_seed=random_seed,
 
2344
                     exclude_pattern=exclude_pattern,
 
2345
                     strict=strict)
928
2346
    finally:
929
2347
        default_transport = old_transport
930
2348
 
931
2349
 
932
 
 
933
2350
def test_suite():
934
 
    """Build and return TestSuite for the whole program."""
935
 
    from doctest import DocTestSuite
936
 
 
937
 
    global MODULES_TO_DOCTEST
938
 
 
939
 
    testmod_names = [ \
 
2351
    """Build and return TestSuite for the whole of bzrlib.
 
2352
    
 
2353
    This function can be replaced if you need to change the default test
 
2354
    suite on a global basis, but it is not encouraged.
 
2355
    """
 
2356
    testmod_names = [
 
2357
                   'bzrlib.util.tests.test_bencode',
 
2358
                   'bzrlib.tests.test__dirstate_helpers',
940
2359
                   'bzrlib.tests.test_ancestry',
941
2360
                   'bzrlib.tests.test_annotate',
942
2361
                   'bzrlib.tests.test_api',
 
2362
                   'bzrlib.tests.test_atomicfile',
943
2363
                   'bzrlib.tests.test_bad_files',
944
 
                   'bzrlib.tests.test_basis_inventory',
945
2364
                   'bzrlib.tests.test_branch',
 
2365
                   'bzrlib.tests.test_branchbuilder',
 
2366
                   'bzrlib.tests.test_bugtracker',
 
2367
                   'bzrlib.tests.test_bundle',
946
2368
                   'bzrlib.tests.test_bzrdir',
947
 
                   'bzrlib.tests.test_command',
 
2369
                   'bzrlib.tests.test_cache_utf8',
 
2370
                   'bzrlib.tests.test_commands',
948
2371
                   'bzrlib.tests.test_commit',
949
2372
                   'bzrlib.tests.test_commit_merge',
950
2373
                   'bzrlib.tests.test_config',
951
2374
                   'bzrlib.tests.test_conflicts',
 
2375
                   'bzrlib.tests.test_counted_lock',
952
2376
                   'bzrlib.tests.test_decorators',
 
2377
                   'bzrlib.tests.test_delta',
 
2378
                   'bzrlib.tests.test_deprecated_graph',
953
2379
                   'bzrlib.tests.test_diff',
954
 
                   'bzrlib.tests.test_doc_generate',
 
2380
                   'bzrlib.tests.test_dirstate',
 
2381
                   'bzrlib.tests.test_email_message',
955
2382
                   'bzrlib.tests.test_errors',
956
2383
                   'bzrlib.tests.test_escaped_store',
 
2384
                   'bzrlib.tests.test_extract',
957
2385
                   'bzrlib.tests.test_fetch',
 
2386
                   'bzrlib.tests.test_ftp_transport',
 
2387
                   'bzrlib.tests.test_generate_docs',
 
2388
                   'bzrlib.tests.test_generate_ids',
 
2389
                   'bzrlib.tests.test_globbing',
958
2390
                   'bzrlib.tests.test_gpg',
959
2391
                   'bzrlib.tests.test_graph',
960
2392
                   'bzrlib.tests.test_hashcache',
 
2393
                   'bzrlib.tests.test_help',
 
2394
                   'bzrlib.tests.test_hooks',
961
2395
                   'bzrlib.tests.test_http',
 
2396
                   'bzrlib.tests.test_http_response',
 
2397
                   'bzrlib.tests.test_https_ca_bundle',
962
2398
                   'bzrlib.tests.test_identitymap',
 
2399
                   'bzrlib.tests.test_ignores',
 
2400
                   'bzrlib.tests.test_index',
 
2401
                   'bzrlib.tests.test_info',
963
2402
                   'bzrlib.tests.test_inv',
964
2403
                   'bzrlib.tests.test_knit',
 
2404
                   'bzrlib.tests.test_lazy_import',
 
2405
                   'bzrlib.tests.test_lazy_regex',
965
2406
                   'bzrlib.tests.test_lockdir',
966
2407
                   'bzrlib.tests.test_lockable_files',
967
2408
                   'bzrlib.tests.test_log',
 
2409
                   'bzrlib.tests.test_lsprof',
 
2410
                   'bzrlib.tests.test_mail_client',
 
2411
                   'bzrlib.tests.test_memorytree',
968
2412
                   'bzrlib.tests.test_merge',
969
2413
                   'bzrlib.tests.test_merge3',
970
2414
                   'bzrlib.tests.test_merge_core',
 
2415
                   'bzrlib.tests.test_merge_directive',
971
2416
                   'bzrlib.tests.test_missing',
972
2417
                   'bzrlib.tests.test_msgeditor',
 
2418
                   'bzrlib.tests.test_multiparent',
973
2419
                   'bzrlib.tests.test_nonascii',
974
2420
                   'bzrlib.tests.test_options',
975
2421
                   'bzrlib.tests.test_osutils',
 
2422
                   'bzrlib.tests.test_osutils_encodings',
 
2423
                   'bzrlib.tests.test_pack',
 
2424
                   'bzrlib.tests.test_patch',
 
2425
                   'bzrlib.tests.test_patches',
976
2426
                   'bzrlib.tests.test_permissions',
977
2427
                   'bzrlib.tests.test_plugins',
978
2428
                   'bzrlib.tests.test_progress',
 
2429
                   'bzrlib.tests.test_reconfigure',
979
2430
                   'bzrlib.tests.test_reconcile',
 
2431
                   'bzrlib.tests.test_registry',
 
2432
                   'bzrlib.tests.test_remote',
980
2433
                   'bzrlib.tests.test_repository',
 
2434
                   'bzrlib.tests.test_revert',
981
2435
                   'bzrlib.tests.test_revision',
982
2436
                   'bzrlib.tests.test_revisionnamespaces',
983
 
                   'bzrlib.tests.test_revprops',
 
2437
                   'bzrlib.tests.test_revisiontree',
984
2438
                   'bzrlib.tests.test_rio',
985
2439
                   'bzrlib.tests.test_sampler',
986
2440
                   'bzrlib.tests.test_selftest',
987
2441
                   'bzrlib.tests.test_setup',
988
2442
                   'bzrlib.tests.test_sftp_transport',
 
2443
                   'bzrlib.tests.test_smart',
989
2444
                   'bzrlib.tests.test_smart_add',
 
2445
                   'bzrlib.tests.test_smart_transport',
 
2446
                   'bzrlib.tests.test_smtp_connection',
990
2447
                   'bzrlib.tests.test_source',
 
2448
                   'bzrlib.tests.test_ssh_transport',
 
2449
                   'bzrlib.tests.test_status',
991
2450
                   'bzrlib.tests.test_store',
 
2451
                   'bzrlib.tests.test_strace',
 
2452
                   'bzrlib.tests.test_subsume',
992
2453
                   'bzrlib.tests.test_symbol_versioning',
 
2454
                   'bzrlib.tests.test_tag',
993
2455
                   'bzrlib.tests.test_testament',
 
2456
                   'bzrlib.tests.test_textfile',
 
2457
                   'bzrlib.tests.test_textmerge',
 
2458
                   'bzrlib.tests.test_timestamp',
994
2459
                   'bzrlib.tests.test_trace',
995
2460
                   'bzrlib.tests.test_transactions',
996
2461
                   'bzrlib.tests.test_transform',
997
2462
                   'bzrlib.tests.test_transport',
 
2463
                   'bzrlib.tests.test_tree',
 
2464
                   'bzrlib.tests.test_treebuilder',
998
2465
                   'bzrlib.tests.test_tsort',
 
2466
                   'bzrlib.tests.test_tuned_gzip',
999
2467
                   'bzrlib.tests.test_ui',
1000
2468
                   'bzrlib.tests.test_upgrade',
 
2469
                   'bzrlib.tests.test_urlutils',
1001
2470
                   'bzrlib.tests.test_versionedfile',
 
2471
                   'bzrlib.tests.test_version',
 
2472
                   'bzrlib.tests.test_version_info',
1002
2473
                   'bzrlib.tests.test_weave',
1003
2474
                   'bzrlib.tests.test_whitebox',
 
2475
                   'bzrlib.tests.test_win32utils',
1004
2476
                   'bzrlib.tests.test_workingtree',
 
2477
                   'bzrlib.tests.test_workingtree_4',
 
2478
                   'bzrlib.tests.test_wsgi',
1005
2479
                   'bzrlib.tests.test_xml',
1006
2480
                   ]
1007
2481
    test_transport_implementations = [
1008
 
        'bzrlib.tests.test_transport_implementations']
1009
 
 
1010
 
    TestCase.BZRPATH = osutils.pathjoin(
1011
 
            osutils.realpath(osutils.dirname(bzrlib.__path__[0])), 'bzr')
1012
 
    print '%10s: %s' % ('bzr', osutils.realpath(sys.argv[0]))
1013
 
    print '%10s: %s' % ('bzrlib', bzrlib.__path__[0])
1014
 
    print
1015
 
    suite = TestSuite()
1016
 
    # python2.4's TestLoader.loadTestsFromNames gives very poor 
1017
 
    # errors if it fails to load a named module - no indication of what's
1018
 
    # actually wrong, just "no such module".  We should probably override that
1019
 
    # class, but for the moment just load them ourselves. (mbp 20051202)
1020
 
    loader = TestLoader()
1021
 
    from bzrlib.transport import TransportTestProviderAdapter
 
2482
        'bzrlib.tests.test_transport_implementations',
 
2483
        'bzrlib.tests.test_read_bundle',
 
2484
        ]
 
2485
    suite = TestUtil.TestSuite()
 
2486
    loader = TestUtil.TestLoader()
 
2487
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
2488
    from bzrlib.tests.test_transport_implementations import TransportTestProviderAdapter
1022
2489
    adapter = TransportTestProviderAdapter()
1023
2490
    adapt_modules(test_transport_implementations, adapter, loader, suite)
1024
 
    for mod_name in testmod_names:
1025
 
        mod = _load_module_by_name(mod_name)
1026
 
        suite.addTest(loader.loadTestsFromModule(mod))
1027
2491
    for package in packages_to_test():
1028
2492
        suite.addTest(package.test_suite())
1029
2493
    for m in MODULES_TO_TEST:
1030
2494
        suite.addTest(loader.loadTestsFromModule(m))
1031
 
    for m in (MODULES_TO_DOCTEST):
1032
 
        suite.addTest(DocTestSuite(m))
1033
 
    for name, plugin in bzrlib.plugin.all_plugins().items():
1034
 
        if getattr(plugin, 'test_suite', None) is not None:
1035
 
            suite.addTest(plugin.test_suite())
 
2495
    for m in MODULES_TO_DOCTEST:
 
2496
        try:
 
2497
            suite.addTest(doctest.DocTestSuite(m))
 
2498
        except ValueError, e:
 
2499
            print '**failed to get doctest for: %s\n%s' %(m,e)
 
2500
            raise
 
2501
    default_encoding = sys.getdefaultencoding()
 
2502
    for name, plugin in bzrlib.plugin.plugins().items():
 
2503
        try:
 
2504
            plugin_suite = plugin.test_suite()
 
2505
        except ImportError, e:
 
2506
            bzrlib.trace.warning(
 
2507
                'Unable to test plugin "%s": %s', name, e)
 
2508
        else:
 
2509
            if plugin_suite is not None:
 
2510
                suite.addTest(plugin_suite)
 
2511
        if default_encoding != sys.getdefaultencoding():
 
2512
            bzrlib.trace.warning(
 
2513
                'Plugin "%s" tried to reset default encoding to: %s', name,
 
2514
                sys.getdefaultencoding())
 
2515
            reload(sys)
 
2516
            sys.setdefaultencoding(default_encoding)
 
2517
    return suite
 
2518
 
 
2519
 
 
2520
def multiply_tests_from_modules(module_name_list, scenario_iter):
 
2521
    """Adapt all tests in some given modules to given scenarios.
 
2522
 
 
2523
    This is the recommended public interface for test parameterization.
 
2524
    Typically the test_suite() method for a per-implementation test
 
2525
    suite will call multiply_tests_from_modules and return the 
 
2526
    result.
 
2527
 
 
2528
    :param module_name_list: List of fully-qualified names of test
 
2529
        modules.
 
2530
    :param scenario_iter: Iterable of pairs of (scenario_name, 
 
2531
        scenario_param_dict).
 
2532
 
 
2533
    This returns a new TestSuite containing the cross product of
 
2534
    all the tests in all the modules, each repeated for each scenario.
 
2535
    Each test is adapted by adding the scenario name at the end 
 
2536
    of its name, and updating the test object's __dict__ with the
 
2537
    scenario_param_dict.
 
2538
 
 
2539
    >>> r = multiply_tests_from_modules(
 
2540
    ...     ['bzrlib.tests.test_sampler'],
 
2541
    ...     [('one', dict(param=1)), 
 
2542
    ...      ('two', dict(param=2))])
 
2543
    >>> tests = list(iter_suite_tests(r))
 
2544
    >>> len(tests)
 
2545
    2
 
2546
    >>> tests[0].id()
 
2547
    'bzrlib.tests.test_sampler.DemoTest.test_nothing(one)'
 
2548
    >>> tests[0].param
 
2549
    1
 
2550
    >>> tests[1].param
 
2551
    2
 
2552
    """
 
2553
    loader = TestLoader()
 
2554
    suite = TestSuite()
 
2555
    adapter = TestScenarioApplier()
 
2556
    adapter.scenarios = list(scenario_iter)
 
2557
    adapt_modules(module_name_list, adapter, loader, suite)
1036
2558
    return suite
1037
2559
 
1038
2560
 
1039
2561
def adapt_modules(mods_list, adapter, loader, suite):
1040
2562
    """Adapt the modules in mods_list using adapter and add to suite."""
1041
 
    for mod_name in mods_list:
1042
 
        mod = _load_module_by_name(mod_name)
1043
 
        for test in iter_suite_tests(loader.loadTestsFromModule(mod)):
1044
 
            suite.addTests(adapter.adapt(test))
1045
 
 
1046
 
 
1047
 
def _load_module_by_name(mod_name):
1048
 
    parts = mod_name.split('.')
1049
 
    module = __import__(mod_name)
1050
 
    del parts[0]
1051
 
    # for historical reasons python returns the top-level module even though
1052
 
    # it loads the submodule; we need to walk down to get the one we want.
1053
 
    while parts:
1054
 
        module = getattr(module, parts.pop(0))
1055
 
    return module
 
2563
    for test in iter_suite_tests(loader.loadTestsFromModuleNames(mods_list)):
 
2564
        suite.addTests(adapter.adapt(test))
 
2565
 
 
2566
 
 
2567
def _rmtree_temp_dir(dirname):
 
2568
    # If LANG=C we probably have created some bogus paths
 
2569
    # which rmtree(unicode) will fail to delete
 
2570
    # so make sure we are using rmtree(str) to delete everything
 
2571
    # except on win32, where rmtree(str) will fail
 
2572
    # since it doesn't have the property of byte-stream paths
 
2573
    # (they are either ascii or mbcs)
 
2574
    if sys.platform == 'win32':
 
2575
        # make sure we are using the unicode win32 api
 
2576
        dirname = unicode(dirname)
 
2577
    else:
 
2578
        dirname = dirname.encode(sys.getfilesystemencoding())
 
2579
    try:
 
2580
        osutils.rmtree(dirname)
 
2581
    except OSError, e:
 
2582
        if sys.platform == 'win32' and e.errno == errno.EACCES:
 
2583
            print >>sys.stderr, ('Permission denied: '
 
2584
                                 'unable to remove testing dir '
 
2585
                                 '%s' % os.path.basename(dirname))
 
2586
        else:
 
2587
            raise
 
2588
 
 
2589
 
 
2590
class Feature(object):
 
2591
    """An operating system Feature."""
 
2592
 
 
2593
    def __init__(self):
 
2594
        self._available = None
 
2595
 
 
2596
    def available(self):
 
2597
        """Is the feature available?
 
2598
 
 
2599
        :return: True if the feature is available.
 
2600
        """
 
2601
        if self._available is None:
 
2602
            self._available = self._probe()
 
2603
        return self._available
 
2604
 
 
2605
    def _probe(self):
 
2606
        """Implement this method in concrete features.
 
2607
 
 
2608
        :return: True if the feature is available.
 
2609
        """
 
2610
        raise NotImplementedError
 
2611
 
 
2612
    def __str__(self):
 
2613
        if getattr(self, 'feature_name', None):
 
2614
            return self.feature_name()
 
2615
        return self.__class__.__name__
 
2616
 
 
2617
 
 
2618
class _SymlinkFeature(Feature):
 
2619
 
 
2620
    def _probe(self):
 
2621
        return osutils.has_symlinks()
 
2622
 
 
2623
    def feature_name(self):
 
2624
        return 'symlinks'
 
2625
 
 
2626
SymlinkFeature = _SymlinkFeature()
 
2627
 
 
2628
 
 
2629
class TestScenarioApplier(object):
 
2630
    """A tool to apply scenarios to tests."""
 
2631
 
 
2632
    def adapt(self, test):
 
2633
        """Return a TestSuite containing a copy of test for each scenario."""
 
2634
        result = unittest.TestSuite()
 
2635
        for scenario in self.scenarios:
 
2636
            result.addTest(self.adapt_test_to_scenario(test, scenario))
 
2637
        return result
 
2638
 
 
2639
    def adapt_test_to_scenario(self, test, scenario):
 
2640
        """Copy test and apply scenario to it.
 
2641
 
 
2642
        :param test: A test to adapt.
 
2643
        :param scenario: A tuple describing the scenarion.
 
2644
            The first element of the tuple is the new test id.
 
2645
            The second element is a dict containing attributes to set on the
 
2646
            test.
 
2647
        :return: The adapted test.
 
2648
        """
 
2649
        from copy import deepcopy
 
2650
        new_test = deepcopy(test)
 
2651
        for name, value in scenario[1].items():
 
2652
            setattr(new_test, name, value)
 
2653
        new_id = "%s(%s)" % (new_test.id(), scenario[0])
 
2654
        new_test.id = lambda: new_id
 
2655
        return new_test
 
2656
 
 
2657
 
 
2658
def probe_unicode_in_user_encoding():
 
2659
    """Try to encode several unicode strings to use in unicode-aware tests.
 
2660
    Return first successfull match.
 
2661
 
 
2662
    :return:  (unicode value, encoded plain string value) or (None, None)
 
2663
    """
 
2664
    possible_vals = [u'm\xb5', u'\xe1', u'\u0410']
 
2665
    for uni_val in possible_vals:
 
2666
        try:
 
2667
            str_val = uni_val.encode(bzrlib.user_encoding)
 
2668
        except UnicodeEncodeError:
 
2669
            # Try a different character
 
2670
            pass
 
2671
        else:
 
2672
            return uni_val, str_val
 
2673
    return None, None