/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_source.py

  • Committer: Martin Pool
  • Date: 2007-10-03 08:06:44 UTC
  • mto: This revision was merged to the branch mainline in revision 2901.
  • Revision ID: mbp@sourcefrog.net-20071003080644-oivy0gkg98sex0ed
Avoid internal error tracebacks on failure to lock on readonly transport (#129701).

Add new LockFailed, which doesn't imply that we failed to get it because of
contention.  Raise this if we fail to create the pending or lock directories
because of Transport errors.

UnlockableTransport is not an internal error.

ReadOnlyLockError has a message which didn't match its name or usage; it's now
deprecated and callers are updated to use LockFailed which is more appropriate.

Add zero_ninetytwo deprecation symbol.

Unify assertMatchesRe with TestCase.assertContainsRe.

When the constructor is deprecated, just say that the class is deprecated, not
the __init__ method - this works better with applyDeprecated in tests.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/test_source.py
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#   Authors: Robert Collins <robert.collins@canonical.com>
2
3
#
3
4
# This program is free software; you can redistribute it and/or modify
4
5
# it under the terms of the GNU General Public License as published by
12
13
#
13
14
# You should have received a copy of the GNU General Public License
14
15
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
17
 
17
18
"""These tests are tests about the source code of bzrlib itself.
18
19
 
21
22
 
22
23
# import system imports here
23
24
import os
24
 
import parser
25
25
import re
26
 
import symbol
27
26
import sys
28
 
import token
29
27
 
30
28
#import bzrlib specific imports here
31
29
from bzrlib import (
32
30
    osutils,
33
31
    )
34
32
import bzrlib.branch
35
 
from bzrlib.tests import (
36
 
    TestCase,
37
 
    TestSkipped,
38
 
    )
 
33
from bzrlib.tests import TestCase, TestSkipped
39
34
 
40
35
 
41
36
# Files which are listed here will be skipped when testing for Copyright (or
42
37
# GPL) statements.
43
 
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py',
44
 
    'bzrlib/doc_generate/sphinx_conf.py']
 
38
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py']
45
39
 
46
 
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py',
47
 
    'bzrlib/doc_generate/sphinx_conf.py']
 
40
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py']
48
41
# Technically, 'bzrlib/lsprof.py' should be 'bzrlib/util/lsprof.py',
49
42
# (we do not check bzrlib/util/, since that is code bundled from elsewhere)
50
43
# but for compatibility with previous releases, we don't want to move it.
51
 
#
52
 
# sphinx_conf is semi-autogenerated.
53
44
 
54
45
 
55
46
class TestSourceHelper(TestCase):
56
47
 
57
48
    def source_file_name(self, package):
58
49
        """Return the path of the .py file for package."""
59
 
        if getattr(sys, "frozen", None) is not None:
60
 
            raise TestSkipped("can't test sources in frozen distributions.")
61
50
        path = package.__file__
62
51
        if path[-1] in 'co':
63
52
            return path[:-1]
83
72
        # do not even think of increasing this number. If you think you need to
84
73
        # increase it, then you almost certainly are doing something wrong as
85
74
        # the relationship from working_tree to branch is one way.
86
 
        # Note that this is an exact equality so that when the number drops,
 
75
        # Note that this is an exact equality so that when the number drops, 
87
76
        #it is not given a buffer but rather has this test updated immediately.
88
77
        self.assertEqual(0, occurences)
89
78
 
111
100
                              % source_dir)
112
101
        return source_dir
113
102
 
114
 
    def get_source_files(self, extensions=None):
115
 
        """Yield all source files for bzr and bzrlib
116
 
 
117
 
        :param our_files_only: If true, exclude files from included libraries
118
 
            or plugins.
119
 
        """
 
103
    def get_source_files(self):
 
104
        """yield all source files for bzr and bzrlib"""
120
105
        bzrlib_dir = self.get_bzrlib_dir()
121
 
        if extensions is None:
122
 
            extensions = ('.py',)
123
106
 
124
107
        # This is the front-end 'bzr' script
125
108
        bzr_path = self.get_bzr_path()
130
113
                if d.endswith('.tmp'):
131
114
                    dirs.remove(d)
132
115
            for f in files:
133
 
                for extension in extensions:
134
 
                    if f.endswith(extension):
135
 
                        break
136
 
                else:
137
 
                    # Did not match the accepted extensions
 
116
                if not f.endswith('.py'):
138
117
                    continue
139
118
                yield osutils.pathjoin(root, f)
140
119
 
141
 
    def get_source_file_contents(self, extensions=None):
142
 
        for fname in self.get_source_files(extensions=extensions):
 
120
    def get_source_file_contents(self):
 
121
        for fname in self.get_source_files():
143
122
            f = open(fname, 'rb')
144
123
            try:
145
124
                text = f.read()
147
126
                f.close()
148
127
            yield fname, text
149
128
 
150
 
    def is_our_code(self, fname):
151
 
        """Return true if it's a "real" part of bzrlib rather than external code"""
152
 
        if '/util/' in fname or '/plugins/' in fname:
153
 
            return False
154
 
        else:
155
 
            return True
156
 
 
157
129
    def is_copyright_exception(self, fname):
158
130
        """Certain files are allowed to be different"""
159
 
        if not self.is_our_code(fname):
 
131
        if '/util/' in fname or '/plugins/' in fname:
160
132
            # We don't ask that external utilities or plugins be
161
133
            # (C) Canonical Ltd
162
134
            return True
 
135
 
163
136
        for exc in COPYRIGHT_EXCEPTIONS:
164
137
            if fname.endswith(exc):
165
138
                return True
 
139
 
166
140
        return False
167
141
 
168
142
    def is_license_exception(self, fname):
169
143
        """Certain files are allowed to be different"""
170
 
        if not self.is_our_code(fname):
 
144
        if '/util/' in fname or '/plugins/' in fname:
 
145
            # We don't ask that external utilities or plugins be
 
146
            # (C) Canonical Ltd
171
147
            return True
 
148
 
172
149
        for exc in LICENSE_EXCEPTIONS:
173
150
            if fname.endswith(exc):
174
151
                return True
 
152
 
175
153
        return False
176
154
 
177
155
    def test_tmpdir_not_in_source_files(self):
183
161
                          % filename)
184
162
 
185
163
    def test_copyright(self):
186
 
        """Test that all .py and .pyx files have a valid copyright statement"""
 
164
        """Test that all .py files have a valid copyright statement"""
 
165
        # These are files which contain a different copyright statement
 
166
        # and that is okay.
187
167
        incorrect = []
188
168
 
189
169
        copyright_re = re.compile('#\\s*copyright.*(?=\n)', re.I)
193
173
            r'.*Canonical Ltd' # And containing 'Canonical Ltd'
194
174
            )
195
175
 
196
 
        for fname, text in self.get_source_file_contents(
197
 
                extensions=('.py', '.pyx')):
 
176
        for fname, text in self.get_source_file_contents():
198
177
            if self.is_copyright_exception(fname):
199
178
                continue
200
179
            match = copyright_canonical_re.search(text)
229
208
            self.fail('\n'.join(help_text))
230
209
 
231
210
    def test_gpl(self):
232
 
        """Test that all .py and .pyx files have a GPL disclaimer."""
 
211
        """Test that all .py files have a GPL disclaimer"""
233
212
        incorrect = []
234
213
 
235
214
        gpl_txt = """
245
224
#
246
225
# You should have received a copy of the GNU General Public License
247
226
# along with this program; if not, write to the Free Software
248
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
227
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
249
228
"""
250
229
        gpl_re = re.compile(re.escape(gpl_txt), re.MULTILINE)
251
230
 
252
 
        for fname, text in self.get_source_file_contents(
253
 
                extensions=('.py', '.pyx')):
 
231
        for fname, text in self.get_source_file_contents():
254
232
            if self.is_license_exception(fname):
255
233
                continue
256
234
            if not gpl_re.search(text):
270
248
 
271
249
            self.fail('\n'.join(help_text))
272
250
 
273
 
    def _push_file(self, dict_, fname, line_no):
274
 
        if fname not in dict_:
275
 
            dict_[fname] = [line_no]
276
 
        else:
277
 
            dict_[fname].append(line_no)
278
 
 
279
 
    def _format_message(self, dict_, message):
280
 
        files = ["%s: %s" % (f, ', '.join([str(i+1) for i in lines]))
281
 
                for f, lines in dict_.items()]
282
 
        files.sort()
283
 
        return message + '\n\n    %s' % ('\n    '.join(files))
284
 
 
285
 
    def test_coding_style(self):
286
 
        """Check if bazaar code conforms to some coding style conventions.
287
 
 
288
 
        Currently we assert that the following is not present:
289
 
         * any tab characters
290
 
         * non-unix newlines
291
 
         * no newline at end of files
292
 
 
293
 
        Print how many files have
294
 
         * trailing white space
295
 
         * lines longer than 79 chars
296
 
        """
297
 
        tabs = {}
298
 
        trailing_ws = {}
299
 
        illegal_newlines = {}
300
 
        long_lines = {}
301
 
        no_newline_at_eof = []
302
 
        for fname, text in self.get_source_file_contents(
303
 
                extensions=('.py', '.pyx')):
304
 
            if not self.is_our_code(fname):
305
 
                continue
306
 
            lines = text.splitlines(True)
307
 
            last_line_no = len(lines) - 1
308
 
            for line_no, line in enumerate(lines):
309
 
                if '\t' in line:
310
 
                    self._push_file(tabs, fname, line_no)
311
 
                if not line.endswith('\n') or line.endswith('\r\n'):
312
 
                    if line_no != last_line_no: # not no_newline_at_eof
313
 
                        self._push_file(illegal_newlines, fname, line_no)
314
 
                if line.endswith(' \n'):
315
 
                    self._push_file(trailing_ws, fname, line_no)
316
 
                if len(line) > 80:
317
 
                    self._push_file(long_lines, fname, line_no)
318
 
            if not lines[-1].endswith('\n'):
319
 
                no_newline_at_eof.append(fname)
320
 
        problems = []
321
 
        if tabs:
322
 
            problems.append(self._format_message(tabs,
323
 
                'Tab characters were found in the following source files.'
324
 
                '\nThey should either be replaced by "\\t" or by spaces:'))
325
 
        if trailing_ws:
326
 
            print ("There are %i lines with trailing white space in %i files."
327
 
                % (sum([len(lines) for f, lines in trailing_ws.items()]),
328
 
                    len(trailing_ws)))
329
 
        if illegal_newlines:
330
 
            problems.append(self._format_message(illegal_newlines,
331
 
                'Non-unix newlines were found in the following source files:'))
332
 
        if long_lines:
333
 
            print ("There are %i lines longer than 79 characters in %i files."
334
 
                % (sum([len(lines) for f, lines in long_lines.items()]),
335
 
                    len(long_lines)))
336
 
        if no_newline_at_eof:
337
 
            no_newline_at_eof.sort()
338
 
            problems.append("The following source files doesn't have a "
339
 
                "newline at the end:"
340
 
               '\n\n    %s'
341
 
               % ('\n    '.join(no_newline_at_eof)))
342
 
        if problems:
343
 
            self.fail('\n\n'.join(problems))
344
 
 
345
 
    def test_no_asserts(self):
346
 
        """bzr shouldn't use the 'assert' statement."""
347
 
        # assert causes too much variation between -O and not, and tends to
348
 
        # give bad errors to the user
349
 
        def search(x):
350
 
            # scan down through x for assert statements, report any problems
351
 
            # this is a bit cheesy; it may get some false positives?
352
 
            if x[0] == symbol.assert_stmt:
353
 
                return True
354
 
            elif x[0] == token.NAME:
355
 
                # can't search further down
356
 
                return False
357
 
            for sub in x[1:]:
358
 
                if sub and search(sub):
359
 
                    return True
360
 
            return False
361
 
        badfiles = []
362
 
        assert_re = re.compile(r'\bassert\b')
 
251
    def test_no_tabs(self):
 
252
        """bzrlib source files should not contain any tab characters."""
 
253
        incorrect = []
 
254
 
363
255
        for fname, text in self.get_source_file_contents():
364
 
            if not self.is_our_code(fname):
365
 
                continue
366
 
            if not assert_re.search(text):
367
 
                continue
368
 
            ast = parser.ast2tuple(parser.suite(text))
369
 
            if search(ast):
370
 
                badfiles.append(fname)
371
 
        if badfiles:
372
 
            self.fail(
373
 
                "these files contain an assert statement and should not:\n%s"
374
 
                % '\n'.join(badfiles))
375
 
 
376
 
    def test_extension_exceptions(self):
377
 
        """Extension functions should propagate exceptions.
378
 
 
379
 
        Either they should return an object, have an 'except' clause, or have a
380
 
        "# cannot_raise" to indicate that we've audited them and defined them as not
381
 
        raising exceptions.
382
 
        """
383
 
        both_exc_and_no_exc = []
384
 
        missing_except = []
385
 
        class_re = re.compile(r'^(cdef\s+)?(public\s+)?(api\s+)?class (\w+).*:',
386
 
                              re.MULTILINE)
387
 
        except_re = re.compile(r'cdef\s+' # start with cdef
388
 
                               r'([\w *]*?)\s*' # this is the return signature
389
 
                               r'(\w+)\s*\(' # the function name
390
 
                               r'[^)]*\)\s*' # parameters
391
 
                               r'(.*)\s*:' # the except clause
392
 
                               r'\s*(#\s*cannot[- _]raise)?' # cannot raise comment
393
 
                              )
394
 
        for fname, text in self.get_source_file_contents(
395
 
                extensions=('.pyx',)):
396
 
            known_classes = set([m[-1] for m in class_re.findall(text)])
397
 
            cdefs = except_re.findall(text)
398
 
            for sig, func, exc_clause, no_exc_comment in cdefs:
399
 
                if sig.startswith('api '):
400
 
                    sig = sig[4:]
401
 
                if not sig or sig in known_classes:
402
 
                    sig = 'object'
403
 
                if 'nogil' in exc_clause:
404
 
                    exc_clause = exc_clause.replace('nogil', '').strip()
405
 
                if exc_clause and no_exc_comment:
406
 
                    both_exc_and_no_exc.append((fname, func))
407
 
                if sig != 'object' and not (exc_clause or no_exc_comment):
408
 
                    missing_except.append((fname, func))
409
 
        error_msg = []
410
 
        if both_exc_and_no_exc:
411
 
            error_msg.append('The following functions had "cannot raise" comments'
412
 
                             ' but did have an except clause set:')
413
 
            for fname, func in both_exc_and_no_exc:
414
 
                error_msg.append('%s:%s' % (fname, func))
415
 
            error_msg.extend(('', ''))
416
 
        if missing_except:
417
 
            error_msg.append('The following functions have fixed return types,'
418
 
                             ' but no except clause.')
419
 
            error_msg.append('Either add an except or append "# cannot_raise".')
420
 
            for fname, func in missing_except:
421
 
                error_msg.append('%s:%s' % (fname, func))
422
 
            error_msg.extend(('', ''))
423
 
        if error_msg:
424
 
            self.fail('\n'.join(error_msg))
 
256
            if '/util/' in fname or '/plugins/' in fname:
 
257
                continue
 
258
            if '\t' in text:
 
259
                incorrect.append(fname)
 
260
 
 
261
        if incorrect:
 
262
            self.fail('Tab characters were found in the following source files.'
 
263
              '\nThey should either be replaced by "\\t" or by spaces:'
 
264
              '\n\n    %s'
 
265
              % ('\n    '.join(incorrect)))