/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_source.py

  • Committer: Andrew Bennetts
  • Date: 2008-08-12 14:53:26 UTC
  • mto: This revision was merged to the branch mainline in revision 3624.
  • Revision ID: andrew.bennetts@canonical.com-20080812145326-yx693x2jc4rcovb7
Move the notes on writing tests out of HACKING into a new file, and improve
them.

Many of the testing notes in the HACKING file were in duplicated in two places
in that file!  This change removes that duplication.  It also adds new sections
on “Where should I put a new test?” and “TestCase and its subclasses”, and
others like “Test feature dependencies” have been expanded.  The whole document
has generally been edited to be a bit more coherent. 

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/test_source.py
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
 
2
#   Authors: Robert Collins <robert.collins@canonical.com>
 
3
#            and others
2
4
#
3
5
# This program is free software; you can redistribute it and/or modify
4
6
# it under the terms of the GNU General Public License as published by
12
14
#
13
15
# You should have received a copy of the GNU General Public License
14
16
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
18
 
17
19
"""These tests are tests about the source code of bzrlib itself.
18
20
 
33
35
    )
34
36
import bzrlib.branch
35
37
from bzrlib.tests import (
 
38
    KnownFailure,
36
39
    TestCase,
37
40
    TestSkipped,
38
41
    )
40
43
 
41
44
# Files which are listed here will be skipped when testing for Copyright (or
42
45
# GPL) statements.
43
 
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py',
44
 
    'bzrlib/doc_generate/sphinx_conf.py']
 
46
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py']
45
47
 
46
 
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py',
47
 
    'bzrlib/doc_generate/sphinx_conf.py']
 
48
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py']
48
49
# Technically, 'bzrlib/lsprof.py' should be 'bzrlib/util/lsprof.py',
49
50
# (we do not check bzrlib/util/, since that is code bundled from elsewhere)
50
51
# but for compatibility with previous releases, we don't want to move it.
51
 
#
52
 
# sphinx_conf is semi-autogenerated.
53
52
 
54
53
 
55
54
class TestSourceHelper(TestCase):
56
55
 
57
56
    def source_file_name(self, package):
58
57
        """Return the path of the .py file for package."""
59
 
        if getattr(sys, "frozen", None) is not None:
60
 
            raise TestSkipped("can't test sources in frozen distributions.")
61
58
        path = package.__file__
62
59
        if path[-1] in 'co':
63
60
            return path[:-1]
83
80
        # do not even think of increasing this number. If you think you need to
84
81
        # increase it, then you almost certainly are doing something wrong as
85
82
        # the relationship from working_tree to branch is one way.
86
 
        # Note that this is an exact equality so that when the number drops,
 
83
        # Note that this is an exact equality so that when the number drops, 
87
84
        #it is not given a buffer but rather has this test updated immediately.
88
85
        self.assertEqual(0, occurences)
89
86
 
111
108
                              % source_dir)
112
109
        return source_dir
113
110
 
114
 
    def get_source_files(self, extensions=None):
 
111
    def get_source_files(self):
115
112
        """Yield all source files for bzr and bzrlib
116
 
 
 
113
        
117
114
        :param our_files_only: If true, exclude files from included libraries
118
115
            or plugins.
119
116
        """
120
117
        bzrlib_dir = self.get_bzrlib_dir()
121
 
        if extensions is None:
122
 
            extensions = ('.py',)
123
118
 
124
119
        # This is the front-end 'bzr' script
125
120
        bzr_path = self.get_bzr_path()
130
125
                if d.endswith('.tmp'):
131
126
                    dirs.remove(d)
132
127
            for f in files:
133
 
                for extension in extensions:
134
 
                    if f.endswith(extension):
135
 
                        break
136
 
                else:
137
 
                    # Did not match the accepted extensions
 
128
                if not f.endswith('.py'):
138
129
                    continue
139
130
                yield osutils.pathjoin(root, f)
140
131
 
141
 
    def get_source_file_contents(self, extensions=None):
142
 
        for fname in self.get_source_files(extensions=extensions):
 
132
    def get_source_file_contents(self):
 
133
        for fname in self.get_source_files():
143
134
            f = open(fname, 'rb')
144
135
            try:
145
136
                text = f.read()
183
174
                          % filename)
184
175
 
185
176
    def test_copyright(self):
186
 
        """Test that all .py and .pyx files have a valid copyright statement"""
 
177
        """Test that all .py files have a valid copyright statement"""
 
178
        # These are files which contain a different copyright statement
 
179
        # and that is okay.
187
180
        incorrect = []
188
181
 
189
182
        copyright_re = re.compile('#\\s*copyright.*(?=\n)', re.I)
193
186
            r'.*Canonical Ltd' # And containing 'Canonical Ltd'
194
187
            )
195
188
 
196
 
        for fname, text in self.get_source_file_contents(
197
 
                extensions=('.py', '.pyx')):
 
189
        for fname, text in self.get_source_file_contents():
198
190
            if self.is_copyright_exception(fname):
199
191
                continue
200
192
            match = copyright_canonical_re.search(text)
229
221
            self.fail('\n'.join(help_text))
230
222
 
231
223
    def test_gpl(self):
232
 
        """Test that all .py and .pyx files have a GPL disclaimer."""
 
224
        """Test that all .py files have a GPL disclaimer"""
233
225
        incorrect = []
234
226
 
235
227
        gpl_txt = """
245
237
#
246
238
# You should have received a copy of the GNU General Public License
247
239
# along with this program; if not, write to the Free Software
248
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
240
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
249
241
"""
250
242
        gpl_re = re.compile(re.escape(gpl_txt), re.MULTILINE)
251
243
 
252
 
        for fname, text in self.get_source_file_contents(
253
 
                extensions=('.py', '.pyx')):
 
244
        for fname, text in self.get_source_file_contents():
254
245
            if self.is_license_exception(fname):
255
246
                continue
256
247
            if not gpl_re.search(text):
270
261
 
271
262
            self.fail('\n'.join(help_text))
272
263
 
273
 
    def _push_file(self, dict_, fname, line_no):
274
 
        if fname not in dict_:
275
 
            dict_[fname] = [line_no]
276
 
        else:
277
 
            dict_[fname].append(line_no)
278
 
 
279
 
    def _format_message(self, dict_, message):
280
 
        files = ["%s: %s" % (f, ', '.join([str(i+1) for i in lines]))
281
 
                for f, lines in dict_.items()]
282
 
        files.sort()
283
 
        return message + '\n\n    %s' % ('\n    '.join(files))
284
 
 
285
 
    def test_coding_style(self):
286
 
        """Check if bazaar code conforms to some coding style conventions.
287
 
 
288
 
        Currently we assert that the following is not present:
289
 
         * any tab characters
290
 
         * non-unix newlines
291
 
         * no newline at end of files
292
 
 
293
 
        Print how many files have
294
 
         * trailing white space
295
 
         * lines longer than 79 chars
296
 
        """
297
 
        tabs = {}
298
 
        trailing_ws = {}
299
 
        illegal_newlines = {}
300
 
        long_lines = {}
301
 
        no_newline_at_eof = []
302
 
        for fname, text in self.get_source_file_contents(
303
 
                extensions=('.py', '.pyx')):
 
264
    def test_no_tabs(self):
 
265
        """bzrlib source files should not contain any tab characters."""
 
266
        incorrect = []
 
267
 
 
268
        for fname, text in self.get_source_file_contents():
304
269
            if not self.is_our_code(fname):
305
270
                continue
306
 
            lines = text.splitlines(True)
307
 
            last_line_no = len(lines) - 1
308
 
            for line_no, line in enumerate(lines):
309
 
                if '\t' in line:
310
 
                    self._push_file(tabs, fname, line_no)
311
 
                if not line.endswith('\n') or line.endswith('\r\n'):
312
 
                    if line_no != last_line_no: # not no_newline_at_eof
313
 
                        self._push_file(illegal_newlines, fname, line_no)
314
 
                if line.endswith(' \n'):
315
 
                    self._push_file(trailing_ws, fname, line_no)
316
 
                if len(line) > 80:
317
 
                    self._push_file(long_lines, fname, line_no)
318
 
            if not lines[-1].endswith('\n'):
319
 
                no_newline_at_eof.append(fname)
320
 
        problems = []
321
 
        if tabs:
322
 
            problems.append(self._format_message(tabs,
323
 
                'Tab characters were found in the following source files.'
324
 
                '\nThey should either be replaced by "\\t" or by spaces:'))
325
 
        if trailing_ws:
326
 
            print ("There are %i lines with trailing white space in %i files."
327
 
                % (sum([len(lines) for f, lines in trailing_ws.items()]),
328
 
                    len(trailing_ws)))
329
 
        if illegal_newlines:
330
 
            problems.append(self._format_message(illegal_newlines,
331
 
                'Non-unix newlines were found in the following source files:'))
332
 
        if long_lines:
333
 
            print ("There are %i lines longer than 79 characters in %i files."
334
 
                % (sum([len(lines) for f, lines in long_lines.items()]),
335
 
                    len(long_lines)))
336
 
        if no_newline_at_eof:
337
 
            no_newline_at_eof.sort()
338
 
            problems.append("The following source files doesn't have a "
339
 
                "newline at the end:"
340
 
               '\n\n    %s'
341
 
               % ('\n    '.join(no_newline_at_eof)))
342
 
        if problems:
343
 
            self.fail('\n\n'.join(problems))
 
271
            if '\t' in text:
 
272
                incorrect.append(fname)
 
273
 
 
274
        if incorrect:
 
275
            self.fail('Tab characters were found in the following source files.'
 
276
              '\nThey should either be replaced by "\\t" or by spaces:'
 
277
              '\n\n    %s'
 
278
              % ('\n    '.join(incorrect)))
344
279
 
345
280
    def test_no_asserts(self):
346
281
        """bzr shouldn't use the 'assert' statement."""
359
294
                    return True
360
295
            return False
361
296
        badfiles = []
362
 
        assert_re = re.compile(r'\bassert\b')
363
297
        for fname, text in self.get_source_file_contents():
364
298
            if not self.is_our_code(fname):
365
299
                continue
366
 
            if not assert_re.search(text):
367
 
                continue
368
 
            ast = parser.ast2tuple(parser.suite(text))
 
300
            ast = parser.ast2tuple(parser.suite(''.join(text)))
369
301
            if search(ast):
370
302
                badfiles.append(fname)
371
303
        if badfiles:
372
304
            self.fail(
373
305
                "these files contain an assert statement and should not:\n%s"
374
306
                % '\n'.join(badfiles))
375
 
 
376
 
    def test_extension_exceptions(self):
377
 
        """Extension functions should propagate exceptions.
378
 
 
379
 
        Either they should return an object, have an 'except' clause, or have a
380
 
        "# cannot_raise" to indicate that we've audited them and defined them as not
381
 
        raising exceptions.
382
 
        """
383
 
        both_exc_and_no_exc = []
384
 
        missing_except = []
385
 
        class_re = re.compile(r'^(cdef\s+)?(public\s+)?(api\s+)?class (\w+).*:',
386
 
                              re.MULTILINE)
387
 
        except_re = re.compile(r'cdef\s+' # start with cdef
388
 
                               r'([\w *]*?)\s*' # this is the return signature
389
 
                               r'(\w+)\s*\(' # the function name
390
 
                               r'[^)]*\)\s*' # parameters
391
 
                               r'(.*)\s*:' # the except clause
392
 
                               r'\s*(#\s*cannot[- _]raise)?' # cannot raise comment
393
 
                              )
394
 
        for fname, text in self.get_source_file_contents(
395
 
                extensions=('.pyx',)):
396
 
            known_classes = set([m[-1] for m in class_re.findall(text)])
397
 
            cdefs = except_re.findall(text)
398
 
            for sig, func, exc_clause, no_exc_comment in cdefs:
399
 
                if sig.startswith('api '):
400
 
                    sig = sig[4:]
401
 
                if not sig or sig in known_classes:
402
 
                    sig = 'object'
403
 
                if 'nogil' in exc_clause:
404
 
                    exc_clause = exc_clause.replace('nogil', '').strip()
405
 
                if exc_clause and no_exc_comment:
406
 
                    both_exc_and_no_exc.append((fname, func))
407
 
                if sig != 'object' and not (exc_clause or no_exc_comment):
408
 
                    missing_except.append((fname, func))
409
 
        error_msg = []
410
 
        if both_exc_and_no_exc:
411
 
            error_msg.append('The following functions had "cannot raise" comments'
412
 
                             ' but did have an except clause set:')
413
 
            for fname, func in both_exc_and_no_exc:
414
 
                error_msg.append('%s:%s' % (fname, func))
415
 
            error_msg.extend(('', ''))
416
 
        if missing_except:
417
 
            error_msg.append('The following functions have fixed return types,'
418
 
                             ' but no except clause.')
419
 
            error_msg.append('Either add an except or append "# cannot_raise".')
420
 
            for fname, func in missing_except:
421
 
                error_msg.append('%s:%s' % (fname, func))
422
 
            error_msg.extend(('', ''))
423
 
        if error_msg:
424
 
            self.fail('\n'.join(error_msg))