/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_source.py

  • Committer: Ian Clatworthy
  • Date: 2009-09-07 07:44:36 UTC
  • mto: (4634.37.2 prepare-2.0)
  • mto: This revision was merged to the branch mainline in revision 4689.
  • Revision ID: ian.clatworthy@canonical.com-20090907074436-pede7phglz90jrvf
split developer docs into their own website/chm file

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/test_source.py
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
 
2
#   Authors: Robert Collins <robert.collins@canonical.com>
 
3
#            and others
2
4
#
3
5
# This program is free software; you can redistribute it and/or modify
4
6
# it under the terms of the GNU General Public License as published by
14
16
# along with this program; if not, write to the Free Software
15
17
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
18
 
17
 
"""These tests are tests about the source code of breezy itself.
 
19
"""These tests are tests about the source code of bzrlib itself.
18
20
 
19
21
They are useful for testing code quality, checking coverage metric etc.
20
22
"""
21
23
 
 
24
# import system imports here
22
25
import os
23
26
import parser
24
27
import re
26
29
import sys
27
30
import token
28
31
 
29
 
from breezy import (
 
32
#import bzrlib specific imports here
 
33
from bzrlib import (
30
34
    osutils,
31
35
    )
32
 
import breezy.branch
33
 
from breezy.tests import (
34
 
    features,
 
36
import bzrlib.branch
 
37
from bzrlib.tests import (
35
38
    TestCase,
36
39
    TestSkipped,
37
40
    )
39
42
 
40
43
# Files which are listed here will be skipped when testing for Copyright (or
41
44
# GPL) statements.
42
 
COPYRIGHT_EXCEPTIONS = [
43
 
    'breezy/_bencode_py.py',
44
 
    'breezy/doc_generate/conf.py',
45
 
    'breezy/lsprof.py',
46
 
    ]
 
45
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py']
47
46
 
48
 
LICENSE_EXCEPTIONS = [
49
 
    'breezy/_bencode_py.py',
50
 
    'breezy/doc_generate/conf.py',
51
 
    'breezy/lsprof.py',
52
 
    ]
53
 
# Technically, 'breezy/lsprof.py' should be 'breezy/util/lsprof.py',
54
 
# (we do not check breezy/util/, since that is code bundled from elsewhere)
 
47
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py']
 
48
# Technically, 'bzrlib/lsprof.py' should be 'bzrlib/util/lsprof.py',
 
49
# (we do not check bzrlib/util/, since that is code bundled from elsewhere)
55
50
# but for compatibility with previous releases, we don't want to move it.
56
 
#
57
 
# sphinx_conf is semi-autogenerated.
58
51
 
59
52
 
60
53
class TestSourceHelper(TestCase):
75
68
    def find_occurences(self, rule, filename):
76
69
        """Find the number of occurences of rule in a file."""
77
70
        occurences = 0
78
 
        source = open(filename, 'r')
 
71
        source = file(filename, 'r')
79
72
        for line in source:
80
73
            if line.find(rule) > -1:
81
74
                occurences += 1
84
77
    def test_branch_working_tree(self):
85
78
        """Test that the number of uses of working_tree in branch is stable."""
86
79
        occurences = self.find_occurences('self.working_tree()',
87
 
                                          self.source_file_name(breezy.branch))
 
80
                                          self.source_file_name(bzrlib.branch))
88
81
        # do not even think of increasing this number. If you think you need to
89
82
        # increase it, then you almost certainly are doing something wrong as
90
83
        # the relationship from working_tree to branch is one way.
91
84
        # Note that this is an exact equality so that when the number drops,
92
 
        # it is not given a buffer but rather has this test updated immediately.
 
85
        #it is not given a buffer but rather has this test updated immediately.
93
86
        self.assertEqual(0, occurences)
94
87
 
95
88
    def test_branch_WorkingTree(self):
96
89
        """Test that the number of uses of working_tree in branch is stable."""
97
90
        occurences = self.find_occurences('WorkingTree',
98
 
                                          self.source_file_name(breezy.branch))
 
91
                                          self.source_file_name(bzrlib.branch))
99
92
        # Do not even think of increasing this number. If you think you need to
100
93
        # increase it, then you almost certainly are doing something wrong as
101
94
        # the relationship from working_tree to branch is one way.
105
98
 
106
99
class TestSource(TestSourceHelper):
107
100
 
108
 
    def get_breezy_dir(self):
109
 
        """Get the path to the root of breezy"""
110
 
        source = self.source_file_name(breezy)
 
101
    def get_bzrlib_dir(self):
 
102
        """Get the path to the root of bzrlib"""
 
103
        source = self.source_file_name(bzrlib)
111
104
        source_dir = os.path.dirname(source)
112
105
 
113
 
        # Avoid the case when breezy is packaged in a zip file
 
106
        # Avoid the case when bzrlib is packaged in a zip file
114
107
        if not os.path.isdir(source_dir):
115
 
            raise TestSkipped(
116
 
                'Cannot find breezy source directory. Expected %s'
117
 
                % source_dir)
 
108
            raise TestSkipped('Cannot find bzrlib source directory. Expected %s'
 
109
                              % source_dir)
118
110
        return source_dir
119
111
 
120
112
    def get_source_files(self, extensions=None):
121
 
        """Yield all source files for bzr and breezy
 
113
        """Yield all source files for bzr and bzrlib
122
114
 
123
115
        :param our_files_only: If true, exclude files from included libraries
124
116
            or plugins.
125
117
        """
126
 
        breezy_dir = self.get_breezy_dir()
 
118
        bzrlib_dir = self.get_bzrlib_dir()
127
119
        if extensions is None:
128
120
            extensions = ('.py',)
129
121
 
130
122
        # This is the front-end 'bzr' script
131
 
        bzr_path = self.get_brz_path()
 
123
        bzr_path = self.get_bzr_path()
132
124
        yield bzr_path
133
125
 
134
 
        for root, dirs, files in os.walk(breezy_dir):
 
126
        for root, dirs, files in os.walk(bzrlib_dir):
135
127
            for d in dirs:
136
128
                if d.endswith('.tmp'):
137
129
                    dirs.remove(d)
146
138
 
147
139
    def get_source_file_contents(self, extensions=None):
148
140
        for fname in self.get_source_files(extensions=extensions):
149
 
            with open(fname, 'r') as f:
150
 
                yield fname, f.read()
 
141
            f = open(fname, 'rb')
 
142
            try:
 
143
                text = f.read()
 
144
            finally:
 
145
                f.close()
 
146
            yield fname, text
151
147
 
152
148
    def is_our_code(self, fname):
153
 
        """True if it's a "real" part of breezy rather than external code"""
 
149
        """Return true if it's a "real" part of bzrlib rather than external code"""
154
150
        if '/util/' in fname or '/plugins/' in fname:
155
151
            return False
156
152
        else:
159
155
    def is_copyright_exception(self, fname):
160
156
        """Certain files are allowed to be different"""
161
157
        if not self.is_our_code(fname):
 
158
            # We don't ask that external utilities or plugins be
 
159
            # (C) Canonical Ltd
162
160
            return True
163
161
        for exc in COPYRIGHT_EXCEPTIONS:
164
162
            if fname.endswith(exc):
187
185
        incorrect = []
188
186
 
189
187
        copyright_re = re.compile('#\\s*copyright.*(?=\n)', re.I)
190
 
        copyright_statement_re = re.compile(
191
 
            r'# Copyright \(C\) '  # Opening "# Copyright (C)"
192
 
            r'(\d+?)((, |-)\d+)*'  # followed by a series of dates
193
 
            r' [^ ]*')             # and then whoever.
 
188
        copyright_canonical_re = re.compile(
 
189
            r'# Copyright \(C\) ' # Opening "# Copyright (C)"
 
190
            r'(\d+)(, \d+)*' # Followed by a series of dates
 
191
            r'.*Canonical Ltd' # And containing 'Canonical Ltd'
 
192
            )
194
193
 
195
194
        for fname, text in self.get_source_file_contents(
196
195
                extensions=('.py', '.pyx')):
197
196
            if self.is_copyright_exception(fname):
198
197
                continue
199
 
            match = copyright_statement_re.search(text)
 
198
            match = copyright_canonical_re.search(text)
200
199
            if not match:
201
200
                match = copyright_re.search(text)
202
201
                if match:
206
205
            else:
207
206
                if 'by Canonical' in match.group():
208
207
                    incorrect.append((fname,
209
 
                                      'should not have: "by Canonical": %s'
210
 
                                      % (match.group(),)))
 
208
                        'should not have: "by Canonical": %s'
 
209
                        % (match.group(),)))
211
210
 
212
211
        if incorrect:
213
212
            help_text = ["Some files have missing or incorrect copyright"
215
214
                         "",
216
215
                         "Please either add them to the list of"
217
216
                         " COPYRIGHT_EXCEPTIONS in"
218
 
                         " breezy/tests/test_source.py",
 
217
                         " bzrlib/tests/test_source.py",
219
218
                         # this is broken to prevent a false match
220
219
                         "or add '# Copyright (C)"
221
 
                         " 2007 Bazaar hackers' to these files:",
 
220
                         " 2007 Canonical Ltd' to these files:",
222
221
                         "",
223
 
                         ]
 
222
                        ]
224
223
            for fname, comment in incorrect:
225
224
                help_text.append(fname)
226
 
                help_text.append((' ' * 4) + comment)
 
225
                help_text.append((' '*4) + comment)
227
226
 
228
227
            self.fail('\n'.join(help_text))
229
228
 
260
259
                         "",
261
260
                         "Please either add them to the list of"
262
261
                         " LICENSE_EXCEPTIONS in"
263
 
                         " breezy/tests/test_source.py",
 
262
                         " bzrlib/tests/test_source.py",
264
263
                         "Or add the following text to the beginning:",
265
 
                         gpl_txt]
 
264
                         gpl_txt
 
265
                        ]
266
266
            for fname in incorrect:
267
 
                help_text.append((' ' * 4) + fname)
 
267
                help_text.append((' '*4) + fname)
268
268
 
269
269
            self.fail('\n'.join(help_text))
270
270
 
275
275
            dict_[fname].append(line_no)
276
276
 
277
277
    def _format_message(self, dict_, message):
278
 
        files = sorted(["%s: %s" % (f, ', '.join([str(i + 1) for i in lines]))
279
 
                        for f, lines in dict_.items()])
 
278
        files = ["%s: %s" % (f, ', '.join([str(i+1) for i in lines]))
 
279
                for f, lines in dict_.items()]
 
280
        files.sort()
280
281
        return message + '\n\n    %s' % ('\n    '.join(files))
281
282
 
282
283
    def test_coding_style(self):
283
284
        """Check if bazaar code conforms to some coding style conventions.
284
285
 
285
 
        Generally we expect PEP8, but we do not generally strictly enforce
286
 
        this, and there are existing files that do not comply.  The 'pep8'
287
 
        tool, available separately, will check for more cases.
 
286
        Currently we assert that the following is not present:
 
287
         * any tab characters
 
288
         * non-unix newlines
 
289
         * no newline at end of files
288
290
 
289
 
        This test only enforces conditions that are globally true at the
290
 
        moment, and that should cause a patch to be rejected: spaces rather
291
 
        than tabs, unix newlines, and a newline at the end of the file.
 
291
        Print how many files have
 
292
         * trailing white space
 
293
         * lines longer than 79 chars
292
294
        """
293
295
        tabs = {}
 
296
        trailing_ws = {}
294
297
        illegal_newlines = {}
 
298
        long_lines = {}
295
299
        no_newline_at_eof = []
296
300
        for fname, text in self.get_source_file_contents(
297
301
                extensions=('.py', '.pyx')):
303
307
                if '\t' in line:
304
308
                    self._push_file(tabs, fname, line_no)
305
309
                if not line.endswith('\n') or line.endswith('\r\n'):
306
 
                    if line_no != last_line_no:  # not no_newline_at_eof
 
310
                    if line_no != last_line_no: # not no_newline_at_eof
307
311
                        self._push_file(illegal_newlines, fname, line_no)
 
312
                if line.endswith(' \n'):
 
313
                    self._push_file(trailing_ws, fname, line_no)
 
314
                if len(line) > 80:
 
315
                    self._push_file(long_lines, fname, line_no)
308
316
            if not lines[-1].endswith('\n'):
309
317
                no_newline_at_eof.append(fname)
310
318
        problems = []
311
319
        if tabs:
312
320
            problems.append(self._format_message(tabs,
313
 
                                                 'Tab characters were found in the following source files.'
314
 
                                                 '\nThey should either be replaced by "\\t" or by spaces:'))
 
321
                'Tab characters were found in the following source files.'
 
322
                '\nThey should either be replaced by "\\t" or by spaces:'))
 
323
        if trailing_ws:
 
324
            print ("There are %i lines with trailing white space in %i files."
 
325
                % (sum([len(lines) for f, lines in trailing_ws.items()]),
 
326
                    len(trailing_ws)))
315
327
        if illegal_newlines:
316
328
            problems.append(self._format_message(illegal_newlines,
317
 
                                                 'Non-unix newlines were found in the following source files:'))
 
329
                'Non-unix newlines were found in the following source files:'))
 
330
        if long_lines:
 
331
            print ("There are %i lines longer than 79 characters in %i files."
 
332
                % (sum([len(lines) for f, lines in long_lines.items()]),
 
333
                    len(long_lines)))
318
334
        if no_newline_at_eof:
319
335
            no_newline_at_eof.sort()
320
336
            problems.append("The following source files doesn't have a "
321
 
                            "newline at the end:"
322
 
                            '\n\n    %s'
323
 
                            % ('\n    '.join(no_newline_at_eof)))
 
337
                "newline at the end:"
 
338
               '\n\n    %s'
 
339
               % ('\n    '.join(no_newline_at_eof)))
324
340
        if problems:
325
341
            self.fail('\n\n'.join(problems))
326
342
 
327
 
    def test_flake8(self):
328
 
        self.requireFeature(features.flake8)
329
 
        # Older versions of flake8 don't support the 'paths'
330
 
        # variable
331
 
        new_path = list(sys.path)
332
 
        new_path.insert(
333
 
            0, os.path.join(os.path.dirname(__file__), '..', '..', 'tools'))
334
 
        self.overrideAttr(sys, 'path', new_path)
335
 
        from flake8.main.application import Application
336
 
        from flake8.formatting.base import BaseFormatter
337
 
        app = Application()
338
 
        app.config = u'setup.cfg'
339
 
        app.jobs = 1
340
 
 
341
 
        class Formatter(BaseFormatter):
342
 
 
343
 
            def __init__(self):
344
 
                self.errors = []
345
 
 
346
 
            def start(self):
347
 
                pass
348
 
 
349
 
            def stop(self):
350
 
                app.file_checker_manager.report()
351
 
 
352
 
            def handle(self, error):
353
 
                self.errors.append(error)
354
 
 
355
 
        app.formatter = Formatter()
356
 
        app.initialize([])
357
 
        app.run_checks()
358
 
        app.report()
359
 
        self.assertEqual(app.formatter.errors, [])
360
 
 
361
343
    def test_no_asserts(self):
362
344
        """bzr shouldn't use the 'assert' statement."""
363
345
        # assert causes too much variation between -O and not, and tends to
375
357
                    return True
376
358
            return False
377
359
        badfiles = []
378
 
        assert_re = re.compile(r'\bassert\b')
379
360
        for fname, text in self.get_source_file_contents():
380
361
            if not self.is_our_code(fname):
381
362
                continue
382
 
            if not assert_re.search(text):
383
 
                continue
384
 
            st = parser.suite(text)
385
 
            code = parser.st2tuple(st)
386
 
            if search(code):
 
363
            ast = parser.ast2tuple(parser.suite(''.join(text)))
 
364
            if search(ast):
387
365
                badfiles.append(fname)
388
366
        if badfiles:
389
367
            self.fail(
390
368
                "these files contain an assert statement and should not:\n%s"
391
369
                % '\n'.join(badfiles))
392
 
 
393
 
    def test_extension_exceptions(self):
394
 
        """Extension functions should propagate exceptions.
395
 
 
396
 
        Either they should return an object, have an 'except' clause, or
397
 
        have a "# cannot_raise" to indicate that we've audited them and
398
 
        defined them as not raising exceptions.
399
 
        """
400
 
        both_exc_and_no_exc = []
401
 
        missing_except = []
402
 
        common_classes = ('StaticTuple',)
403
 
        class_re = re.compile(r'^(cdef\s+)?(public\s+)?'
404
 
                              r'(api\s+)?class (\w+).*:', re.MULTILINE)
405
 
        except_re = re.compile(
406
 
            r'cdef\s+'        # start with cdef
407
 
            r'([\w *]*?)\s*'  # this is the return signature
408
 
            r'(\w+)\s*\('     # the function name
409
 
            r'[^)]*\)\s*'     # parameters
410
 
            r'(.*)\s*:'       # the except clause
411
 
            r'\s*(#\s*cannot[- _]raise)?')  # cannot raise comment
412
 
        for fname, text in self.get_source_file_contents(
413
 
                extensions=('.pyx',)):
414
 
            known_classes = {m[-1] for m in class_re.findall(text)}
415
 
            known_classes.update(common_classes)
416
 
            cdefs = except_re.findall(text)
417
 
            for sig, func, exc_clause, no_exc_comment in cdefs:
418
 
                if sig.startswith('api '):
419
 
                    sig = sig[4:]
420
 
                if not sig or sig in known_classes:
421
 
                    sig = 'object'
422
 
                if 'nogil' in exc_clause:
423
 
                    exc_clause = exc_clause.replace('nogil', '').strip()
424
 
                if exc_clause and no_exc_comment:
425
 
                    both_exc_and_no_exc.append((fname, func))
426
 
                if sig != 'object' and not (exc_clause or no_exc_comment):
427
 
                    missing_except.append((fname, func))
428
 
        error_msg = []
429
 
        if both_exc_and_no_exc:
430
 
            error_msg.append(
431
 
                'The following functions had "cannot raise" comments'
432
 
                ' but did have an except clause set:')
433
 
            for fname, func in both_exc_and_no_exc:
434
 
                error_msg.append('%s:%s' % (fname, func))
435
 
            error_msg.extend(('', ''))
436
 
        if missing_except:
437
 
            error_msg.append(
438
 
                'The following functions have fixed return types,'
439
 
                ' but no except clause.')
440
 
            error_msg.append(
441
 
                'Either add an except or append "# cannot_raise".')
442
 
            for fname, func in missing_except:
443
 
                error_msg.append('%s:%s' % (fname, func))
444
 
            error_msg.extend(('', ''))
445
 
        if error_msg:
446
 
            self.fail('\n'.join(error_msg))
447
 
 
448
 
    def test_feature_absolute_import(self):
449
 
        """Using absolute imports means avoiding unnecesary stat and
450
 
        open calls.
451
 
 
452
 
        Make sure that all non-test files have absolute imports enabled.
453
 
        """
454
 
        missing_absolute_import = []
455
 
        for fname, text in self.get_source_file_contents(
456
 
                extensions=('.py', '.pyx')):
457
 
            if "/tests/" in fname or "test_" in fname:
458
 
                # We don't really care about tests
459
 
                continue
460
 
            if "from __future__ import absolute_import" not in text:
461
 
                missing_absolute_import.append(fname)
462
 
 
463
 
        if missing_absolute_import:
464
 
            self.fail(
465
 
                'The following files do not have absolute_import enabled:\n'
466
 
                '\n' + '\n'.join(missing_absolute_import))