/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/tests/test_source.py

  • Committer: Jelmer Vernooij
  • Date: 2018-07-08 14:45:27 UTC
  • mto: This revision was merged to the branch mainline in revision 7036.
  • Revision ID: jelmer@jelmer.uk-20180708144527-codhlvdcdg9y0nji
Fix a bunch of merge tests.

Show diffs side-by-side

added added

removed removed

Lines of Context:
breezy/tests/test_source.py
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
"""These tests are tests about the source code of bzrlib itself.
 
17
"""These tests are tests about the source code of breezy itself.
18
18
 
19
19
They are useful for testing code quality, checking coverage metric etc.
20
20
"""
21
21
 
22
 
# import system imports here
23
22
import os
24
23
import parser
25
24
import re
27
26
import sys
28
27
import token
29
28
 
30
 
#import bzrlib specific imports here
31
 
from bzrlib import (
 
29
from breezy import (
32
30
    osutils,
33
31
    )
34
 
import bzrlib.branch
35
 
from bzrlib.tests import (
 
32
import breezy.branch
 
33
from breezy.tests import (
36
34
    TestCase,
37
35
    TestSkipped,
38
36
    )
40
38
 
41
39
# Files which are listed here will be skipped when testing for Copyright (or
42
40
# GPL) statements.
43
 
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py',
44
 
    'bzrlib/doc_generate/sphinx_conf.py']
 
41
COPYRIGHT_EXCEPTIONS = [
 
42
    'breezy/_bencode_py.py',
 
43
    'breezy/doc_generate/conf.py',
 
44
    'breezy/lsprof.py',
 
45
    ]
45
46
 
46
 
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py',
47
 
    'bzrlib/doc_generate/sphinx_conf.py']
48
 
# Technically, 'bzrlib/lsprof.py' should be 'bzrlib/util/lsprof.py',
49
 
# (we do not check bzrlib/util/, since that is code bundled from elsewhere)
 
47
LICENSE_EXCEPTIONS = [
 
48
    'breezy/_bencode_py.py',
 
49
    'breezy/doc_generate/conf.py',
 
50
    'breezy/lsprof.py',
 
51
    ]
 
52
# Technically, 'breezy/lsprof.py' should be 'breezy/util/lsprof.py',
 
53
# (we do not check breezy/util/, since that is code bundled from elsewhere)
50
54
# but for compatibility with previous releases, we don't want to move it.
51
55
#
52
56
# sphinx_conf is semi-autogenerated.
70
74
    def find_occurences(self, rule, filename):
71
75
        """Find the number of occurences of rule in a file."""
72
76
        occurences = 0
73
 
        source = file(filename, 'r')
 
77
        source = open(filename, 'r')
74
78
        for line in source:
75
79
            if line.find(rule) > -1:
76
80
                occurences += 1
79
83
    def test_branch_working_tree(self):
80
84
        """Test that the number of uses of working_tree in branch is stable."""
81
85
        occurences = self.find_occurences('self.working_tree()',
82
 
                                          self.source_file_name(bzrlib.branch))
 
86
                                          self.source_file_name(breezy.branch))
83
87
        # do not even think of increasing this number. If you think you need to
84
88
        # increase it, then you almost certainly are doing something wrong as
85
89
        # the relationship from working_tree to branch is one way.
90
94
    def test_branch_WorkingTree(self):
91
95
        """Test that the number of uses of working_tree in branch is stable."""
92
96
        occurences = self.find_occurences('WorkingTree',
93
 
                                          self.source_file_name(bzrlib.branch))
 
97
                                          self.source_file_name(breezy.branch))
94
98
        # Do not even think of increasing this number. If you think you need to
95
99
        # increase it, then you almost certainly are doing something wrong as
96
100
        # the relationship from working_tree to branch is one way.
100
104
 
101
105
class TestSource(TestSourceHelper):
102
106
 
103
 
    def get_bzrlib_dir(self):
104
 
        """Get the path to the root of bzrlib"""
105
 
        source = self.source_file_name(bzrlib)
 
107
    def get_breezy_dir(self):
 
108
        """Get the path to the root of breezy"""
 
109
        source = self.source_file_name(breezy)
106
110
        source_dir = os.path.dirname(source)
107
111
 
108
 
        # Avoid the case when bzrlib is packaged in a zip file
 
112
        # Avoid the case when breezy is packaged in a zip file
109
113
        if not os.path.isdir(source_dir):
110
 
            raise TestSkipped('Cannot find bzrlib source directory. Expected %s'
111
 
                              % source_dir)
 
114
            raise TestSkipped(
 
115
                'Cannot find breezy source directory. Expected %s'
 
116
                % source_dir)
112
117
        return source_dir
113
118
 
114
119
    def get_source_files(self, extensions=None):
115
 
        """Yield all source files for bzr and bzrlib
 
120
        """Yield all source files for bzr and breezy
116
121
 
117
122
        :param our_files_only: If true, exclude files from included libraries
118
123
            or plugins.
119
124
        """
120
 
        bzrlib_dir = self.get_bzrlib_dir()
 
125
        breezy_dir = self.get_breezy_dir()
121
126
        if extensions is None:
122
127
            extensions = ('.py',)
123
128
 
124
129
        # This is the front-end 'bzr' script
125
 
        bzr_path = self.get_bzr_path()
 
130
        bzr_path = self.get_brz_path()
126
131
        yield bzr_path
127
132
 
128
 
        for root, dirs, files in os.walk(bzrlib_dir):
 
133
        for root, dirs, files in os.walk(breezy_dir):
129
134
            for d in dirs:
130
135
                if d.endswith('.tmp'):
131
136
                    dirs.remove(d)
148
153
            yield fname, text
149
154
 
150
155
    def is_our_code(self, fname):
151
 
        """Return true if it's a "real" part of bzrlib rather than external code"""
 
156
        """True if it's a "real" part of breezy rather than external code"""
152
157
        if '/util/' in fname or '/plugins/' in fname:
153
158
            return False
154
159
        else:
157
162
    def is_copyright_exception(self, fname):
158
163
        """Certain files are allowed to be different"""
159
164
        if not self.is_our_code(fname):
160
 
            # We don't ask that external utilities or plugins be
161
 
            # (C) Canonical Ltd
162
165
            return True
163
166
        for exc in COPYRIGHT_EXCEPTIONS:
164
167
            if fname.endswith(exc):
187
190
        incorrect = []
188
191
 
189
192
        copyright_re = re.compile('#\\s*copyright.*(?=\n)', re.I)
190
 
        copyright_canonical_re = re.compile(
191
 
            r'# Copyright \(C\) ' # Opening "# Copyright (C)"
192
 
            r'(\d+)(, \d+)*' # Followed by a series of dates
193
 
            r'.*Canonical Ltd' # And containing 'Canonical Ltd'
194
 
            )
 
193
        copyright_statement_re = re.compile(
 
194
            r'# Copyright \(C\) '  # Opening "# Copyright (C)"
 
195
            r'(\d+?)((, |-)\d+)*'  # followed by a series of dates
 
196
            r' [^ ]*')             # and then whoever.
195
197
 
196
198
        for fname, text in self.get_source_file_contents(
197
199
                extensions=('.py', '.pyx')):
198
200
            if self.is_copyright_exception(fname):
199
201
                continue
200
 
            match = copyright_canonical_re.search(text)
 
202
            match = copyright_statement_re.search(text)
201
203
            if not match:
202
204
                match = copyright_re.search(text)
203
205
                if match:
216
218
                         "",
217
219
                         "Please either add them to the list of"
218
220
                         " COPYRIGHT_EXCEPTIONS in"
219
 
                         " bzrlib/tests/test_source.py",
 
221
                         " breezy/tests/test_source.py",
220
222
                         # this is broken to prevent a false match
221
223
                         "or add '# Copyright (C)"
222
 
                         " 2007 Canonical Ltd' to these files:",
 
224
                         " 2007 Bazaar hackers' to these files:",
223
225
                         "",
224
226
                        ]
225
227
            for fname, comment in incorrect:
226
228
                help_text.append(fname)
227
 
                help_text.append((' '*4) + comment)
 
229
                help_text.append((' ' * 4) + comment)
228
230
 
229
231
            self.fail('\n'.join(help_text))
230
232
 
261
263
                         "",
262
264
                         "Please either add them to the list of"
263
265
                         " LICENSE_EXCEPTIONS in"
264
 
                         " bzrlib/tests/test_source.py",
 
266
                         " breezy/tests/test_source.py",
265
267
                         "Or add the following text to the beginning:",
266
 
                         gpl_txt
267
 
                        ]
 
268
                         gpl_txt]
268
269
            for fname in incorrect:
269
 
                help_text.append((' '*4) + fname)
 
270
                help_text.append((' ' * 4) + fname)
270
271
 
271
272
            self.fail('\n'.join(help_text))
272
273
 
277
278
            dict_[fname].append(line_no)
278
279
 
279
280
    def _format_message(self, dict_, message):
280
 
        files = ["%s: %s" % (f, ', '.join([str(i+1) for i in lines]))
281
 
                for f, lines in dict_.items()]
282
 
        files.sort()
 
281
        files = sorted(["%s: %s" % (f, ', '.join([str(i + 1) for i in lines]))
 
282
                for f, lines in dict_.items()])
283
283
        return message + '\n\n    %s' % ('\n    '.join(files))
284
284
 
285
285
    def test_coding_style(self):
286
286
        """Check if bazaar code conforms to some coding style conventions.
287
287
 
288
 
        Currently we assert that the following is not present:
289
 
         * any tab characters
290
 
         * non-unix newlines
291
 
         * no newline at end of files
 
288
        Generally we expect PEP8, but we do not generally strictly enforce
 
289
        this, and there are existing files that do not comply.  The 'pep8'
 
290
        tool, available separately, will check for more cases.
292
291
 
293
 
        Print how many files have
294
 
         * trailing white space
295
 
         * lines longer than 79 chars
 
292
        This test only enforces conditions that are globally true at the
 
293
        moment, and that should cause a patch to be rejected: spaces rather
 
294
        than tabs, unix newlines, and a newline at the end of the file.
296
295
        """
297
296
        tabs = {}
298
 
        trailing_ws = {}
299
297
        illegal_newlines = {}
300
 
        long_lines = {}
301
298
        no_newline_at_eof = []
302
299
        for fname, text in self.get_source_file_contents(
303
300
                extensions=('.py', '.pyx')):
309
306
                if '\t' in line:
310
307
                    self._push_file(tabs, fname, line_no)
311
308
                if not line.endswith('\n') or line.endswith('\r\n'):
312
 
                    if line_no != last_line_no: # not no_newline_at_eof
 
309
                    if line_no != last_line_no:  # not no_newline_at_eof
313
310
                        self._push_file(illegal_newlines, fname, line_no)
314
 
                if line.endswith(' \n'):
315
 
                    self._push_file(trailing_ws, fname, line_no)
316
 
                if len(line) > 80:
317
 
                    self._push_file(long_lines, fname, line_no)
318
311
            if not lines[-1].endswith('\n'):
319
312
                no_newline_at_eof.append(fname)
320
313
        problems = []
322
315
            problems.append(self._format_message(tabs,
323
316
                'Tab characters were found in the following source files.'
324
317
                '\nThey should either be replaced by "\\t" or by spaces:'))
325
 
        if trailing_ws:
326
 
            print ("There are %i lines with trailing white space in %i files."
327
 
                % (sum([len(lines) for f, lines in trailing_ws.items()]),
328
 
                    len(trailing_ws)))
329
318
        if illegal_newlines:
330
319
            problems.append(self._format_message(illegal_newlines,
331
320
                'Non-unix newlines were found in the following source files:'))
332
 
        if long_lines:
333
 
            print ("There are %i lines longer than 79 characters in %i files."
334
 
                % (sum([len(lines) for f, lines in long_lines.items()]),
335
 
                    len(long_lines)))
336
321
        if no_newline_at_eof:
337
322
            no_newline_at_eof.sort()
338
323
            problems.append("The following source files doesn't have a "
376
361
    def test_extension_exceptions(self):
377
362
        """Extension functions should propagate exceptions.
378
363
 
379
 
        Either they should return an object, have an 'except' clause, or have a
380
 
        "# cannot_raise" to indicate that we've audited them and defined them as not
381
 
        raising exceptions.
 
364
        Either they should return an object, have an 'except' clause, or
 
365
        have a "# cannot_raise" to indicate that we've audited them and
 
366
        defined them as not raising exceptions.
382
367
        """
383
368
        both_exc_and_no_exc = []
384
369
        missing_except = []
385
 
        class_re = re.compile(r'^(cdef\s+)?(public\s+)?(api\s+)?class (\w+).*:',
386
 
                              re.MULTILINE)
387
 
        except_re = re.compile(r'cdef\s+' # start with cdef
388
 
                               r'([\w *]*?)\s*' # this is the return signature
389
 
                               r'(\w+)\s*\(' # the function name
390
 
                               r'[^)]*\)\s*' # parameters
391
 
                               r'(.*)\s*:' # the except clause
392
 
                               r'\s*(#\s*cannot[- _]raise)?' # cannot raise comment
393
 
                              )
 
370
        class_re = re.compile(r'^(cdef\s+)?(public\s+)?'
 
371
                              r'(api\s+)?class (\w+).*:', re.MULTILINE)
 
372
        extern_class_re = re.compile(r'## extern cdef class (\w+)',
 
373
                                     re.MULTILINE)
 
374
        except_re = re.compile(
 
375
            r'cdef\s+'        # start with cdef
 
376
            r'([\w *]*?)\s*'  # this is the return signature
 
377
            r'(\w+)\s*\('     # the function name
 
378
            r'[^)]*\)\s*'     # parameters
 
379
            r'(.*)\s*:'       # the except clause
 
380
            r'\s*(#\s*cannot[- _]raise)?')  # cannot raise comment
394
381
        for fname, text in self.get_source_file_contents(
395
382
                extensions=('.pyx',)):
396
 
            known_classes = set([m[-1] for m in class_re.findall(text)])
 
383
            known_classes = {m[-1] for m in class_re.findall(text)}
 
384
            known_classes.update(extern_class_re.findall(text))
397
385
            cdefs = except_re.findall(text)
398
386
            for sig, func, exc_clause, no_exc_comment in cdefs:
399
387
                if sig.startswith('api '):
408
396
                    missing_except.append((fname, func))
409
397
        error_msg = []
410
398
        if both_exc_and_no_exc:
411
 
            error_msg.append('The following functions had "cannot raise" comments'
412
 
                             ' but did have an except clause set:')
 
399
            error_msg.append(
 
400
                'The following functions had "cannot raise" comments'
 
401
                ' but did have an except clause set:')
413
402
            for fname, func in both_exc_and_no_exc:
414
403
                error_msg.append('%s:%s' % (fname, func))
415
404
            error_msg.extend(('', ''))
416
405
        if missing_except:
417
 
            error_msg.append('The following functions have fixed return types,'
418
 
                             ' but no except clause.')
419
 
            error_msg.append('Either add an except or append "# cannot_raise".')
 
406
            error_msg.append(
 
407
                'The following functions have fixed return types,'
 
408
                ' but no except clause.')
 
409
            error_msg.append(
 
410
                'Either add an except or append "# cannot_raise".')
420
411
            for fname, func in missing_except:
421
412
                error_msg.append('%s:%s' % (fname, func))
422
413
            error_msg.extend(('', ''))
423
414
        if error_msg:
424
415
            self.fail('\n'.join(error_msg))
 
416
 
 
417
    def test_feature_absolute_import(self):
 
418
        """Using absolute imports means avoiding unnecesary stat and
 
419
        open calls.
 
420
 
 
421
        Make sure that all non-test files have absolute imports enabled.
 
422
        """
 
423
        missing_absolute_import = []
 
424
        for fname, text in self.get_source_file_contents(
 
425
                extensions=('.py', '.pyx')):
 
426
            if "/tests/" in fname or "test_" in fname:
 
427
                # We don't really care about tests
 
428
                continue
 
429
            if not "from __future__ import absolute_import" in text:
 
430
                missing_absolute_import.append(fname)
 
431
 
 
432
        if missing_absolute_import:
 
433
            self.fail(
 
434
                'The following files do not have absolute_import enabled:\n'
 
435
                '\n' + '\n'.join(missing_absolute_import))