/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_source.py

  • Committer: Robert Collins
  • Date: 2007-07-15 15:40:37 UTC
  • mto: (2592.3.33 repository)
  • mto: This revision was merged to the branch mainline in revision 2624.
  • Revision ID: robertc@robertcollins.net-20070715154037-3ar8g89decddc9su
Make GraphIndex accept nodes as key, value, references, so that the method
signature is closer to what a simple key->value index delivers. Also
change the behaviour when the reference list count is zero to accept
key, value as nodes, and emit key, value to make it identical in that case
to a simple key->value index. This may not be a good idea, but for now it
seems ok.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/test_source.py
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#   Authors: Robert Collins <robert.collins@canonical.com>
2
3
#
3
4
# This program is free software; you can redistribute it and/or modify
4
5
# it under the terms of the GNU General Public License as published by
12
13
#
13
14
# You should have received a copy of the GNU General Public License
14
15
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
17
 
17
18
"""These tests are tests about the source code of bzrlib itself.
18
19
 
21
22
 
22
23
# import system imports here
23
24
import os
24
 
import parser
25
25
import re
26
 
import symbol
27
26
import sys
28
 
import token
29
27
 
30
28
#import bzrlib specific imports here
31
29
from bzrlib import (
32
30
    osutils,
33
31
    )
34
32
import bzrlib.branch
35
 
from bzrlib.tests import (
36
 
    TestCase,
37
 
    TestSkipped,
38
 
    )
 
33
from bzrlib.tests import TestCase, TestSkipped
39
34
 
40
35
 
41
36
# Files which are listed here will be skipped when testing for Copyright (or
42
37
# GPL) statements.
43
 
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py',
44
 
    'bzrlib/doc_generate/sphinx_conf.py']
 
38
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py']
45
39
 
46
 
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py',
47
 
    'bzrlib/doc_generate/sphinx_conf.py']
 
40
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py']
48
41
# Technically, 'bzrlib/lsprof.py' should be 'bzrlib/util/lsprof.py',
49
42
# (we do not check bzrlib/util/, since that is code bundled from elsewhere)
50
43
# but for compatibility with previous releases, we don't want to move it.
51
 
#
52
 
# sphinx_conf is semi-autogenerated.
53
44
 
54
45
 
55
46
class TestSourceHelper(TestCase):
56
47
 
57
48
    def source_file_name(self, package):
58
49
        """Return the path of the .py file for package."""
59
 
        if getattr(sys, "frozen", None) is not None:
60
 
            raise TestSkipped("can't test sources in frozen distributions.")
61
50
        path = package.__file__
62
51
        if path[-1] in 'co':
63
52
            return path[:-1]
83
72
        # do not even think of increasing this number. If you think you need to
84
73
        # increase it, then you almost certainly are doing something wrong as
85
74
        # the relationship from working_tree to branch is one way.
86
 
        # Note that this is an exact equality so that when the number drops,
 
75
        # Note that this is an exact equality so that when the number drops, 
87
76
        #it is not given a buffer but rather has this test updated immediately.
88
77
        self.assertEqual(0, occurences)
89
78
 
91
80
        """Test that the number of uses of working_tree in branch is stable."""
92
81
        occurences = self.find_occurences('WorkingTree',
93
82
                                          self.source_file_name(bzrlib.branch))
94
 
        # Do not even think of increasing this number. If you think you need to
 
83
        # do not even think of increasing this number. If you think you need to
95
84
        # increase it, then you almost certainly are doing something wrong as
96
85
        # the relationship from working_tree to branch is one way.
97
 
        # As of 20070809, there are no longer any mentions at all.
98
 
        self.assertEqual(0, occurences)
 
86
        # This number should be 4 (import NoWorkingTree and WorkingTree, 
 
87
        # raise NoWorkingTree from working_tree(), and construct a working tree
 
88
        # there) but a merge that regressed this was done before this test was
 
89
        # written. Note that this is an exact equality so that when the number
 
90
        # drops, it is not given a buffer but rather this test updated
 
91
        # immediately.
 
92
        self.assertEqual(2, occurences)
99
93
 
100
94
 
101
95
class TestSource(TestSourceHelper):
111
105
                              % source_dir)
112
106
        return source_dir
113
107
 
114
 
    def get_source_files(self, extensions=None):
115
 
        """Yield all source files for bzr and bzrlib
116
 
 
117
 
        :param our_files_only: If true, exclude files from included libraries
118
 
            or plugins.
119
 
        """
 
108
    def get_source_files(self):
 
109
        """yield all source files for bzr and bzrlib"""
120
110
        bzrlib_dir = self.get_bzrlib_dir()
121
 
        if extensions is None:
122
 
            extensions = ('.py',)
123
111
 
124
112
        # This is the front-end 'bzr' script
125
113
        bzr_path = self.get_bzr_path()
130
118
                if d.endswith('.tmp'):
131
119
                    dirs.remove(d)
132
120
            for f in files:
133
 
                for extension in extensions:
134
 
                    if f.endswith(extension):
135
 
                        break
136
 
                else:
137
 
                    # Did not match the accepted extensions
 
121
                if not f.endswith('.py'):
138
122
                    continue
139
123
                yield osutils.pathjoin(root, f)
140
124
 
141
 
    def get_source_file_contents(self, extensions=None):
142
 
        for fname in self.get_source_files(extensions=extensions):
 
125
    def get_source_file_contents(self):
 
126
        for fname in self.get_source_files():
143
127
            f = open(fname, 'rb')
144
128
            try:
145
129
                text = f.read()
147
131
                f.close()
148
132
            yield fname, text
149
133
 
150
 
    def is_our_code(self, fname):
151
 
        """Return true if it's a "real" part of bzrlib rather than external code"""
152
 
        if '/util/' in fname or '/plugins/' in fname:
153
 
            return False
154
 
        else:
155
 
            return True
156
 
 
157
134
    def is_copyright_exception(self, fname):
158
135
        """Certain files are allowed to be different"""
159
 
        if not self.is_our_code(fname):
 
136
        if '/util/' in fname or '/plugins/' in fname:
160
137
            # We don't ask that external utilities or plugins be
161
138
            # (C) Canonical Ltd
162
139
            return True
 
140
 
163
141
        for exc in COPYRIGHT_EXCEPTIONS:
164
142
            if fname.endswith(exc):
165
143
                return True
 
144
 
166
145
        return False
167
146
 
168
147
    def is_license_exception(self, fname):
169
148
        """Certain files are allowed to be different"""
170
 
        if not self.is_our_code(fname):
 
149
        if '/util/' in fname or '/plugins/' in fname:
 
150
            # We don't ask that external utilities or plugins be
 
151
            # (C) Canonical Ltd
171
152
            return True
 
153
 
172
154
        for exc in LICENSE_EXCEPTIONS:
173
155
            if fname.endswith(exc):
174
156
                return True
 
157
 
175
158
        return False
176
159
 
177
160
    def test_tmpdir_not_in_source_files(self):
183
166
                          % filename)
184
167
 
185
168
    def test_copyright(self):
186
 
        """Test that all .py and .pyx files have a valid copyright statement"""
 
169
        """Test that all .py files have a valid copyright statement"""
 
170
        # These are files which contain a different copyright statement
 
171
        # and that is okay.
187
172
        incorrect = []
188
173
 
189
174
        copyright_re = re.compile('#\\s*copyright.*(?=\n)', re.I)
193
178
            r'.*Canonical Ltd' # And containing 'Canonical Ltd'
194
179
            )
195
180
 
196
 
        for fname, text in self.get_source_file_contents(
197
 
                extensions=('.py', '.pyx')):
 
181
        for fname, text in self.get_source_file_contents():
198
182
            if self.is_copyright_exception(fname):
199
183
                continue
200
184
            match = copyright_canonical_re.search(text)
219
203
                         " bzrlib/tests/test_source.py",
220
204
                         # this is broken to prevent a false match
221
205
                         "or add '# Copyright (C)"
222
 
                         " 2007 Canonical Ltd' to these files:",
 
206
                         " 2006 Canonical Ltd' to these files:",
223
207
                         "",
224
208
                        ]
225
209
            for fname, comment in incorrect:
229
213
            self.fail('\n'.join(help_text))
230
214
 
231
215
    def test_gpl(self):
232
 
        """Test that all .py and .pyx files have a GPL disclaimer."""
 
216
        """Test that all .py files have a GPL disclaimer"""
233
217
        incorrect = []
234
218
 
235
219
        gpl_txt = """
245
229
#
246
230
# You should have received a copy of the GNU General Public License
247
231
# along with this program; if not, write to the Free Software
248
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
232
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
249
233
"""
250
234
        gpl_re = re.compile(re.escape(gpl_txt), re.MULTILINE)
251
235
 
252
 
        for fname, text in self.get_source_file_contents(
253
 
                extensions=('.py', '.pyx')):
 
236
        for fname, text in self.get_source_file_contents():
254
237
            if self.is_license_exception(fname):
255
238
                continue
256
239
            if not gpl_re.search(text):
270
253
 
271
254
            self.fail('\n'.join(help_text))
272
255
 
273
 
    def _push_file(self, dict_, fname, line_no):
274
 
        if fname not in dict_:
275
 
            dict_[fname] = [line_no]
276
 
        else:
277
 
            dict_[fname].append(line_no)
278
 
 
279
 
    def _format_message(self, dict_, message):
280
 
        files = ["%s: %s" % (f, ', '.join([str(i+1) for i in lines]))
281
 
                for f, lines in dict_.items()]
282
 
        files.sort()
283
 
        return message + '\n\n    %s' % ('\n    '.join(files))
284
 
 
285
 
    def test_coding_style(self):
286
 
        """Check if bazaar code conforms to some coding style conventions.
287
 
 
288
 
        Currently we assert that the following is not present:
289
 
         * any tab characters
290
 
         * non-unix newlines
291
 
         * no newline at end of files
292
 
 
293
 
        Print how many files have
294
 
         * trailing white space
295
 
         * lines longer than 79 chars
296
 
        """
297
 
        tabs = {}
298
 
        trailing_ws = {}
299
 
        illegal_newlines = {}
300
 
        long_lines = {}
301
 
        no_newline_at_eof = []
302
 
        for fname, text in self.get_source_file_contents(
303
 
                extensions=('.py', '.pyx')):
304
 
            if not self.is_our_code(fname):
305
 
                continue
306
 
            lines = text.splitlines(True)
307
 
            last_line_no = len(lines) - 1
308
 
            for line_no, line in enumerate(lines):
309
 
                if '\t' in line:
310
 
                    self._push_file(tabs, fname, line_no)
311
 
                if not line.endswith('\n') or line.endswith('\r\n'):
312
 
                    if line_no != last_line_no: # not no_newline_at_eof
313
 
                        self._push_file(illegal_newlines, fname, line_no)
314
 
                if line.endswith(' \n'):
315
 
                    self._push_file(trailing_ws, fname, line_no)
316
 
                if len(line) > 80:
317
 
                    self._push_file(long_lines, fname, line_no)
318
 
            if not lines[-1].endswith('\n'):
319
 
                no_newline_at_eof.append(fname)
320
 
        problems = []
321
 
        if tabs:
322
 
            problems.append(self._format_message(tabs,
323
 
                'Tab characters were found in the following source files.'
324
 
                '\nThey should either be replaced by "\\t" or by spaces:'))
325
 
        if trailing_ws:
326
 
            print ("There are %i lines with trailing white space in %i files."
327
 
                % (sum([len(lines) for f, lines in trailing_ws.items()]),
328
 
                    len(trailing_ws)))
329
 
        if illegal_newlines:
330
 
            problems.append(self._format_message(illegal_newlines,
331
 
                'Non-unix newlines were found in the following source files:'))
332
 
        if long_lines:
333
 
            print ("There are %i lines longer than 79 characters in %i files."
334
 
                % (sum([len(lines) for f, lines in long_lines.items()]),
335
 
                    len(long_lines)))
336
 
        if no_newline_at_eof:
337
 
            no_newline_at_eof.sort()
338
 
            problems.append("The following source files doesn't have a "
339
 
                "newline at the end:"
340
 
               '\n\n    %s'
341
 
               % ('\n    '.join(no_newline_at_eof)))
342
 
        if problems:
343
 
            self.fail('\n\n'.join(problems))
344
 
 
345
 
    def test_no_asserts(self):
346
 
        """bzr shouldn't use the 'assert' statement."""
347
 
        # assert causes too much variation between -O and not, and tends to
348
 
        # give bad errors to the user
349
 
        def search(x):
350
 
            # scan down through x for assert statements, report any problems
351
 
            # this is a bit cheesy; it may get some false positives?
352
 
            if x[0] == symbol.assert_stmt:
353
 
                return True
354
 
            elif x[0] == token.NAME:
355
 
                # can't search further down
356
 
                return False
357
 
            for sub in x[1:]:
358
 
                if sub and search(sub):
359
 
                    return True
360
 
            return False
361
 
        badfiles = []
362
 
        assert_re = re.compile(r'\bassert\b')
 
256
    def test_no_tabs(self):
 
257
        """bzrlib source files should not contain any tab characters."""
 
258
        incorrect = []
 
259
 
363
260
        for fname, text in self.get_source_file_contents():
364
 
            if not self.is_our_code(fname):
365
 
                continue
366
 
            if not assert_re.search(text):
367
 
                continue
368
 
            ast = parser.ast2tuple(parser.suite(text))
369
 
            if search(ast):
370
 
                badfiles.append(fname)
371
 
        if badfiles:
372
 
            self.fail(
373
 
                "these files contain an assert statement and should not:\n%s"
374
 
                % '\n'.join(badfiles))
375
 
 
376
 
    def test_extension_exceptions(self):
377
 
        """Extension functions should propagate exceptions.
378
 
 
379
 
        Either they should return an object, have an 'except' clause, or have a
380
 
        "# cannot_raise" to indicate that we've audited them and defined them as not
381
 
        raising exceptions.
382
 
        """
383
 
        both_exc_and_no_exc = []
384
 
        missing_except = []
385
 
        class_re = re.compile(r'^(cdef\s+)?(public\s+)?(api\s+)?class (\w+).*:',
386
 
                              re.MULTILINE)
387
 
        except_re = re.compile(r'cdef\s+' # start with cdef
388
 
                               r'([\w *]*?)\s*' # this is the return signature
389
 
                               r'(\w+)\s*\(' # the function name
390
 
                               r'[^)]*\)\s*' # parameters
391
 
                               r'(.*)\s*:' # the except clause
392
 
                               r'\s*(#\s*cannot[- _]raise)?' # cannot raise comment
393
 
                              )
394
 
        for fname, text in self.get_source_file_contents(
395
 
                extensions=('.pyx',)):
396
 
            known_classes = set([m[-1] for m in class_re.findall(text)])
397
 
            cdefs = except_re.findall(text)
398
 
            for sig, func, exc_clause, no_exc_comment in cdefs:
399
 
                if sig.startswith('api '):
400
 
                    sig = sig[4:]
401
 
                if not sig or sig in known_classes:
402
 
                    sig = 'object'
403
 
                if 'nogil' in exc_clause:
404
 
                    exc_clause = exc_clause.replace('nogil', '').strip()
405
 
                if exc_clause and no_exc_comment:
406
 
                    both_exc_and_no_exc.append((fname, func))
407
 
                if sig != 'object' and not (exc_clause or no_exc_comment):
408
 
                    missing_except.append((fname, func))
409
 
        error_msg = []
410
 
        if both_exc_and_no_exc:
411
 
            error_msg.append('The following functions had "cannot raise" comments'
412
 
                             ' but did have an except clause set:')
413
 
            for fname, func in both_exc_and_no_exc:
414
 
                error_msg.append('%s:%s' % (fname, func))
415
 
            error_msg.extend(('', ''))
416
 
        if missing_except:
417
 
            error_msg.append('The following functions have fixed return types,'
418
 
                             ' but no except clause.')
419
 
            error_msg.append('Either add an except or append "# cannot_raise".')
420
 
            for fname, func in missing_except:
421
 
                error_msg.append('%s:%s' % (fname, func))
422
 
            error_msg.extend(('', ''))
423
 
        if error_msg:
424
 
            self.fail('\n'.join(error_msg))
 
261
            if '/util/' in fname or '/plugins/' in fname:
 
262
                continue
 
263
            if '\t' in text:
 
264
                incorrect.append(fname)
 
265
 
 
266
        if incorrect:
 
267
            self.fail('Tab characters were found in the following source files.'
 
268
              '\nThey should either be replaced by "\\t" or by spaces:'
 
269
              '\n\n    %s'
 
270
              % ('\n    '.join(incorrect)))