/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_source.py

  • Committer: John Arbash Meinel
  • Date: 2008-10-08 21:56:12 UTC
  • mto: This revision was merged to the branch mainline in revision 3773.
  • Revision ID: john@arbash-meinel.com-20081008215612-y9v94tqxreqoangx
Simplify the --raw mode.

I didn't realize, but the only node that is special cased is the 'root' node,
and to read it, you actually have to parse it directly, because the
compressed bytes start immediately after the end of the header, rather than
having any padding before the zlib bytes.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/test_source.py
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
 
2
#   Authors: Robert Collins <robert.collins@canonical.com>
 
3
#            and others
2
4
#
3
5
# This program is free software; you can redistribute it and/or modify
4
6
# it under the terms of the GNU General Public License as published by
12
14
#
13
15
# You should have received a copy of the GNU General Public License
14
16
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
18
 
17
19
"""These tests are tests about the source code of bzrlib itself.
18
20
 
33
35
    )
34
36
import bzrlib.branch
35
37
from bzrlib.tests import (
 
38
    KnownFailure,
36
39
    TestCase,
37
40
    TestSkipped,
38
41
    )
40
43
 
41
44
# Files which are listed here will be skipped when testing for Copyright (or
42
45
# GPL) statements.
43
 
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py',
44
 
    'bzrlib/doc_generate/sphinx_conf.py']
 
46
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py']
45
47
 
46
 
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py',
47
 
    'bzrlib/doc_generate/sphinx_conf.py']
 
48
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py']
48
49
# Technically, 'bzrlib/lsprof.py' should be 'bzrlib/util/lsprof.py',
49
50
# (we do not check bzrlib/util/, since that is code bundled from elsewhere)
50
51
# but for compatibility with previous releases, we don't want to move it.
51
 
#
52
 
# sphinx_conf is semi-autogenerated.
53
52
 
54
53
 
55
54
class TestSourceHelper(TestCase):
83
82
        # do not even think of increasing this number. If you think you need to
84
83
        # increase it, then you almost certainly are doing something wrong as
85
84
        # the relationship from working_tree to branch is one way.
86
 
        # Note that this is an exact equality so that when the number drops,
 
85
        # Note that this is an exact equality so that when the number drops, 
87
86
        #it is not given a buffer but rather has this test updated immediately.
88
87
        self.assertEqual(0, occurences)
89
88
 
111
110
                              % source_dir)
112
111
        return source_dir
113
112
 
114
 
    def get_source_files(self, extensions=None):
 
113
    def get_source_files(self):
115
114
        """Yield all source files for bzr and bzrlib
116
 
 
 
115
        
117
116
        :param our_files_only: If true, exclude files from included libraries
118
117
            or plugins.
119
118
        """
120
119
        bzrlib_dir = self.get_bzrlib_dir()
121
 
        if extensions is None:
122
 
            extensions = ('.py',)
123
120
 
124
121
        # This is the front-end 'bzr' script
125
122
        bzr_path = self.get_bzr_path()
130
127
                if d.endswith('.tmp'):
131
128
                    dirs.remove(d)
132
129
            for f in files:
133
 
                for extension in extensions:
134
 
                    if f.endswith(extension):
135
 
                        break
136
 
                else:
137
 
                    # Did not match the accepted extensions
 
130
                if not f.endswith('.py'):
138
131
                    continue
139
132
                yield osutils.pathjoin(root, f)
140
133
 
141
 
    def get_source_file_contents(self, extensions=None):
142
 
        for fname in self.get_source_files(extensions=extensions):
 
134
    def get_source_file_contents(self):
 
135
        for fname in self.get_source_files():
143
136
            f = open(fname, 'rb')
144
137
            try:
145
138
                text = f.read()
183
176
                          % filename)
184
177
 
185
178
    def test_copyright(self):
186
 
        """Test that all .py and .pyx files have a valid copyright statement"""
 
179
        """Test that all .py files have a valid copyright statement"""
 
180
        # These are files which contain a different copyright statement
 
181
        # and that is okay.
187
182
        incorrect = []
188
183
 
189
184
        copyright_re = re.compile('#\\s*copyright.*(?=\n)', re.I)
193
188
            r'.*Canonical Ltd' # And containing 'Canonical Ltd'
194
189
            )
195
190
 
196
 
        for fname, text in self.get_source_file_contents(
197
 
                extensions=('.py', '.pyx')):
 
191
        for fname, text in self.get_source_file_contents():
198
192
            if self.is_copyright_exception(fname):
199
193
                continue
200
194
            match = copyright_canonical_re.search(text)
229
223
            self.fail('\n'.join(help_text))
230
224
 
231
225
    def test_gpl(self):
232
 
        """Test that all .py and .pyx files have a GPL disclaimer."""
 
226
        """Test that all .py files have a GPL disclaimer"""
233
227
        incorrect = []
234
228
 
235
229
        gpl_txt = """
245
239
#
246
240
# You should have received a copy of the GNU General Public License
247
241
# along with this program; if not, write to the Free Software
248
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
242
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
249
243
"""
250
244
        gpl_re = re.compile(re.escape(gpl_txt), re.MULTILINE)
251
245
 
252
 
        for fname, text in self.get_source_file_contents(
253
 
                extensions=('.py', '.pyx')):
 
246
        for fname, text in self.get_source_file_contents():
254
247
            if self.is_license_exception(fname):
255
248
                continue
256
249
            if not gpl_re.search(text):
270
263
 
271
264
            self.fail('\n'.join(help_text))
272
265
 
273
 
    def _push_file(self, dict_, fname, line_no):
274
 
        if fname not in dict_:
275
 
            dict_[fname] = [line_no]
276
 
        else:
277
 
            dict_[fname].append(line_no)
278
 
 
279
 
    def _format_message(self, dict_, message):
280
 
        files = ["%s: %s" % (f, ', '.join([str(i+1) for i in lines]))
281
 
                for f, lines in dict_.items()]
282
 
        files.sort()
283
 
        return message + '\n\n    %s' % ('\n    '.join(files))
284
 
 
285
 
    def test_coding_style(self):
286
 
        """Check if bazaar code conforms to some coding style conventions.
287
 
 
288
 
        Currently we assert that the following is not present:
289
 
         * any tab characters
290
 
         * non-unix newlines
291
 
         * no newline at end of files
292
 
 
293
 
        Print how many files have
294
 
         * trailing white space
295
 
         * lines longer than 79 chars
296
 
        """
297
 
        tabs = {}
298
 
        trailing_ws = {}
299
 
        illegal_newlines = {}
300
 
        long_lines = {}
301
 
        no_newline_at_eof = []
302
 
        for fname, text in self.get_source_file_contents(
303
 
                extensions=('.py', '.pyx')):
 
266
    def test_no_tabs(self):
 
267
        """bzrlib source files should not contain any tab characters."""
 
268
        incorrect = []
 
269
 
 
270
        for fname, text in self.get_source_file_contents():
304
271
            if not self.is_our_code(fname):
305
272
                continue
306
 
            lines = text.splitlines(True)
307
 
            last_line_no = len(lines) - 1
308
 
            for line_no, line in enumerate(lines):
309
 
                if '\t' in line:
310
 
                    self._push_file(tabs, fname, line_no)
311
 
                if not line.endswith('\n') or line.endswith('\r\n'):
312
 
                    if line_no != last_line_no: # not no_newline_at_eof
313
 
                        self._push_file(illegal_newlines, fname, line_no)
314
 
                if line.endswith(' \n'):
315
 
                    self._push_file(trailing_ws, fname, line_no)
316
 
                if len(line) > 80:
317
 
                    self._push_file(long_lines, fname, line_no)
318
 
            if not lines[-1].endswith('\n'):
319
 
                no_newline_at_eof.append(fname)
320
 
        problems = []
321
 
        if tabs:
322
 
            problems.append(self._format_message(tabs,
323
 
                'Tab characters were found in the following source files.'
324
 
                '\nThey should either be replaced by "\\t" or by spaces:'))
325
 
        if trailing_ws:
326
 
            print ("There are %i lines with trailing white space in %i files."
327
 
                % (sum([len(lines) for f, lines in trailing_ws.items()]),
328
 
                    len(trailing_ws)))
329
 
        if illegal_newlines:
330
 
            problems.append(self._format_message(illegal_newlines,
331
 
                'Non-unix newlines were found in the following source files:'))
332
 
        if long_lines:
333
 
            print ("There are %i lines longer than 79 characters in %i files."
334
 
                % (sum([len(lines) for f, lines in long_lines.items()]),
335
 
                    len(long_lines)))
336
 
        if no_newline_at_eof:
337
 
            no_newline_at_eof.sort()
338
 
            problems.append("The following source files doesn't have a "
339
 
                "newline at the end:"
340
 
               '\n\n    %s'
341
 
               % ('\n    '.join(no_newline_at_eof)))
342
 
        if problems:
343
 
            self.fail('\n\n'.join(problems))
 
273
            if '\t' in text:
 
274
                incorrect.append(fname)
 
275
 
 
276
        if incorrect:
 
277
            self.fail('Tab characters were found in the following source files.'
 
278
              '\nThey should either be replaced by "\\t" or by spaces:'
 
279
              '\n\n    %s'
 
280
              % ('\n    '.join(incorrect)))
344
281
 
345
282
    def test_no_asserts(self):
346
283
        """bzr shouldn't use the 'assert' statement."""
359
296
                    return True
360
297
            return False
361
298
        badfiles = []
362
 
        assert_re = re.compile(r'\bassert\b')
363
299
        for fname, text in self.get_source_file_contents():
364
300
            if not self.is_our_code(fname):
365
301
                continue
366
 
            if not assert_re.search(text):
367
 
                continue
368
 
            ast = parser.ast2tuple(parser.suite(text))
 
302
            ast = parser.ast2tuple(parser.suite(''.join(text)))
369
303
            if search(ast):
370
304
                badfiles.append(fname)
371
305
        if badfiles:
372
306
            self.fail(
373
307
                "these files contain an assert statement and should not:\n%s"
374
308
                % '\n'.join(badfiles))
375
 
 
376
 
    def test_extension_exceptions(self):
377
 
        """Extension functions should propagate exceptions.
378
 
 
379
 
        Either they should return an object, have an 'except' clause, or have a
380
 
        "# cannot_raise" to indicate that we've audited them and defined them as not
381
 
        raising exceptions.
382
 
        """
383
 
        both_exc_and_no_exc = []
384
 
        missing_except = []
385
 
        class_re = re.compile(r'^(cdef\s+)?(public\s+)?(api\s+)?class (\w+).*:',
386
 
                              re.MULTILINE)
387
 
        except_re = re.compile(r'cdef\s+' # start with cdef
388
 
                               r'([\w *]*?)\s*' # this is the return signature
389
 
                               r'(\w+)\s*\(' # the function name
390
 
                               r'[^)]*\)\s*' # parameters
391
 
                               r'(.*)\s*:' # the except clause
392
 
                               r'\s*(#\s*cannot[- _]raise)?' # cannot raise comment
393
 
                              )
394
 
        for fname, text in self.get_source_file_contents(
395
 
                extensions=('.pyx',)):
396
 
            known_classes = set([m[-1] for m in class_re.findall(text)])
397
 
            cdefs = except_re.findall(text)
398
 
            for sig, func, exc_clause, no_exc_comment in cdefs:
399
 
                if sig.startswith('api '):
400
 
                    sig = sig[4:]
401
 
                if not sig or sig in known_classes:
402
 
                    sig = 'object'
403
 
                if 'nogil' in exc_clause:
404
 
                    exc_clause = exc_clause.replace('nogil', '').strip()
405
 
                if exc_clause and no_exc_comment:
406
 
                    both_exc_and_no_exc.append((fname, func))
407
 
                if sig != 'object' and not (exc_clause or no_exc_comment):
408
 
                    missing_except.append((fname, func))
409
 
        error_msg = []
410
 
        if both_exc_and_no_exc:
411
 
            error_msg.append('The following functions had "cannot raise" comments'
412
 
                             ' but did have an except clause set:')
413
 
            for fname, func in both_exc_and_no_exc:
414
 
                error_msg.append('%s:%s' % (fname, func))
415
 
            error_msg.extend(('', ''))
416
 
        if missing_except:
417
 
            error_msg.append('The following functions have fixed return types,'
418
 
                             ' but no except clause.')
419
 
            error_msg.append('Either add an except or append "# cannot_raise".')
420
 
            for fname, func in missing_except:
421
 
                error_msg.append('%s:%s' % (fname, func))
422
 
            error_msg.extend(('', ''))
423
 
        if error_msg:
424
 
            self.fail('\n'.join(error_msg))