/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/fixtures.py

  • Committer: John Arbash Meinel
  • Date: 2010-08-05 16:27:35 UTC
  • mto: This revision was merged to the branch mainline in revision 5374.
  • Revision ID: john@arbash-meinel.com-20100805162735-172opvx34sr5gpbl
Find a case where we are wasting a bit of memory.

Specifically the 'build_details' tuple contains a lot of wasted references,
and we hold on to one of these for each record we are fetching.
And for something like 'bzr pack', that is all keys.

For just loading all text build details on my bzr+ repository, With:
locations = b.repository.texts._index.get_build_details(b.repository.texts.keys())
This drops the memory consumption from:
WorkingSize   77604KiB
 to
WorkingSize   64640KiB

Or around 10.6MB. I worked it out to a savings of about 80 bytes/record
on data that can have hundreds of thousands of records (in 32-bit).

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/fixtures.py
 
1
# Copyright (C) 2010 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
 
 
18
"""Fixtures that can be used within tests.
 
19
 
 
20
Fixtures can be created during a test as a way to separate out creation of
 
21
objects to test.  Fixture objects can hold some state so that different 
 
22
objects created during a test instance can be related.  Normally a fixture
 
23
should live only for the duration of a single test, and its tearDown method
 
24
should be passed to `addCleanup` on the test.
 
25
"""
 
26
 
 
27
 
 
28
import itertools
 
29
 
 
30
 
 
31
def generate_unicode_names():
 
32
    """Generate a sequence of arbitrary unique unicode names.
 
33
    
 
34
    By default they are not representable in ascii.
 
35
    
 
36
    >>> gen = generate_unicode_names()
 
37
    >>> n1 = gen.next()
 
38
    >>> n2 = gen.next()
 
39
    >>> type(n1)
 
40
    <type 'unicode'>
 
41
    >>> n1 == n2
 
42
    False
 
43
    >>> n1.encode('ascii', 'replace') == n1
 
44
    False
 
45
    """
 
46
    # include a mathematical symbol unlikely to be in 8-bit encodings
 
47
    return (u"\N{SINE WAVE}%d" % x for x in itertools.count())
 
48
 
 
49
 
 
50
interesting_encodings = [
 
51
    ('iso-8859-1', False),
 
52
    ('ascii', False),
 
53
    ('cp850', False),
 
54
    ('utf-8', True),
 
55
    ('ucs-2', True),
 
56
    ]
 
57
 
 
58
 
 
59
def generate_unicode_encodings(universal_encoding=None):
 
60
    """Return a generator of unicode encoding names.
 
61
 
 
62
    These can be passed to Python encode/decode/etc.
 
63
    
 
64
    :param universal_encoding: True/False/None tristate to say whether the
 
65
        generated encodings either can or cannot encode all unicode 
 
66
        strings.
 
67
 
 
68
    >>> n1 = generate_unicode_names().next()
 
69
    >>> enc = generate_unicode_encodings(universal_encoding=True).next()
 
70
    >>> enc2 = generate_unicode_encodings(universal_encoding=False).next()
 
71
    >>> n1.encode(enc).decode(enc) == n1
 
72
    True
 
73
    >>> try:
 
74
    ...   n1.encode(enc2).decode(enc2)
 
75
    ... except UnicodeError:
 
76
    ...   print 'fail'
 
77
    fail
 
78
    """
 
79
    # TODO: check they're supported on this platform?
 
80
    if universal_encoding is not None:
 
81
        e = [n for (n, u) in interesting_encodings if u == universal_encoding]
 
82
    else:
 
83
        e = [n for (n, u) in interesting_encodings]
 
84
    return itertools.cycle(iter(e))
 
85
 
 
86
 
 
87
class RecordingContextManager(object):
 
88
    """A context manager that records."""
 
89
 
 
90
    def __init__(self):
 
91
        self._calls = []
 
92
 
 
93
    def __enter__(self):
 
94
        self._calls.append('__enter__')
 
95
        return self # This is bound to the 'as' clause in a with statement.
 
96
 
 
97
    def __exit__(self, exc_type, exc_val, exc_tb):
 
98
        self._calls.append('__exit__')
 
99
        return False # propogate exceptions.