/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/cache_utf8.py

  • Committer: v.ladeuil+lp at free
  • Date: 2006-12-01 15:06:29 UTC
  • mto: (2172.3.1 bzr.73948)
  • mto: This revision was merged to the branch mainline in revision 2181.
  • Revision ID: v.ladeuil+lp@free.fr-20061201150629-zjd2an87u0r7nhhw
The tests that would have help avoid bug #73948 and all that mess :)

* bzrlib/transport/http/response.py:
(handle_response): Translate a 416 http error code into a bzr
exception.

* bzrlib/transport/http/_urllib2_wrappers.py:
(HTTPDefaultErrorHandler.http_error_default): Translate a 416 http
error code into a bzr exception.

* bzrlib/transport/http/_pycurl.py:
(PyCurlTransport._curl_perform): It could happen that pycrul
itself detect a short read.

* bzrlib/transport/http/__init__.py:
(HttpTransportBase._retry_get): New method, factorizing the retry
logic.
(HttpTransportBase.readv): We can have exception during the
initial GET worth degrading the range requirements (i.e. retrying
the GET request with either single or not ranges).

* bzrlib/tests/test_transport_implementations.py:
(TransportTests.test_readv_short_read): InvalidRange can also be
raised.

* bzrlib/tests/test_http.py:
(TestRangeRequestServer.test_readv_invalid_ranges): Was named
test_readv_short_read, the new name make the intent
clearer. Depending of the code path used (urllib or pycurl), both
exceptions can be raised.

* bzrlib/tests/HttpServer.py:
(TestingHTTPRequestHandler.do_GET): If invalid ranges are
specified, returns a 416 instead of the whole file (both are valid
according to the RFC).

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/cache_utf8.py
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
 
# TODO: Some kind of command-line display of revision properties:
 
17
# TODO: Some kind of command-line display of revision properties: 
18
18
# perhaps show them in log -v and allow them as options to the commit command.
19
19
 
20
20
"""Some functions to enable caching the conversion between unicode to utf8"""
22
22
import codecs
23
23
 
24
24
 
25
 
_utf8_encode = codecs.utf_8_encode
26
 
_utf8_decode = codecs.utf_8_decode
27
 
def _utf8_decode_with_None(bytestring, _utf8_decode=_utf8_decode):
28
 
    """wrap _utf8_decode to support None->None for optional strings.
29
 
 
30
 
    Also, only return the Unicode portion, since we don't care about the second
31
 
    return value.
32
 
    """
33
 
    if bytestring is None:
34
 
        return None
35
 
    else:
36
 
        return _utf8_decode(bytestring)[0]
 
25
_utf8_encode = codecs.getencoder("utf-8")
 
26
_utf8_decode = codecs.getdecoder("utf-8")
37
27
 
38
28
# Map revisions from and to utf8 encoding
39
29
# Whenever we do an encode/decode operation, we save the result, so that
49
39
    """Take this unicode revision id, and get a unicode version"""
50
40
    # If the key is in the cache try/KeyError is 50% faster than
51
41
    # val = dict.get(key), if val is None:
52
 
    # On jam's machine the difference is
53
 
    # try/KeyError:  900ms
54
 
    #      if None: 1250ms
 
42
    # On jam's machine the difference is 
 
43
    # try/KeyError:  900ms 
 
44
    #      if None: 1250ms 
55
45
    # Since these are primarily used when iterating over a knit entry
56
46
    # *most* of the time the key will already be in the cache, so use the
57
47
    # fast path
71
61
    try:
72
62
        return _utf8_to_uni[utf8_str]
73
63
    except KeyError:
74
 
        unicode_str = _utf8_decode(utf8_str)[0]
75
 
        _utf8_to_uni[utf8_str] = unicode_str
 
64
        _utf8_to_uni[utf8_str] = unicode_str = _utf8_decode(utf8_str)[0]
76
65
        _uni_to_utf8[unicode_str] = utf8_str
77
66
        return unicode_str
78
67
 
89
78
    return decode(encode(unicode_str))
90
79
 
91
80
 
92
 
def get_cached_utf8(utf8_str):
93
 
    """Return a cached version of the utf-8 string.
94
 
 
95
 
    Get a cached version of this string (similar to intern()).
96
 
    At present, this will be decoded to ensure it is a utf-8 string. In the
97
 
    future this might change to simply caching the string.
98
 
    """
99
 
    return encode(decode(utf8_str))
100
 
 
101
 
 
102
 
def get_cached_ascii(ascii_str,
103
 
                     _uni_to_utf8=_unicode_to_utf8_map,
104
 
                     _utf8_to_uni=_utf8_to_unicode_map):
105
 
    """This is a string which is identical in utf-8 and unicode."""
106
 
    # We don't need to do any encoding, but we want _utf8_to_uni to return a
107
 
    # real Unicode string. Unicode and plain strings of this type will have the
108
 
    # same hash, so we can just use it as the key in _uni_to_utf8, but we need
109
 
    # the return value to be different in _utf8_to_uni
110
 
    ascii_str = _uni_to_utf8.setdefault(ascii_str, ascii_str)
111
 
    _utf8_to_uni.setdefault(ascii_str, unicode(ascii_str))
112
 
    return ascii_str
113
 
 
114
 
 
115
81
def clear_encoding_cache():
116
82
    """Clear the encoding and decoding caches"""
117
83
    _unicode_to_utf8_map.clear()