/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/cache_utf8.py

  • Committer: v.ladeuil+lp at free
  • Date: 2006-12-01 15:06:29 UTC
  • mto: (2172.3.1 bzr.73948)
  • mto: This revision was merged to the branch mainline in revision 2181.
  • Revision ID: v.ladeuil+lp@free.fr-20061201150629-zjd2an87u0r7nhhw
The tests that would have help avoid bug #73948 and all that mess :)

* bzrlib/transport/http/response.py:
(handle_response): Translate a 416 http error code into a bzr
exception.

* bzrlib/transport/http/_urllib2_wrappers.py:
(HTTPDefaultErrorHandler.http_error_default): Translate a 416 http
error code into a bzr exception.

* bzrlib/transport/http/_pycurl.py:
(PyCurlTransport._curl_perform): It could happen that pycrul
itself detect a short read.

* bzrlib/transport/http/__init__.py:
(HttpTransportBase._retry_get): New method, factorizing the retry
logic.
(HttpTransportBase.readv): We can have exception during the
initial GET worth degrading the range requirements (i.e. retrying
the GET request with either single or not ranges).

* bzrlib/tests/test_transport_implementations.py:
(TransportTests.test_readv_short_read): InvalidRange can also be
raised.

* bzrlib/tests/test_http.py:
(TestRangeRequestServer.test_readv_invalid_ranges): Was named
test_readv_short_read, the new name make the intent
clearer. Depending of the code path used (urllib or pycurl), both
exceptions can be raised.

* bzrlib/tests/HttpServer.py:
(TestingHTTPRequestHandler.do_GET): If invalid ranges are
specified, returns a 416 instead of the whole file (both are valid
according to the RFC).

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/cache_utf8.py
 
1
# Copyright (C) 2006 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
# TODO: Some kind of command-line display of revision properties: 
 
18
# perhaps show them in log -v and allow them as options to the commit command.
 
19
 
 
20
"""Some functions to enable caching the conversion between unicode to utf8"""
 
21
 
 
22
import codecs
 
23
 
 
24
 
 
25
_utf8_encode = codecs.getencoder("utf-8")
 
26
_utf8_decode = codecs.getdecoder("utf-8")
 
27
 
 
28
# Map revisions from and to utf8 encoding
 
29
# Whenever we do an encode/decode operation, we save the result, so that
 
30
# we don't have to do it again.
 
31
_unicode_to_utf8_map = {}
 
32
_utf8_to_unicode_map = {}
 
33
 
 
34
 
 
35
def encode(unicode_str,
 
36
           _uni_to_utf8=_unicode_to_utf8_map,
 
37
           _utf8_to_uni=_utf8_to_unicode_map,
 
38
           _utf8_encode=_utf8_encode):
 
39
    """Take this unicode revision id, and get a unicode version"""
 
40
    # If the key is in the cache try/KeyError is 50% faster than
 
41
    # val = dict.get(key), if val is None:
 
42
    # On jam's machine the difference is 
 
43
    # try/KeyError:  900ms 
 
44
    #      if None: 1250ms 
 
45
    # Since these are primarily used when iterating over a knit entry
 
46
    # *most* of the time the key will already be in the cache, so use the
 
47
    # fast path
 
48
    try:
 
49
        return _uni_to_utf8[unicode_str]
 
50
    except KeyError:
 
51
        _uni_to_utf8[unicode_str] = utf8_str = _utf8_encode(unicode_str)[0]
 
52
        _utf8_to_uni[utf8_str] = unicode_str
 
53
        return utf8_str
 
54
 
 
55
 
 
56
def decode(utf8_str,
 
57
           _uni_to_utf8=_unicode_to_utf8_map,
 
58
           _utf8_to_uni=_utf8_to_unicode_map,
 
59
           _utf8_decode=_utf8_decode):
 
60
    """Take a utf8 revision id, and decode it, but cache the result"""
 
61
    try:
 
62
        return _utf8_to_uni[utf8_str]
 
63
    except KeyError:
 
64
        _utf8_to_uni[utf8_str] = unicode_str = _utf8_decode(utf8_str)[0]
 
65
        _uni_to_utf8[unicode_str] = utf8_str
 
66
        return unicode_str
 
67
 
 
68
 
 
69
def get_cached_unicode(unicode_str):
 
70
    """Return a cached version of the unicode string.
 
71
 
 
72
    This has a similar idea to that of intern() in that it tries
 
73
    to return a singleton string. Only it works for unicode strings.
 
74
    """
 
75
    # This might return the same object, or it might return the cached one
 
76
    # the decode() should just be a hash lookup, because the encode() side
 
77
    # should add the entry to the maps
 
78
    return decode(encode(unicode_str))
 
79
 
 
80
 
 
81
def clear_encoding_cache():
 
82
    """Clear the encoding and decoding caches"""
 
83
    _unicode_to_utf8_map.clear()
 
84
    _utf8_to_unicode_map.clear()