/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/cache_utf8.py

  • Committer: Robert Collins
  • Date: 2007-09-19 05:14:14 UTC
  • mto: (2835.1.1 ianc-integration)
  • mto: This revision was merged to the branch mainline in revision 2836.
  • Revision ID: robertc@robertcollins.net-20070919051414-2tgjqteg7k3ps4h0
* ``pull``, ``merge`` and ``push`` will no longer silently correct some
  repository index errors that occured as a result of the Weave disk format.
  Instead the ``reconcile`` command needs to be run to correct those
  problems if they exist (and it has been able to fix most such problems
  since bzr 0.8). Some new problems have been identified during this release
  and you should run ``bzr check`` once on every repository to see if you
  need to reconcile. If you cannot ``pull`` or ``merge`` from a remote
  repository due to mismatched parent errors - a symptom of index errors -
  you should simply take a full copy of that remote repository to a clean
  directory outside any local repositories, then run reconcile on it, and
  finally pull from it locally. (And naturally email the repositories owner
  to ask them to upgrade and run reconcile).
  (Robert Collins)

* ``VersionedFile.fix_parents`` has been removed as a harmful API.
  ``VersionedFile.join`` will no longer accept different parents on either
  side of a join - it will either ignore them, or error, depending on the
  implementation. See notes when upgrading for more information.
  (Robert Collins)

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/cache_utf8.py
 
1
# Copyright (C) 2006 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
# TODO: Some kind of command-line display of revision properties: 
 
18
# perhaps show them in log -v and allow them as options to the commit command.
 
19
 
 
20
"""Some functions to enable caching the conversion between unicode to utf8"""
 
21
 
 
22
import codecs
 
23
 
 
24
 
 
25
_utf8_encode = codecs.getencoder("utf-8")
 
26
_utf8_decode = codecs.getdecoder("utf-8")
 
27
def _utf8_decode_with_None(bytestring, _utf8_decode=_utf8_decode):
 
28
    """wrap _utf8_decode to support None->None for optional strings.
 
29
 
 
30
    Also, only return the Unicode portion, since we don't care about the second
 
31
    return value.
 
32
    """
 
33
    if bytestring is None:
 
34
        return None
 
35
    else:
 
36
        return _utf8_decode(bytestring)[0]
 
37
 
 
38
# Map revisions from and to utf8 encoding
 
39
# Whenever we do an encode/decode operation, we save the result, so that
 
40
# we don't have to do it again.
 
41
_unicode_to_utf8_map = {}
 
42
_utf8_to_unicode_map = {}
 
43
 
 
44
 
 
45
def encode(unicode_str,
 
46
           _uni_to_utf8=_unicode_to_utf8_map,
 
47
           _utf8_to_uni=_utf8_to_unicode_map,
 
48
           _utf8_encode=_utf8_encode):
 
49
    """Take this unicode revision id, and get a unicode version"""
 
50
    # If the key is in the cache try/KeyError is 50% faster than
 
51
    # val = dict.get(key), if val is None:
 
52
    # On jam's machine the difference is 
 
53
    # try/KeyError:  900ms 
 
54
    #      if None: 1250ms 
 
55
    # Since these are primarily used when iterating over a knit entry
 
56
    # *most* of the time the key will already be in the cache, so use the
 
57
    # fast path
 
58
    try:
 
59
        return _uni_to_utf8[unicode_str]
 
60
    except KeyError:
 
61
        _uni_to_utf8[unicode_str] = utf8_str = _utf8_encode(unicode_str)[0]
 
62
        _utf8_to_uni[utf8_str] = unicode_str
 
63
        return utf8_str
 
64
 
 
65
 
 
66
def decode(utf8_str,
 
67
           _uni_to_utf8=_unicode_to_utf8_map,
 
68
           _utf8_to_uni=_utf8_to_unicode_map,
 
69
           _utf8_decode=_utf8_decode):
 
70
    """Take a utf8 revision id, and decode it, but cache the result"""
 
71
    try:
 
72
        return _utf8_to_uni[utf8_str]
 
73
    except KeyError:
 
74
        unicode_str = _utf8_decode(utf8_str)[0]
 
75
        _utf8_to_uni[utf8_str] = unicode_str
 
76
        _uni_to_utf8[unicode_str] = utf8_str
 
77
        return unicode_str
 
78
 
 
79
 
 
80
def get_cached_unicode(unicode_str):
 
81
    """Return a cached version of the unicode string.
 
82
 
 
83
    This has a similar idea to that of intern() in that it tries
 
84
    to return a singleton string. Only it works for unicode strings.
 
85
    """
 
86
    # This might return the same object, or it might return the cached one
 
87
    # the decode() should just be a hash lookup, because the encode() side
 
88
    # should add the entry to the maps
 
89
    return decode(encode(unicode_str))
 
90
 
 
91
 
 
92
def get_cached_utf8(utf8_str):
 
93
    """Return a cached version of the utf-8 string.
 
94
 
 
95
    Get a cached version of this string (similar to intern()).
 
96
    At present, this will be decoded to ensure it is a utf-8 string. In the
 
97
    future this might change to simply caching the string.
 
98
    """
 
99
    return encode(decode(utf8_str))
 
100
 
 
101
 
 
102
def get_cached_ascii(ascii_str,
 
103
                     _uni_to_utf8=_unicode_to_utf8_map,
 
104
                     _utf8_to_uni=_utf8_to_unicode_map):
 
105
    """This is a string which is identical in utf-8 and unicode."""
 
106
    # We don't need to do any encoding, but we want _utf8_to_uni to return a
 
107
    # real Unicode string. Unicode and plain strings of this type will have the
 
108
    # same hash, so we can just use it as the key in _uni_to_utf8, but we need
 
109
    # the return value to be different in _utf8_to_uni
 
110
    ascii_str = _uni_to_utf8.setdefault(ascii_str, ascii_str)
 
111
    _utf8_to_uni.setdefault(ascii_str, unicode(ascii_str))
 
112
    return ascii_str
 
113
 
 
114
 
 
115
def clear_encoding_cache():
 
116
    """Clear the encoding and decoding caches"""
 
117
    _unicode_to_utf8_map.clear()
 
118
    _utf8_to_unicode_map.clear()