/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/cache_utf8.py

  • Committer: Gustav Hartvigsson
  • Date: 2021-01-09 21:36:27 UTC
  • Revision ID: gustav.hartvigsson@gmail.com-20210109213627-h1xwcutzy9m7a99b
Added 'Case Preserving Working Tree Use Cases' from Canonical Wiki

* Addod a page from the Canonical Bazaar wiki
  with information on the scmeatics of case
  perserving filesystems an a case insensitive
  filesystem works.
  
  * Needs re-work, but this will do as it is the
    same inforamoton as what was on the linked
    page in the currint documentation.

Show diffs side-by-side

added added

removed removed

Lines of Context:
breezy/cache_utf8.py
 
1
# Copyright (C) 2006 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
# TODO: Some kind of command-line display of revision properties:
 
18
# perhaps show them in log -v and allow them as options to the commit command.
 
19
 
 
20
"""Some functions to enable caching the conversion between unicode to utf8"""
 
21
 
 
22
import codecs
 
23
 
 
24
_utf8_encode = codecs.utf_8_encode
 
25
_utf8_decode = codecs.utf_8_decode
 
26
 
 
27
 
 
28
def _utf8_decode_with_None(bytestring, _utf8_decode=_utf8_decode):
 
29
    """wrap _utf8_decode to support None->None for optional strings.
 
30
 
 
31
    Also, only return the Unicode portion, since we don't care about the second
 
32
    return value.
 
33
    """
 
34
    if bytestring is None:
 
35
        return None
 
36
    else:
 
37
        return _utf8_decode(bytestring)[0]
 
38
 
 
39
 
 
40
# Map revisions from and to utf8 encoding
 
41
# Whenever we do an encode/decode operation, we save the result, so that
 
42
# we don't have to do it again.
 
43
_unicode_to_utf8_map = {}
 
44
_utf8_to_unicode_map = {}
 
45
 
 
46
 
 
47
def encode(unicode_str,
 
48
           _uni_to_utf8=_unicode_to_utf8_map,
 
49
           _utf8_to_uni=_utf8_to_unicode_map,
 
50
           _utf8_encode=_utf8_encode):
 
51
    """Take this unicode revision id, and get a unicode version"""
 
52
    # If the key is in the cache try/KeyError is 50% faster than
 
53
    # val = dict.get(key), if val is None:
 
54
    # On jam's machine the difference is
 
55
    # try/KeyError:  900ms
 
56
    #      if None: 1250ms
 
57
    # Since these are primarily used when iterating over a knit entry
 
58
    # *most* of the time the key will already be in the cache, so use the
 
59
    # fast path
 
60
    try:
 
61
        return _uni_to_utf8[unicode_str]
 
62
    except KeyError:
 
63
        _uni_to_utf8[unicode_str] = utf8_str = _utf8_encode(unicode_str)[0]
 
64
        _utf8_to_uni[utf8_str] = unicode_str
 
65
        return utf8_str
 
66
 
 
67
 
 
68
def decode(utf8_str,
 
69
           _uni_to_utf8=_unicode_to_utf8_map,
 
70
           _utf8_to_uni=_utf8_to_unicode_map,
 
71
           _utf8_decode=_utf8_decode):
 
72
    """Take a utf8 revision id, and decode it, but cache the result"""
 
73
    try:
 
74
        return _utf8_to_uni[utf8_str]
 
75
    except KeyError:
 
76
        unicode_str = _utf8_decode(utf8_str)[0]
 
77
        _utf8_to_uni[utf8_str] = unicode_str
 
78
        _uni_to_utf8[unicode_str] = utf8_str
 
79
        return unicode_str
 
80
 
 
81
 
 
82
def get_cached_unicode(unicode_str):
 
83
    """Return a cached version of the unicode string.
 
84
 
 
85
    This has a similar idea to that of intern() in that it tries
 
86
    to return a singleton string. Only it works for unicode strings.
 
87
    """
 
88
    # This might return the same object, or it might return the cached one
 
89
    # the decode() should just be a hash lookup, because the encode() side
 
90
    # should add the entry to the maps
 
91
    return decode(encode(unicode_str))
 
92
 
 
93
 
 
94
def get_cached_utf8(utf8_str):
 
95
    """Return a cached version of the utf-8 string.
 
96
 
 
97
    Get a cached version of this string (similar to intern()).
 
98
    At present, this will be decoded to ensure it is a utf-8 string. In the
 
99
    future this might change to simply caching the string.
 
100
    """
 
101
    return encode(decode(utf8_str))
 
102
 
 
103
 
 
104
def get_cached_ascii(ascii_str,
 
105
                     _uni_to_utf8=_unicode_to_utf8_map,
 
106
                     _utf8_to_uni=_utf8_to_unicode_map):
 
107
    """This is a string which is identical in utf-8 and unicode."""
 
108
    # We don't need to do any encoding, but we want _utf8_to_uni to return a
 
109
    # real Unicode string. Unicode and plain strings of this type will have the
 
110
    # same hash, so we can just use it as the key in _uni_to_utf8, but we need
 
111
    # the return value to be different in _utf8_to_uni
 
112
    uni_str = ascii_str.decode('ascii')
 
113
    ascii_str = _uni_to_utf8.setdefault(uni_str, ascii_str)
 
114
    _utf8_to_uni.setdefault(ascii_str, uni_str)
 
115
    return ascii_str
 
116
 
 
117
 
 
118
def clear_encoding_cache():
 
119
    """Clear the encoding and decoding caches"""
 
120
    _unicode_to_utf8_map.clear()
 
121
    _utf8_to_unicode_map.clear()