/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/hashcache.py

  • Committer: Ian Clatworthy
  • Date: 2008-04-17 08:21:14 UTC
  • mto: (4171.1.1 ianc-integration)
  • mto: This revision was merged to the branch mainline in revision 4173.
  • Revision ID: ian.clatworthy@canonical.com-20080417082114-76imbiarcbj16ov3
first cut at working tree content filtering

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/hashcache.py
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
 
# TODO: Up-front, stat all files in order and remove those which are deleted or
18
 
# out-of-date.  Don't actually re-read them until they're needed.  That ought
19
 
# to bring all the inodes into core so that future stats to them are fast, and
 
17
# TODO: Up-front, stat all files in order and remove those which are deleted or 
 
18
# out-of-date.  Don't actually re-read them until they're needed.  That ought 
 
19
# to bring all the inodes into core so that future stats to them are fast, and 
20
20
# it preserves the nice property that any caller will always get up-to-date
21
21
# data except in unavoidable cases.
22
22
 
29
29
 
30
30
CACHE_HEADER = "### bzr hashcache v5\n"
31
31
 
32
 
import os
33
 
import stat
34
 
import time
 
32
import os, stat, time
 
33
import sha
35
34
 
36
 
from bzrlib import (
37
 
    atomicfile,
38
 
    errors,
39
 
    filters as _mod_filters,
40
 
    osutils,
41
 
    trace,
42
 
    )
 
35
from bzrlib.filters import sha_file_by_name
 
36
from bzrlib.osutils import pathjoin, safe_unicode
 
37
from bzrlib.trace import mutter, warning
 
38
from bzrlib.atomicfile import AtomicFile
 
39
from bzrlib.errors import BzrError
43
40
 
44
41
 
45
42
FP_MTIME_COLUMN = 1
78
75
    hit_count
79
76
        number of times files have been retrieved from the cache, avoiding a
80
77
        re-read
81
 
 
 
78
        
82
79
    miss_count
83
80
        number of misses (times files have been completely re-read)
84
81
    """
85
82
    needs_write = False
86
83
 
87
 
    def __init__(self, root, cache_file_name, mode=None,
88
 
            content_filter_stack_provider=None):
89
 
        """Create a hash cache in base dir, and set the file mode to mode.
90
 
 
91
 
        :param content_filter_stack_provider: a function that takes a
92
 
            path (relative to the top of the tree) and a file-id as
93
 
            parameters and returns a stack of ContentFilters.
94
 
            If None, no content filtering is performed.
95
 
        """
96
 
        self.root = osutils.safe_unicode(root)
 
84
    def __init__(self, root, cache_file_name, mode=None):
 
85
        """Create a hash cache in base dir, and set the file mode to mode."""
 
86
        self.root = safe_unicode(root)
97
87
        self.root_utf8 = self.root.encode('utf8') # where is the filesystem encoding ?
98
88
        self.hit_count = 0
99
89
        self.miss_count = 0
103
93
        self.update_count = 0
104
94
        self._cache = {}
105
95
        self._mode = mode
106
 
        self._cache_file_name = osutils.safe_unicode(cache_file_name)
107
 
        self._filter_provider = content_filter_stack_provider
 
96
        self._cache_file_name = safe_unicode(cache_file_name)
108
97
 
109
98
    def cache_file_name(self):
110
99
        return self._cache_file_name
119
108
 
120
109
    def scan(self):
121
110
        """Scan all files and remove entries where the cache entry is obsolete.
122
 
 
 
111
        
123
112
        Obsolete entries are those where the file has been modified or deleted
124
 
        since the entry was inserted.
 
113
        since the entry was inserted.        
125
114
        """
126
115
        # FIXME optimisation opportunity, on linux [and check other oses]:
127
116
        # rather than iteritems order, stat in inode order.
128
117
        prep = [(ce[1][3], path, ce) for (path, ce) in self._cache.iteritems()]
129
118
        prep.sort()
130
 
 
 
119
        
131
120
        for inum, path, cache_entry in prep:
132
 
            abspath = osutils.pathjoin(self.root, path)
 
121
            abspath = pathjoin(self.root, path)
133
122
            fp = self._fingerprint(abspath)
134
123
            self.stat_count += 1
135
 
 
 
124
            
136
125
            cache_fp = cache_entry[1]
137
 
 
 
126
    
138
127
            if (not fp) or (cache_fp != fp):
139
128
                # not here or not a regular file anymore
140
129
                self.removed_count += 1
145
134
        """Return the sha1 of a file.
146
135
        """
147
136
        if path.__class__ is str:
148
 
            abspath = osutils.pathjoin(self.root_utf8, path)
 
137
            abspath = pathjoin(self.root_utf8, path)
149
138
        else:
150
 
            abspath = osutils.pathjoin(self.root, path)
 
139
            abspath = pathjoin(self.root, path)
151
140
        self.stat_count += 1
152
141
        file_fp = self._fingerprint(abspath, stat_value)
153
 
 
 
142
        
154
143
        if not file_fp:
155
144
            # not a regular file or not existing
156
145
            if path in self._cache:
157
146
                self.removed_count += 1
158
147
                self.needs_write = True
159
148
                del self._cache[path]
160
 
            return None
 
149
            return None        
161
150
 
162
151
        if path in self._cache:
163
152
            cache_sha1, cache_fp = self._cache[path]
169
158
            ## mutter("now = %s", time.time())
170
159
            self.hit_count += 1
171
160
            return cache_sha1
172
 
 
 
161
        
173
162
        self.miss_count += 1
174
163
 
175
164
        mode = file_fp[FP_MODE_COLUMN]
176
165
        if stat.S_ISREG(mode):
177
 
            if self._filter_provider is None:
178
 
                filters = []
179
 
            else:
180
 
                filters = self._filter_provider(path=path, file_id=None)
181
 
            digest = self._really_sha1_file(abspath, filters)
 
166
            digest = self._really_sha1_file(abspath)
182
167
        elif stat.S_ISLNK(mode):
183
 
            target = osutils.readlink(osutils.safe_unicode(abspath))
184
 
            digest = osutils.sha_string(target.encode('UTF-8'))
 
168
            digest = sha.new(os.readlink(abspath)).hexdigest()
185
169
        else:
186
 
            raise errors.BzrError("file %r: unknown file stat mode: %o"
187
 
                                  % (abspath, mode))
 
170
            raise BzrError("file %r: unknown file stat mode: %o"%(abspath,mode))
188
171
 
189
172
        # window of 3 seconds to allow for 2s resolution on windows,
190
173
        # unsynchronized file servers, etc.
217
200
            self._cache[path] = (digest, file_fp)
218
201
        return digest
219
202
 
220
 
    def _really_sha1_file(self, abspath, filters):
 
203
    def _really_sha1_file(self, abspath):
221
204
        """Calculate the SHA1 of a file by reading the full text"""
222
 
        return _mod_filters.internal_size_sha_file_byname(abspath, filters)[1]
223
 
 
 
205
        return sha_file_by_name(abspath)
 
206
        
224
207
    def write(self):
225
208
        """Write contents of cache to file."""
226
 
        outf = atomicfile.AtomicFile(self.cache_file_name(), 'wb',
227
 
                                     new_mode=self._mode)
 
209
        outf = AtomicFile(self.cache_file_name(), 'wb', new_mode=self._mode)
228
210
        try:
229
211
            outf.write(CACHE_HEADER)
230
212
 
231
213
            for path, c  in self._cache.iteritems():
 
214
                assert '//' not in path, path
232
215
                line_info = [path.encode('utf-8'), '// ', c[0], ' ']
233
216
                line_info.append(' '.join([str(fld) for fld in c[1]]))
234
217
                line_info.append('\n')
247
230
 
248
231
        Overwrites existing cache.
249
232
 
250
 
        If the cache file has the wrong version marker, this just clears
 
233
        If the cache file has the wrong version marker, this just clears 
251
234
        the cache."""
252
235
        self._cache = {}
253
236
 
255
238
        try:
256
239
            inf = file(fn, 'rb', buffering=65000)
257
240
        except IOError, e:
258
 
            trace.mutter("failed to open %s: %s", fn, e)
 
241
            mutter("failed to open %s: %s", fn, e)
259
242
            # better write it now so it is valid
260
243
            self.needs_write = True
261
244
            return
262
245
 
263
246
        hdr = inf.readline()
264
247
        if hdr != CACHE_HEADER:
265
 
            trace.mutter('cache header marker not found at top of %s;'
266
 
                         ' discarding cache', fn)
 
248
            mutter('cache header marker not found at top of %s;'
 
249
                   ' discarding cache', fn)
267
250
            self.needs_write = True
268
251
            return
269
252
 
271
254
            pos = l.index('// ')
272
255
            path = l[:pos].decode('utf-8')
273
256
            if path in self._cache:
274
 
                trace.warning('duplicated path %r in cache' % path)
 
257
                warning('duplicated path %r in cache' % path)
275
258
                continue
276
259
 
277
260
            pos += 3
278
261
            fields = l[pos:].split(' ')
279
262
            if len(fields) != 7:
280
 
                trace.warning("bad line in hashcache: %r" % l)
 
263
                warning("bad line in hashcache: %r" % l)
281
264
                continue
282
265
 
283
266
            sha1 = fields[0]
284
267
            if len(sha1) != 40:
285
 
                trace.warning("bad sha1 in hashcache: %r" % sha1)
 
268
                warning("bad sha1 in hashcache: %r" % sha1)
286
269
                continue
287
270
 
288
271
            fp = tuple(map(long, fields[1:]))
298
281
        undetectably modified and so can't be cached.
299
282
        """
300
283
        return int(time.time()) - 3
301
 
 
 
284
           
302
285
    def _fingerprint(self, abspath, stat_value=None):
303
286
        if stat_value is None:
304
287
            try:
311
294
        # we discard any high precision because it's not reliable; perhaps we
312
295
        # could do better on some systems?
313
296
        return (stat_value.st_size, long(stat_value.st_mtime),
314
 
                long(stat_value.st_ctime), stat_value.st_ino,
 
297
                long(stat_value.st_ctime), stat_value.st_ino, 
315
298
                stat_value.st_dev, stat_value.st_mode)