/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/store.py

  • Committer: Martin Pool
  • Date: 2005-08-25 07:46:11 UTC
  • Revision ID: mbp@sourcefrog.net-20050825074611-98130ea6d05d9d2a
- add functions to enable and disable default logging, so that we can
  turn it off while running the tests

- default logging gets turned on from the bzr main function so that
  other applications using the library can make their own decisions

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/store.py
 
1
# Copyright (C) 2005 by Canonical Development Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
"""
 
18
Stores are the main data-storage mechanism for Bazaar-NG.
 
19
 
 
20
A store is a simple write-once container indexed by a universally
 
21
unique ID.
 
22
"""
 
23
 
 
24
import os, tempfile, types, osutils, gzip, errno
 
25
from stat import ST_SIZE
 
26
from StringIO import StringIO
 
27
from bzrlib.trace import mutter
 
28
import bzrlib.ui
 
29
 
 
30
######################################################################
 
31
# stores
 
32
 
 
33
class StoreError(Exception):
 
34
    pass
 
35
 
 
36
 
 
37
class ImmutableStore(object):
 
38
    """Store that holds files indexed by unique names.
 
39
 
 
40
    Files can be added, but not modified once they are in.  Typically
 
41
    the hash is used as the name, or something else known to be unique,
 
42
    such as a UUID.
 
43
 
 
44
    >>> st = ImmutableScratchStore()
 
45
 
 
46
    >>> st.add(StringIO('hello'), 'aa')
 
47
    >>> 'aa' in st
 
48
    True
 
49
    >>> 'foo' in st
 
50
    False
 
51
 
 
52
    You are not allowed to add an id that is already present.
 
53
 
 
54
    Entries can be retrieved as files, which may then be read.
 
55
 
 
56
    >>> st.add(StringIO('goodbye'), '123123')
 
57
    >>> st['123123'].read()
 
58
    'goodbye'
 
59
 
 
60
    TODO: Atomic add by writing to a temporary file and renaming.
 
61
 
 
62
    In bzr 0.0.5 and earlier, files within the store were marked
 
63
    readonly on disk.  This is no longer done but existing stores need
 
64
    to be accomodated.
 
65
    """
 
66
 
 
67
    def __init__(self, basedir):
 
68
        self._basedir = basedir
 
69
 
 
70
    def _path(self, id):
 
71
        if '\\' in id or '/' in id:
 
72
            raise ValueError("invalid store id %r" % id)
 
73
        return os.path.join(self._basedir, id)
 
74
 
 
75
    def __repr__(self):
 
76
        return "%s(%r)" % (self.__class__.__name__, self._basedir)
 
77
 
 
78
    def add(self, f, fileid, compressed=True):
 
79
        """Add contents of a file into the store.
 
80
 
 
81
        f -- An open file, or file-like object."""
 
82
        # FIXME: Only works on files that will fit in memory
 
83
        
 
84
        from bzrlib.atomicfile import AtomicFile
 
85
        
 
86
        mutter("add store entry %r" % (fileid))
 
87
        if isinstance(f, types.StringTypes):
 
88
            content = f
 
89
        else:
 
90
            content = f.read()
 
91
            
 
92
        p = self._path(fileid)
 
93
        if os.access(p, os.F_OK) or os.access(p + '.gz', os.F_OK):
 
94
            from bzrlib.errors import bailout
 
95
            raise BzrError("store %r already contains id %r" % (self._basedir, fileid))
 
96
 
 
97
        fn = p
 
98
        if compressed:
 
99
            fn = fn + '.gz'
 
100
            
 
101
        af = AtomicFile(fn, 'wb')
 
102
        try:
 
103
            if compressed:
 
104
                gf = gzip.GzipFile(mode='wb', fileobj=af)
 
105
                gf.write(content)
 
106
                gf.close()
 
107
            else:
 
108
                af.write(content)
 
109
            af.commit()
 
110
        finally:
 
111
            af.close()
 
112
 
 
113
 
 
114
    def copy_multi(self, other, ids, permit_failure=False):
 
115
        """Copy texts for ids from other into self.
 
116
 
 
117
        If an id is present in self, it is skipped.  A count of copied
 
118
        ids is returned, which may be less than len(ids).
 
119
        """
 
120
        pb = bzrlib.ui.ui_factory.progress_bar()
 
121
        
 
122
        pb.update('preparing to copy')
 
123
        to_copy = [id for id in ids if id not in self]
 
124
        if isinstance(other, ImmutableStore):
 
125
            return self.copy_multi_immutable(other, to_copy, pb)
 
126
        count = 0
 
127
        for id in to_copy:
 
128
            count += 1
 
129
            pb.update('copy', count, len(to_copy))
 
130
            if not permit_failure:
 
131
                self.add(other[id], id)
 
132
            else:
 
133
                try:
 
134
                    entry = other[id]
 
135
                except IndexError:
 
136
                    failures.add(id)
 
137
                    continue
 
138
                self.add(entry, id)
 
139
                
 
140
        assert count == len(to_copy)
 
141
        pb.clear()
 
142
        return count
 
143
 
 
144
 
 
145
    def copy_multi_immutable(self, other, to_copy, pb, permit_failure=False):
 
146
        from shutil import copyfile
 
147
        count = 0
 
148
        failed = set()
 
149
        for id in to_copy:
 
150
            p = self._path(id)
 
151
            other_p = other._path(id)
 
152
            try:
 
153
                copyfile(other_p, p)
 
154
            except IOError, e:
 
155
                if e.errno == errno.ENOENT:
 
156
                    if not permit_failure:
 
157
                        copyfile(other_p+".gz", p+".gz")
 
158
                    else:
 
159
                        try:
 
160
                            copyfile(other_p+".gz", p+".gz")
 
161
                        except IOError, e:
 
162
                            if e.errno == errno.ENOENT:
 
163
                                failed.add(id)
 
164
                            else:
 
165
                                raise
 
166
                else:
 
167
                    raise
 
168
            
 
169
            count += 1
 
170
            pb.update('copy', count, len(to_copy))
 
171
        assert count == len(to_copy)
 
172
        pb.clear()
 
173
        return count, failed
 
174
    
 
175
 
 
176
    def __contains__(self, fileid):
 
177
        """"""
 
178
        p = self._path(fileid)
 
179
        return (os.access(p, os.R_OK)
 
180
                or os.access(p + '.gz', os.R_OK))
 
181
 
 
182
    # TODO: Guard against the same thing being stored twice, compressed and uncompresse
 
183
 
 
184
    def __iter__(self):
 
185
        for f in os.listdir(self._basedir):
 
186
            if f[-3:] == '.gz':
 
187
                # TODO: case-insensitive?
 
188
                yield f[:-3]
 
189
            else:
 
190
                yield f
 
191
 
 
192
    def __len__(self):
 
193
        return len(os.listdir(self._basedir))
 
194
 
 
195
 
 
196
    def __getitem__(self, fileid):
 
197
        """Returns a file reading from a particular entry."""
 
198
        p = self._path(fileid)
 
199
        try:
 
200
            return gzip.GzipFile(p + '.gz', 'rb')
 
201
        except IOError, e:
 
202
            if e.errno != errno.ENOENT:
 
203
                raise
 
204
 
 
205
        try:
 
206
            return file(p, 'rb')
 
207
        except IOError, e:
 
208
            if e.errno != errno.ENOENT:
 
209
                raise
 
210
 
 
211
        raise IndexError(fileid)
 
212
 
 
213
 
 
214
    def total_size(self):
 
215
        """Return (count, bytes)
 
216
 
 
217
        This is the (compressed) size stored on disk, not the size of
 
218
        the content."""
 
219
        total = 0
 
220
        count = 0
 
221
        for fid in self:
 
222
            count += 1
 
223
            p = self._path(fid)
 
224
            try:
 
225
                total += os.stat(p)[ST_SIZE]
 
226
            except OSError:
 
227
                total += os.stat(p + '.gz')[ST_SIZE]
 
228
                
 
229
        return count, total
 
230
 
 
231
 
 
232
 
 
233
 
 
234
class ImmutableScratchStore(ImmutableStore):
 
235
    """Self-destructing test subclass of ImmutableStore.
 
236
 
 
237
    The Store only exists for the lifetime of the Python object.
 
238
 Obviously you should not put anything precious in it.
 
239
    """
 
240
    def __init__(self):
 
241
        ImmutableStore.__init__(self, tempfile.mkdtemp())
 
242
 
 
243
    def __del__(self):
 
244
        for f in os.listdir(self._basedir):
 
245
            fpath = os.path.join(self._basedir, f)
 
246
            # needed on windows, and maybe some other filesystems
 
247
            os.chmod(fpath, 0600)
 
248
            os.remove(fpath)
 
249
        os.rmdir(self._basedir)
 
250
        mutter("%r destroyed" % self)