/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/store.py

  • Committer: Martin Pool
  • Date: 2005-08-25 00:55:22 UTC
  • Revision ID: mbp@sourcefrog.net-20050825005522-1288ce330e3fba0b
- more cleanups of error reporting

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/store.py
 
1
# Copyright (C) 2005 by Canonical Development Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
"""
 
18
Stores are the main data-storage mechanism for Bazaar-NG.
 
19
 
 
20
A store is a simple write-once container indexed by a universally
 
21
unique ID.
 
22
"""
 
23
 
 
24
import os, tempfile, types, osutils, gzip, errno
 
25
from stat import ST_SIZE
 
26
from StringIO import StringIO
 
27
from bzrlib.trace import mutter
 
28
import bzrlib.ui
 
29
 
 
30
######################################################################
 
31
# stores
 
32
 
 
33
class StoreError(Exception):
 
34
    pass
 
35
 
 
36
 
 
37
class ImmutableStore(object):
 
38
    """Store that holds files indexed by unique names.
 
39
 
 
40
    Files can be added, but not modified once they are in.  Typically
 
41
    the hash is used as the name, or something else known to be unique,
 
42
    such as a UUID.
 
43
 
 
44
    >>> st = ImmutableScratchStore()
 
45
 
 
46
    >>> st.add(StringIO('hello'), 'aa')
 
47
    >>> 'aa' in st
 
48
    True
 
49
    >>> 'foo' in st
 
50
    False
 
51
 
 
52
    You are not allowed to add an id that is already present.
 
53
 
 
54
    Entries can be retrieved as files, which may then be read.
 
55
 
 
56
    >>> st.add(StringIO('goodbye'), '123123')
 
57
    >>> st['123123'].read()
 
58
    'goodbye'
 
59
 
 
60
    TODO: Atomic add by writing to a temporary file and renaming.
 
61
 
 
62
    In bzr 0.0.5 and earlier, files within the store were marked
 
63
    readonly on disk.  This is no longer done but existing stores need
 
64
    to be accomodated.
 
65
    """
 
66
 
 
67
    def __init__(self, basedir):
 
68
        self._basedir = basedir
 
69
 
 
70
    def _path(self, id):
 
71
        if '\\' in id or '/' in id:
 
72
            raise ValueError("invalid store id %r" % id)
 
73
        return os.path.join(self._basedir, id)
 
74
 
 
75
    def __repr__(self):
 
76
        return "%s(%r)" % (self.__class__.__name__, self._basedir)
 
77
 
 
78
    def add(self, f, fileid, compressed=True):
 
79
        """Add contents of a file into the store.
 
80
 
 
81
        f -- An open file, or file-like object."""
 
82
        # FIXME: Only works on files that will fit in memory
 
83
        
 
84
        from bzrlib.atomicfile import AtomicFile
 
85
        
 
86
        mutter("add store entry %r" % (fileid))
 
87
        if isinstance(f, types.StringTypes):
 
88
            content = f
 
89
        else:
 
90
            content = f.read()
 
91
            
 
92
        p = self._path(fileid)
 
93
        if os.access(p, os.F_OK) or os.access(p + '.gz', os.F_OK):
 
94
            from bzrlib.errors import bailout
 
95
            raise BzrError("store %r already contains id %r" % (self._basedir, fileid))
 
96
 
 
97
        fn = p
 
98
        if compressed:
 
99
            fn = fn + '.gz'
 
100
            
 
101
        af = AtomicFile(fn, 'wb')
 
102
        try:
 
103
            if compressed:
 
104
                gf = gzip.GzipFile(mode='wb', fileobj=af)
 
105
                gf.write(content)
 
106
                gf.close()
 
107
            else:
 
108
                af.write(content)
 
109
            af.commit()
 
110
        finally:
 
111
            af.close()
 
112
 
 
113
 
 
114
    def copy_multi(self, other, ids):
 
115
        """Copy texts for ids from other into self.
 
116
 
 
117
        If an id is present in self, it is skipped.  A count of copied
 
118
        ids is returned, which may be less than len(ids).
 
119
        """
 
120
        pb = bzrlib.ui.ui_factory.progress_bar()
 
121
        
 
122
        pb.update('preparing to copy')
 
123
        to_copy = [id for id in ids if id not in self]
 
124
        if isinstance(other, ImmutableStore):
 
125
            return self.copy_multi_immutable(other, to_copy, pb)
 
126
        count = 0
 
127
        for id in to_copy:
 
128
            count += 1
 
129
            pb.update('copy', count, len(to_copy))
 
130
            self.add(other[id], id)
 
131
        assert count == len(to_copy)
 
132
        pb.clear()
 
133
        return count
 
134
 
 
135
 
 
136
    def copy_multi_immutable(self, other, to_copy, pb):
 
137
        from shutil import copyfile
 
138
        count = 0
 
139
        for id in to_copy:
 
140
            p = self._path(id)
 
141
            other_p = other._path(id)
 
142
            try:
 
143
                copyfile(other_p, p)
 
144
            except IOError, e:
 
145
                if e.errno == errno.ENOENT:
 
146
                    copyfile(other_p+".gz", p+".gz")
 
147
                else:
 
148
                    raise
 
149
            
 
150
            count += 1
 
151
            pb.update('copy', count, len(to_copy))
 
152
        assert count == len(to_copy)
 
153
        pb.clear()
 
154
        return count
 
155
    
 
156
 
 
157
    def __contains__(self, fileid):
 
158
        """"""
 
159
        p = self._path(fileid)
 
160
        return (os.access(p, os.R_OK)
 
161
                or os.access(p + '.gz', os.R_OK))
 
162
 
 
163
    # TODO: Guard against the same thing being stored twice, compressed and uncompresse
 
164
 
 
165
    def __iter__(self):
 
166
        for f in os.listdir(self._basedir):
 
167
            if f[-3:] == '.gz':
 
168
                # TODO: case-insensitive?
 
169
                yield f[:-3]
 
170
            else:
 
171
                yield f
 
172
 
 
173
    def __len__(self):
 
174
        return len(os.listdir(self._basedir))
 
175
 
 
176
 
 
177
    def __getitem__(self, fileid):
 
178
        """Returns a file reading from a particular entry."""
 
179
        p = self._path(fileid)
 
180
        try:
 
181
            return gzip.GzipFile(p + '.gz', 'rb')
 
182
        except IOError, e:
 
183
            if e.errno != errno.ENOENT:
 
184
                raise
 
185
 
 
186
        try:
 
187
            return file(p, 'rb')
 
188
        except IOError, e:
 
189
            if e.errno != errno.ENOENT:
 
190
                raise
 
191
 
 
192
        raise IndexError(fileid)
 
193
 
 
194
 
 
195
    def total_size(self):
 
196
        """Return (count, bytes)
 
197
 
 
198
        This is the (compressed) size stored on disk, not the size of
 
199
        the content."""
 
200
        total = 0
 
201
        count = 0
 
202
        for fid in self:
 
203
            count += 1
 
204
            p = self._path(fid)
 
205
            try:
 
206
                total += os.stat(p)[ST_SIZE]
 
207
            except OSError:
 
208
                total += os.stat(p + '.gz')[ST_SIZE]
 
209
                
 
210
        return count, total
 
211
 
 
212
 
 
213
 
 
214
 
 
215
class ImmutableScratchStore(ImmutableStore):
 
216
    """Self-destructing test subclass of ImmutableStore.
 
217
 
 
218
    The Store only exists for the lifetime of the Python object.
 
219
 Obviously you should not put anything precious in it.
 
220
    """
 
221
    def __init__(self):
 
222
        ImmutableStore.__init__(self, tempfile.mkdtemp())
 
223
 
 
224
    def __del__(self):
 
225
        for f in os.listdir(self._basedir):
 
226
            fpath = os.path.join(self._basedir, f)
 
227
            # needed on windows, and maybe some other filesystems
 
228
            os.chmod(fpath, 0600)
 
229
            os.remove(fpath)
 
230
        os.rmdir(self._basedir)
 
231
        mutter("%r destroyed" % self)