/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/store.py

  • Committer: Martin Pool
  • Date: 2005-06-20 03:54:23 UTC
  • Revision ID: mbp@sourcefrog.net-20050620035423-10f4bb320656b0d1
- files within stores are no longer made readonly

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/store.py
 
1
# Copyright (C) 2005 by Canonical Development Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
"""
 
18
Stores are the main data-storage mechanism for Bazaar-NG.
 
19
 
 
20
A store is a simple write-once container indexed by a universally
 
21
unique ID.
 
22
"""
 
23
 
 
24
import os, tempfile, types, osutils, gzip, errno
 
25
from stat import ST_SIZE
 
26
from StringIO import StringIO
 
27
from trace import mutter
 
28
 
 
29
######################################################################
 
30
# stores
 
31
 
 
32
class StoreError(Exception):
 
33
    pass
 
34
 
 
35
 
 
36
class ImmutableStore(object):
 
37
    """Store that holds files indexed by unique names.
 
38
 
 
39
    Files can be added, but not modified once they are in.  Typically
 
40
    the hash is used as the name, or something else known to be unique,
 
41
    such as a UUID.
 
42
 
 
43
    >>> st = ImmutableScratchStore()
 
44
 
 
45
    >>> st.add(StringIO('hello'), 'aa')
 
46
    >>> 'aa' in st
 
47
    True
 
48
    >>> 'foo' in st
 
49
    False
 
50
 
 
51
    You are not allowed to add an id that is already present.
 
52
 
 
53
    Entries can be retrieved as files, which may then be read.
 
54
 
 
55
    >>> st.add(StringIO('goodbye'), '123123')
 
56
    >>> st['123123'].read()
 
57
    'goodbye'
 
58
 
 
59
    TODO: Atomic add by writing to a temporary file and renaming.
 
60
 
 
61
    In bzr 0.0.5 and earlier, files within the store were marked
 
62
    readonly on disk.  This is no longer done but existing stores need
 
63
    to be accomodated.
 
64
    """
 
65
 
 
66
    def __init__(self, basedir):
 
67
        self._basedir = basedir
 
68
 
 
69
    def _path(self, id):
 
70
        if '\\' in id or '/' in id:
 
71
            raise ValueError("invalid store id %r" % id)
 
72
        return os.path.join(self._basedir, id)
 
73
 
 
74
    def __repr__(self):
 
75
        return "%s(%r)" % (self.__class__.__name__, self._basedir)
 
76
 
 
77
    def add(self, f, fileid, compressed=True):
 
78
        """Add contents of a file into the store.
 
79
 
 
80
        f -- An open file, or file-like object."""
 
81
        # FIXME: Only works on smallish files
 
82
        # TODO: Can be optimized by copying at the same time as
 
83
        # computing the sum.
 
84
        mutter("add store entry %r" % (fileid))
 
85
        if isinstance(f, types.StringTypes):
 
86
            content = f
 
87
        else:
 
88
            content = f.read()
 
89
 
 
90
        p = self._path(fileid)
 
91
        if os.access(p, os.F_OK) or os.access(p + '.gz', os.F_OK):
 
92
            raise BzrError("store %r already contains id %r" % (self._basedir, fileid))
 
93
 
 
94
        if compressed:
 
95
            f = gzip.GzipFile(p + '.gz', 'wb')
 
96
        else:
 
97
            f = file(p, 'wb')
 
98
            
 
99
        f.write(content)
 
100
        f.close()
 
101
 
 
102
 
 
103
    def copy_multi(self, other, ids):
 
104
        """Copy texts for ids from other into self.
 
105
 
 
106
        If an id is present in self, it is skipped.  A count of copied
 
107
        ids is returned, which may be less than len(ids).
 
108
        """
 
109
        from bzrlib.progress import ProgressBar
 
110
        pb = ProgressBar()
 
111
        pb.update('preparing to copy')
 
112
        to_copy = [id for id in ids if id not in self]
 
113
        count = 0
 
114
        for id in to_copy:
 
115
            count += 1
 
116
            pb.update('copy', count, len(to_copy))
 
117
            self.add(other[id], id)
 
118
        assert count == len(to_copy)
 
119
        pb.clear()
 
120
        return count
 
121
    
 
122
 
 
123
    def __contains__(self, fileid):
 
124
        """"""
 
125
        p = self._path(fileid)
 
126
        return (os.access(p, os.R_OK)
 
127
                or os.access(p + '.gz', os.R_OK))
 
128
 
 
129
    # TODO: Guard against the same thing being stored twice, compressed and uncompresse
 
130
 
 
131
    def __iter__(self):
 
132
        for f in os.listdir(self._basedir):
 
133
            if f[-3:] == '.gz':
 
134
                # TODO: case-insensitive?
 
135
                yield f[:-3]
 
136
            else:
 
137
                yield f
 
138
 
 
139
    def __len__(self):
 
140
        return len(os.listdir(self._basedir))
 
141
 
 
142
    def __getitem__(self, fileid):
 
143
        """Returns a file reading from a particular entry."""
 
144
        p = self._path(fileid)
 
145
        try:
 
146
            return gzip.GzipFile(p + '.gz', 'rb')
 
147
        except IOError, e:
 
148
            if e.errno == errno.ENOENT:
 
149
                return file(p, 'rb')
 
150
            else:
 
151
                raise e
 
152
 
 
153
    def total_size(self):
 
154
        """Return (count, bytes)
 
155
 
 
156
        This is the (compressed) size stored on disk, not the size of
 
157
        the content."""
 
158
        total = 0
 
159
        count = 0
 
160
        for fid in self:
 
161
            count += 1
 
162
            p = self._path(fid)
 
163
            try:
 
164
                total += os.stat(p)[ST_SIZE]
 
165
            except OSError:
 
166
                total += os.stat(p + '.gz')[ST_SIZE]
 
167
                
 
168
        return count, total
 
169
 
 
170
 
 
171
 
 
172
 
 
173
class ImmutableScratchStore(ImmutableStore):
 
174
    """Self-destructing test subclass of ImmutableStore.
 
175
 
 
176
    The Store only exists for the lifetime of the Python object.
 
177
 Obviously you should not put anything precious in it.
 
178
    """
 
179
    def __init__(self):
 
180
        ImmutableStore.__init__(self, tempfile.mkdtemp())
 
181
 
 
182
    def __del__(self):
 
183
        for f in os.listdir(self._basedir):
 
184
            fpath = os.path.join(self._basedir, f)
 
185
            # needed on windows, and maybe some other filesystems
 
186
            os.chmod(fpath, 0600)
 
187
            os.remove(fpath)
 
188
        os.rmdir(self._basedir)
 
189
        mutter("%r destroyed" % self)