/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to remote.py

Fix some places where we were way too much memory for repositories with a large number of entries in the inventory and a large number of revisions.

Show diffs side-by-side

added added

removed removed

Lines of Context:
remote.py
1
 
# Copyright (C) 2007-2008 Canonical Ltd
 
1
# Copyright (C) 2007-2009 Jelmer Vernooij <jelmer@samba.org>
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
import bzrlib
18
 
from bzrlib import urlutils
19
 
from bzrlib.bzrdir import BzrDir, BzrDirFormat
20
 
from bzrlib.errors import NoSuchFile, NotLocalUrl
21
 
from bzrlib.lockable_files import TransportLock
22
 
from bzrlib.repository import Repository
23
 
from bzrlib.trace import info
24
 
from bzrlib.transport import Transport
 
18
from bzrlib import (
 
19
    config,
 
20
    tag,
 
21
    trace,
 
22
    ui,
 
23
    urlutils,
 
24
    )
 
25
from bzrlib.errors import (
 
26
    BzrError,
 
27
    InvalidRevisionId,
 
28
    NoSuchFile,
 
29
    NoSuchRevision,
 
30
    NotLocalUrl,
 
31
    )
 
32
from bzrlib.trace import (
 
33
    info,
 
34
    )
 
35
from bzrlib.transport import (
 
36
    Transport,
 
37
    )
25
38
 
26
 
from bzrlib.plugins.git import lazy_check_versions
 
39
from bzrlib.plugins.git import (
 
40
    lazy_check_versions,
 
41
    )
27
42
lazy_check_versions()
28
43
 
29
 
from bzrlib.plugins.git.branch import GitBranch
30
 
from bzrlib.plugins.git.errors import NoSuchRef
31
 
from bzrlib.plugins.git.dir import GitDir
32
 
from bzrlib.plugins.git.foreign import ForeignBranch
33
 
from bzrlib.plugins.git.repository import GitFormat, GitRepository
 
44
from bzrlib.plugins.git.branch import (
 
45
    GitBranch,
 
46
    extract_tags,
 
47
    )
 
48
from bzrlib.plugins.git.errors import (
 
49
    GitSmartRemoteNotSupported,
 
50
    NoSuchRef,
 
51
    )
 
52
from bzrlib.plugins.git.dir import (
 
53
    GitDir,
 
54
    )
 
55
from bzrlib.plugins.git.mapping import (
 
56
    mapping_registry,
 
57
    )
 
58
from bzrlib.plugins.git.repository import (
 
59
    GitRepository,
 
60
    )
34
61
 
 
62
import dulwich as git
 
63
from dulwich.errors import (
 
64
    GitProtocolError,
 
65
    )
 
66
from dulwich.pack import (
 
67
    Pack,
 
68
    PackData,
 
69
    )
35
70
import os
36
71
import tempfile
37
72
import urllib
38
73
import urlparse
39
74
 
40
 
import dulwich as git
41
 
from dulwich.pack import PackData, Pack, PackIndex
 
75
from dulwich.pack import load_pack_index
 
76
 
42
77
 
43
78
# Don't run any tests on GitSmartTransport as it is not intended to be 
44
79
# a full implementation of Transport
51
86
    def __init__(self, url, _client=None):
52
87
        Transport.__init__(self, url)
53
88
        (scheme, _, loc, _, _) = urlparse.urlsplit(url)
54
 
        assert scheme == "git"
55
89
        hostport, self._path = urllib.splithost(loc)
56
 
        (self._host, self._port) = urllib.splitnport(hostport, git.protocol.TCP_GIT_PORT)
 
90
        (self._username, hostport) = urllib.splituser(hostport)
 
91
        (self._host, self._port) = urllib.splitnport(hostport, None)
57
92
        self._client = _client
58
93
 
59
 
    def _get_client(self):
60
 
        if self._client is not None:
61
 
            ret = self._client
62
 
            self._client = None
63
 
            return ret
64
 
        return git.client.TCPGitClient(self._host, self._port)
 
94
    def external_url(self):
 
95
        return self.base
 
96
 
 
97
    def has(self, relpath):
 
98
        return False
 
99
 
 
100
    def _get_client(self, thin_packs):
 
101
        raise NotImplementedError(self._get_client)
 
102
 
 
103
    def _get_path(self):
 
104
        return self._path
65
105
 
66
106
    def fetch_pack(self, determine_wants, graph_walker, pack_data, progress=None):
67
107
        if progress is None:
68
108
            def progress(text):
69
109
                info("git: %s" % text)
70
 
        self._get_client().fetch_pack(self._path, determine_wants, 
71
 
            graph_walker, pack_data, progress)
 
110
        client = self._get_client(thin_packs=False)
 
111
        try:
 
112
            return client.fetch_pack(self._get_path(), determine_wants, 
 
113
                graph_walker, pack_data, progress)
 
114
        except GitProtocolError, e:
 
115
            raise BzrError(e)
 
116
 
 
117
    def send_pack(self, get_changed_refs, generate_pack_contents):
 
118
        client = self._get_client(thin_packs=False)
 
119
        try:
 
120
            return client.send_pack(self._get_path(), get_changed_refs, 
 
121
                generate_pack_contents)
 
122
        except GitProtocolError, e:
 
123
            raise BzrError(e)
72
124
 
73
125
    def get(self, path):
74
126
        raise NoSuchFile(path)
83
135
        else:
84
136
            newurl = urlutils.join(self.base, offset)
85
137
 
86
 
        return GitSmartTransport(newurl, self._client)
 
138
        return self.__class__(newurl, self._client)
 
139
 
 
140
 
 
141
class TCPGitSmartTransport(GitSmartTransport):
 
142
 
 
143
    _scheme = 'git'
 
144
 
 
145
    def _get_client(self, thin_packs):
 
146
        if self._client is not None:
 
147
            ret = self._client
 
148
            self._client = None
 
149
            return ret
 
150
        return git.client.TCPGitClient(self._host, self._port, thin_packs=thin_packs,
 
151
            report_activity=self._report_activity)
 
152
 
 
153
 
 
154
class SSHGitSmartTransport(GitSmartTransport):
 
155
 
 
156
    _scheme = 'git+ssh'
 
157
 
 
158
    def _get_path(self):
 
159
        if self._path.startswith("/~/"):
 
160
            return self._path[3:]
 
161
        return self._path
 
162
 
 
163
    def _get_client(self, thin_packs):
 
164
        if self._client is not None:
 
165
            ret = self._client
 
166
            self._client = None
 
167
            return ret
 
168
        return git.client.SSHGitClient(self._host, self._port, self._username,
 
169
            thin_packs=thin_packs, report_activity=self._report_activity)
87
170
 
88
171
 
89
172
class RemoteGitDir(GitDir):
93
176
        self.root_transport = transport
94
177
        self.transport = transport
95
178
        self._lockfiles = lockfiles
 
179
        self._mode_check_done = None
96
180
 
97
181
    def open_repository(self):
98
182
        return RemoteGitRepository(self, self._lockfiles)
99
183
 
100
 
    def open_branch(self, _unsupported=False):
 
184
    def open_branch(self, ignore_fallbacks=False):
101
185
        repo = self.open_repository()
102
186
        # TODO: Support for multiple branches in one bzrdir in bzrlib!
103
187
        return RemoteGitBranch(self, repo, "HEAD", self._lockfiles)
104
188
 
105
 
    def open_workingtree(self):
 
189
    def open_workingtree(self, recommend_upgrade=False):
106
190
        raise NotLocalUrl(self.transport.base)
107
191
 
108
192
 
 
193
class EmptyObjectStoreIterator(dict):
 
194
 
 
195
    def iterobjects(self):
 
196
        return []
 
197
 
 
198
 
109
199
class TemporaryPackIterator(Pack):
110
200
 
111
 
    @property
112
 
    def idx(self):
 
201
    def __init__(self, path, resolve_ext_ref):
 
202
        super(TemporaryPackIterator, self).__init__(path)
 
203
        self.resolve_ext_ref = resolve_ext_ref
 
204
 
 
205
    @property
 
206
    def data(self):
 
207
        if self._data is None:
 
208
            self._data = PackData(self._data_path)
 
209
        return self._data
 
210
 
 
211
    @property
 
212
    def index(self):
113
213
        if self._idx is None:
114
 
            self._data.create_index_v2(self._idx_path)
115
 
            self._idx = PackIndex(self._idx_path)
 
214
            if not os.path.exists(self._idx_path):
 
215
                pb = ui.ui_factory.nested_progress_bar()
 
216
                try:
 
217
                    def report_progress(cur, total):
 
218
                        pb.update("generating index", cur, total)
 
219
                    self.data.create_index(self._idx_path, self.resolve_ext_ref,
 
220
                        progress=report_progress)
 
221
                finally:
 
222
                    pb.finished()
 
223
            self._idx = load_pack_index(self._idx_path)
116
224
        return self._idx
117
225
 
118
226
    def __del__(self):
119
 
        os.remove(self._data_path)
120
 
        os.remove(self._idx_path)
 
227
        if self._idx is not None:
 
228
            self._idx.close()
 
229
            os.remove(self._idx_path)
 
230
        if self._data is not None:
 
231
            self._data.close()
 
232
            os.remove(self._data_path)
121
233
 
122
234
 
123
235
class RemoteGitRepository(GitRepository):
124
236
 
125
237
    def __init__(self, gitdir, lockfiles):
126
238
        GitRepository.__init__(self, gitdir, lockfiles)
 
239
        self._refs = None
 
240
 
 
241
    @property
 
242
    def inventories(self):
 
243
        raise GitSmartRemoteNotSupported()
 
244
 
 
245
    @property
 
246
    def revisions(self):
 
247
        raise GitSmartRemoteNotSupported()
 
248
 
 
249
    @property
 
250
    def texts(self):
 
251
        raise GitSmartRemoteNotSupported()
 
252
 
 
253
    def get_refs(self):
 
254
        if self._refs is not None:
 
255
            return self._refs
 
256
        self._refs = self.bzrdir.root_transport.fetch_pack(lambda x: [], None, 
 
257
            lambda x: None, lambda x: trace.mutter("git: %s" % x))
 
258
        return self._refs
127
259
 
128
260
    def fetch_pack(self, determine_wants, graph_walker, pack_data, 
129
261
                   progress=None):
130
 
        self._transport.fetch_pack(determine_wants, graph_walker, pack_data, 
131
 
            progress)
132
 
 
133
 
    def fetch_objects(self, determine_wants, graph_walker, progress=None):
 
262
        return self._transport.fetch_pack(determine_wants, graph_walker,
 
263
                                          pack_data, progress)
 
264
 
 
265
    def send_pack(self, get_changed_refs, generate_pack_contents):
 
266
        return self._transport.send_pack(get_changed_refs, generate_pack_contents)
 
267
 
 
268
    def fetch_objects(self, determine_wants, graph_walker, resolve_ext_ref, progress=None):
134
269
        fd, path = tempfile.mkstemp(suffix=".pack")
135
270
        self.fetch_pack(determine_wants, graph_walker, lambda x: os.write(fd, x), progress)
136
271
        os.close(fd)
137
 
        return TemporaryPackIterator(path[:-len(".pack")])
 
272
        if os.path.getsize(path) == 0:
 
273
            return EmptyObjectStoreIterator()
 
274
        return TemporaryPackIterator(path[:-len(".pack")], resolve_ext_ref)
 
275
 
 
276
    def lookup_bzr_revision_id(self, bzr_revid):
 
277
        # This won't work for any round-tripped bzr revisions, but it's a start..
 
278
        try:
 
279
            return mapping_registry.revision_id_bzr_to_foreign(bzr_revid)
 
280
        except InvalidRevisionId:
 
281
            raise NoSuchRevision(self, bzr_revid)
 
282
 
 
283
 
 
284
class RemoteGitTagDict(tag.BasicTags):
 
285
 
 
286
    def __init__(self, branch):
 
287
        self.branch = branch
 
288
        self.repository = branch.repository
 
289
 
 
290
    def get_tag_dict(self):
 
291
        tags = {}
 
292
        for k, v in extract_tags(self.repository.get_refs()).iteritems():
 
293
            tags[k] = self.branch.mapping.revision_id_foreign_to_bzr(v)
 
294
        return tags
 
295
 
 
296
    def set_tag(self, name, revid):
 
297
        # FIXME: Not supported yet, should do a push of a new ref
 
298
        raise NotImplementedError(self.set_tag)
138
299
 
139
300
 
140
301
class RemoteGitBranch(GitBranch):
141
302
 
142
303
    def __init__(self, bzrdir, repository, name, lockfiles):
143
 
        def determine_wants(heads):
144
 
            if not name in heads:
145
 
                raise NoSuchRef(name)
146
 
            self._ref = heads[name]
147
 
        bzrdir.root_transport.fetch_pack(determine_wants, None, lambda x: None, 
148
 
                             lambda x: mutter("git: %s" % x))
149
 
        super(RemoteGitBranch, self).__init__(bzrdir, repository, name, self._ref, lockfiles)
 
304
        self._ref = None
 
305
        super(RemoteGitBranch, self).__init__(bzrdir, repository, name, 
 
306
                lockfiles)
 
307
 
 
308
    def revision_history(self):
 
309
        raise GitSmartRemoteNotSupported()
150
310
 
151
311
    def last_revision(self):
152
 
        return self.mapping.revision_id_foreign_to_bzr(self._ref)
 
312
        return self.mapping.revision_id_foreign_to_bzr(self.head)
 
313
 
 
314
    def _get_config(self):
 
315
        class EmptyConfig(object):
 
316
 
 
317
            def _get_configobj(self):
 
318
                return config.ConfigObj()
 
319
 
 
320
        return EmptyConfig()
 
321
 
 
322
    @property
 
323
    def head(self):
 
324
        if self._ref is not None:
 
325
            return self._ref
 
326
        heads = self.repository.get_refs()
 
327
        if not self.name in heads:
 
328
            raise NoSuchRef(self.name)
 
329
        self._ref = heads[self.name]
 
330
        return self._ref
153
331
 
154
332
    def _synchronize_history(self, destination, revision_id):
155
333
        """See Branch._synchronize_history()."""
156
334
        destination.generate_revision_history(self.last_revision())
157
335
 
 
336
    def get_push_location(self):
 
337
        return None
 
338
 
 
339
    def set_push_location(self, url):
 
340
        pass