/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to remote.py

Add basic infrastructure for dpush.

Show diffs side-by-side

added added

removed removed

Lines of Context:
remote.py
1
 
# Copyright (C) 2007-2009 Jelmer Vernooij <jelmer@samba.org>
 
1
# Copyright (C) 2007-2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
import bzrlib
18
 
from bzrlib import (
19
 
    branch,
20
 
    tag,
21
 
    ui,
22
 
    urlutils,
23
 
    )
24
 
from bzrlib.errors import (
25
 
    BzrError,
26
 
    InvalidRevisionId,
27
 
    NoSuchFile,
28
 
    NoSuchRevision,
29
 
    NotLocalUrl,
30
 
    )
31
 
from bzrlib.trace import (
32
 
    info,
33
 
    )
34
 
from bzrlib.transport import (
35
 
    Transport,
36
 
    )
 
18
from bzrlib import urlutils
 
19
from bzrlib.bzrdir import BzrDir, BzrDirFormat
 
20
from bzrlib.errors import NoSuchFile, NotLocalUrl
 
21
from bzrlib.lockable_files import TransportLock
 
22
from bzrlib.repository import Repository
 
23
from bzrlib.trace import info
 
24
from bzrlib.transport import Transport
37
25
 
38
 
from bzrlib.plugins.git import (
39
 
    lazy_check_versions,
40
 
    )
 
26
from bzrlib.plugins.git import lazy_check_versions
41
27
lazy_check_versions()
42
28
 
43
 
from bzrlib.plugins.git.branch import (
44
 
    GitBranch,
45
 
    )
46
 
from bzrlib.plugins.git.errors import (
47
 
    GitSmartRemoteNotSupported,
48
 
    NoSuchRef,
49
 
    )
50
 
from bzrlib.plugins.git.dir import (
51
 
    GitDir,
52
 
    )
53
 
from bzrlib.plugins.git.mapping import (
54
 
    mapping_registry,
55
 
    )
56
 
from bzrlib.plugins.git.repository import (
57
 
    GitRepositoryFormat,
58
 
    GitRepository,
59
 
    )
 
29
from bzrlib.plugins.git.branch import GitBranch
 
30
from bzrlib.plugins.git.errors import NoSuchRef
 
31
from bzrlib.plugins.git.dir import GitDir
 
32
from bzrlib.plugins.git.foreign import ForeignBranch
 
33
from bzrlib.plugins.git.repository import GitFormat, GitRepository
60
34
 
61
 
import dulwich as git
62
 
from dulwich.errors import (
63
 
    GitProtocolError,
64
 
    )
65
 
from dulwich.pack import (
66
 
    Pack,
67
 
    PackData,
68
 
    )
69
35
import os
70
36
import tempfile
71
37
import urllib
72
38
import urlparse
73
39
 
74
 
try:
75
 
    from dulwich.pack import load_pack_index
76
 
except ImportError:
77
 
    from dulwich.pack import PackIndex as load_pack_index
78
 
 
 
40
import dulwich as git
 
41
from dulwich.pack import PackData, Pack
79
42
 
80
43
# Don't run any tests on GitSmartTransport as it is not intended to be 
81
44
# a full implementation of Transport
88
51
    def __init__(self, url, _client=None):
89
52
        Transport.__init__(self, url)
90
53
        (scheme, _, loc, _, _) = urlparse.urlsplit(url)
 
54
        assert scheme == "git"
91
55
        hostport, self._path = urllib.splithost(loc)
92
 
        (self._host, self._port) = urllib.splitnport(hostport, None)
 
56
        (self._host, self._port) = urllib.splitnport(hostport, git.protocol.TCP_GIT_PORT)
93
57
        self._client = _client
94
58
 
95
 
    def has(self, relpath):
96
 
        return False
97
 
 
98
59
    def _get_client(self):
99
 
        raise NotImplementedError(self._get_client)
 
60
        if self._client is not None:
 
61
            ret = self._client
 
62
            self._client = None
 
63
            return ret
 
64
        return git.client.TCPGitClient(self._host, self._port)
100
65
 
101
66
    def fetch_pack(self, determine_wants, graph_walker, pack_data, progress=None):
102
67
        if progress is None:
103
68
            def progress(text):
104
69
                info("git: %s" % text)
105
 
        client = self._get_client()
106
 
        try:
107
 
            return client.fetch_pack(self._path, determine_wants, 
108
 
                graph_walker, pack_data, progress)
109
 
        except GitProtocolError, e:
110
 
            raise BzrError(e)
111
 
 
112
 
    def send_pack(self, get_changed_refs, generate_pack_contents):
113
 
        client = self._get_client()
114
 
        try:
115
 
            return client.send_pack(self._path, get_changed_refs, 
116
 
                generate_pack_contents)
117
 
        except GitProtocolError, e:
118
 
            raise BzrError(e)
 
70
        self._get_client().fetch_pack(self._path, determine_wants, 
 
71
            graph_walker, pack_data, progress)
119
72
 
120
73
    def get(self, path):
121
74
        raise NoSuchFile(path)
130
83
        else:
131
84
            newurl = urlutils.join(self.base, offset)
132
85
 
133
 
        return self.__class__(newurl, self._client)
134
 
 
135
 
 
136
 
class TCPGitSmartTransport(GitSmartTransport):
137
 
 
138
 
    _scheme = 'git'
139
 
 
140
 
    def _get_client(self):
141
 
        if self._client is not None:
142
 
            ret = self._client
143
 
            self._client = None
144
 
            return ret
145
 
        return git.client.TCPGitClient(self._host, self._port, thin_packs=False,
146
 
            report_activity=self._report_activity)
147
 
 
148
 
 
149
 
class SSHGitSmartTransport(GitSmartTransport):
150
 
 
151
 
    _scheme = 'git+ssh'
152
 
 
153
 
    def _get_client(self):
154
 
        if self._client is not None:
155
 
            ret = self._client
156
 
            self._client = None
157
 
            return ret
158
 
        return git.client.SSHGitClient(self._host, self._port, thin_packs=False,
159
 
            report_activity=self._report_activity)
 
86
        return GitSmartTransport(newurl, self._client)
160
87
 
161
88
 
162
89
class RemoteGitDir(GitDir):
166
93
        self.root_transport = transport
167
94
        self.transport = transport
168
95
        self._lockfiles = lockfiles
169
 
        self._mode_check_done = None
170
96
 
171
97
    def open_repository(self):
172
98
        return RemoteGitRepository(self, self._lockfiles)
173
99
 
174
 
    def open_branch(self, ignore_fallbacks=False):
 
100
    def open_branch(self, _unsupported=False):
175
101
        repo = self.open_repository()
176
102
        # TODO: Support for multiple branches in one bzrdir in bzrlib!
177
103
        return RemoteGitBranch(self, repo, "HEAD", self._lockfiles)
180
106
        raise NotLocalUrl(self.transport.base)
181
107
 
182
108
 
183
 
class EmptyObjectStoreIterator(dict):
184
 
 
185
 
    def iterobjects(self):
186
 
        return []
187
 
 
188
 
 
189
 
class TemporaryPackIterator(Pack):
190
 
 
191
 
    def __init__(self, path, resolve_ext_ref):
192
 
        super(TemporaryPackIterator, self).__init__(path)
193
 
        self.resolve_ext_ref = resolve_ext_ref
194
 
 
195
 
    @property
196
 
    def index(self):
197
 
        if self._idx is None:
198
 
            if self._data is None:
199
 
                self._data = PackData(self._data_path)
200
 
            pb = ui.ui_factory.nested_progress_bar()
201
 
            try:
202
 
                def report_progress(cur, total):
203
 
                    pb.update("generating index", cur, total)
204
 
                self._data.create_index_v2(self._idx_path, self.resolve_ext_ref,
205
 
                    progress=report_progress)
206
 
            finally:
207
 
                pb.finished()
208
 
            self._idx = load_pack_index(self._idx_path)
209
 
        return self._idx
 
109
class TemporaryPackIterator(object):
 
110
 
 
111
    def __init__(self, path):
 
112
        self.path_data = path
 
113
        basename = path[:-len(".pack")]
 
114
        p = PackData(path)
 
115
        self.path_idx = basename+".idx"
 
116
        p.create_index_v2(self.path_idx)
 
117
        self.pack = Pack(basename)
 
118
        self._iter = self.pack.iterobjects()
210
119
 
211
120
    def __del__(self):
212
 
        os.remove(self._data_path)
213
 
        os.remove(self._idx_path)
 
121
        os.remove(self.path_data)
 
122
        os.remove(self.path_idx)
 
123
 
 
124
    def next(self):
 
125
        return (self._iter.next(), None)
 
126
 
 
127
    def __len__(self):
 
128
        return len(self.pack)
214
129
 
215
130
 
216
131
class RemoteGitRepository(GitRepository):
217
132
 
218
133
    def __init__(self, gitdir, lockfiles):
219
134
        GitRepository.__init__(self, gitdir, lockfiles)
220
 
        self._refs = None
221
 
 
222
 
    @property
223
 
    def inventories(self):
224
 
        raise GitSmartRemoteNotSupported()
225
 
 
226
 
    @property
227
 
    def revisions(self):
228
 
        raise GitSmartRemoteNotSupported()
229
 
 
230
 
    @property
231
 
    def texts(self):
232
 
        raise GitSmartRemoteNotSupported()
233
 
 
234
 
    def get_refs(self):
235
 
        if self._refs is not None:
236
 
            return self._refs
237
 
        self._refs = self.bzrdir.root_transport.fetch_pack(lambda x: [], None, 
238
 
            lambda x: None, lambda x: mutter("git: %s" % x))
239
 
        return self._refs
240
135
 
241
136
    def fetch_pack(self, determine_wants, graph_walker, pack_data, 
242
137
                   progress=None):
243
 
        return self._transport.fetch_pack(determine_wants, graph_walker,
244
 
                                          pack_data, progress)
245
 
 
246
 
    def send_pack(self, get_changed_refs, generate_pack_contents):
247
 
        return self._transport.send_pack(get_changed_refs, generate_pack_contents)
248
 
 
249
 
    def fetch_objects(self, determine_wants, graph_walker, resolve_ext_ref, progress=None):
 
138
        self._transport.fetch_pack(determine_wants, graph_walker, pack_data, 
 
139
            progress)
 
140
 
 
141
    def fetch_objects(self, determine_wants, graph_walker, progress=None):
250
142
        fd, path = tempfile.mkstemp(suffix=".pack")
251
143
        self.fetch_pack(determine_wants, graph_walker, lambda x: os.write(fd, x), progress)
252
144
        os.close(fd)
253
 
        if os.path.getsize(path) == 0:
254
 
            return EmptyObjectStoreIterator()
255
 
        return TemporaryPackIterator(path[:-len(".pack")], resolve_ext_ref)
256
 
 
257
 
    def lookup_git_revid(self, bzr_revid):
258
 
        # This won't work for any round-tripped bzr revisions, but it's a start..
259
 
        try:
260
 
            return mapping_registry.revision_id_bzr_to_foreign(bzr_revid)
261
 
        except InvalidRevisionId:
262
 
            raise NoSuchRevision(self, bzr_revid)
263
 
 
264
 
 
265
 
class RemoteGitTagDict(tag.BasicTags):
266
 
 
267
 
    def __init__(self, branch):
268
 
        self.branch = branch
269
 
        self.repository = branch.repository
270
 
 
271
 
    def get_tag_dict(self):
272
 
        ret = {}
273
 
        refs = self.repository.get_refs()
274
 
        for k,v in refs.iteritems():
275
 
            if k.startswith("refs/tags/") and not k.endswith("^{}"):
276
 
                v = refs.get(k+"^{}", v)
277
 
                ret[k[len("refs/tags/"):]] = self.branch.mapping.revision_id_foreign_to_bzr(v)
278
 
        return ret
279
 
 
280
 
    def set_tag(self, name, revid):
281
 
        # FIXME: Not supported yet, should do a push of a new ref
282
 
        raise NotImplementedError(self.set_tag)
 
145
        ret = TemporaryPackIterator(path)
 
146
        return (len(ret), iter(ret.next, None))
283
147
 
284
148
 
285
149
class RemoteGitBranch(GitBranch):
286
150
 
287
151
    def __init__(self, bzrdir, repository, name, lockfiles):
288
 
        self._ref = None
289
 
        super(RemoteGitBranch, self).__init__(bzrdir, repository, name, 
290
 
                lockfiles)
291
 
 
292
 
    def revision_history(self):
293
 
        raise GitSmartRemoteNotSupported()
 
152
        def determine_wants(heads):
 
153
            if not name in heads:
 
154
                raise NoSuchRef(name)
 
155
            self._ref = heads[name]
 
156
        bzrdir.root_transport.fetch_pack(determine_wants, None, lambda x: None, 
 
157
                             lambda x: mutter("git: %s" % x))
 
158
        super(RemoteGitBranch, self).__init__(bzrdir, repository, name, self._ref, lockfiles)
294
159
 
295
160
    def last_revision(self):
296
 
        return self.mapping.revision_id_foreign_to_bzr(self.head)
297
 
 
298
 
    @property
299
 
    def head(self):
300
 
        if self._ref is None:
301
 
            return self._ref
302
 
        heads = repository.get_refs()
303
 
        if not name in heads:
304
 
            raise NoSuchRef(name)
305
 
        self._ref = heads[name]
306
 
        return self._ref
 
161
        return self.mapping.revision_id_foreign_to_bzr(self._ref)
307
162
 
308
163
    def _synchronize_history(self, destination, revision_id):
309
164
        """See Branch._synchronize_history()."""