/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to remote.py

Add basic infrastructure for dpush.

Show diffs side-by-side

added added

removed removed

Lines of Context:
remote.py
1
 
# Copyright (C) 2007-2009 Jelmer Vernooij <jelmer@samba.org>
 
1
# Copyright (C) 2007-2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
import bzrlib
18
 
from bzrlib import (
19
 
    branch,
20
 
    tag,
21
 
    ui,
22
 
    urlutils,
23
 
    )
24
 
from bzrlib.errors import (
25
 
    BzrError,
26
 
    InvalidRevisionId,
27
 
    NoSuchFile,
28
 
    NoSuchRevision,
29
 
    NotLocalUrl,
30
 
    )
31
 
from bzrlib.trace import (
32
 
    info,
33
 
    )
34
 
from bzrlib.transport import (
35
 
    Transport,
36
 
    )
 
18
from bzrlib import urlutils
 
19
from bzrlib.bzrdir import BzrDir, BzrDirFormat
 
20
from bzrlib.errors import NoSuchFile, NotLocalUrl
 
21
from bzrlib.lockable_files import TransportLock
 
22
from bzrlib.repository import Repository
 
23
from bzrlib.trace import info
 
24
from bzrlib.transport import Transport
37
25
 
38
 
from bzrlib.plugins.git import (
39
 
    lazy_check_versions,
40
 
    )
 
26
from bzrlib.plugins.git import lazy_check_versions
41
27
lazy_check_versions()
42
28
 
43
 
from bzrlib.plugins.git.branch import (
44
 
    GitBranch,
45
 
    extract_tags,
46
 
    )
47
 
from bzrlib.plugins.git.errors import (
48
 
    GitSmartRemoteNotSupported,
49
 
    NoSuchRef,
50
 
    )
51
 
from bzrlib.plugins.git.dir import (
52
 
    GitDir,
53
 
    )
54
 
from bzrlib.plugins.git.mapping import (
55
 
    mapping_registry,
56
 
    )
57
 
from bzrlib.plugins.git.repository import (
58
 
    GitRepositoryFormat,
59
 
    GitRepository,
60
 
    )
 
29
from bzrlib.plugins.git.branch import GitBranch
 
30
from bzrlib.plugins.git.errors import NoSuchRef
 
31
from bzrlib.plugins.git.dir import GitDir
 
32
from bzrlib.plugins.git.foreign import ForeignBranch
 
33
from bzrlib.plugins.git.repository import GitFormat, GitRepository
61
34
 
62
 
import dulwich as git
63
 
from dulwich.errors import (
64
 
    GitProtocolError,
65
 
    )
66
 
from dulwich.pack import (
67
 
    Pack,
68
 
    PackData,
69
 
    )
70
35
import os
71
36
import tempfile
72
37
import urllib
73
38
import urlparse
74
39
 
75
 
try:
76
 
    from dulwich.pack import load_pack_index
77
 
except ImportError:
78
 
    from dulwich.pack import PackIndex as load_pack_index
79
 
 
 
40
import dulwich as git
 
41
from dulwich.pack import PackData, Pack
80
42
 
81
43
# Don't run any tests on GitSmartTransport as it is not intended to be 
82
44
# a full implementation of Transport
89
51
    def __init__(self, url, _client=None):
90
52
        Transport.__init__(self, url)
91
53
        (scheme, _, loc, _, _) = urlparse.urlsplit(url)
 
54
        assert scheme == "git"
92
55
        hostport, self._path = urllib.splithost(loc)
93
 
        (self._username, hostport) = urllib.splituser(hostport)
94
 
        (self._host, self._port) = urllib.splitnport(hostport, None)
 
56
        (self._host, self._port) = urllib.splitnport(hostport, git.protocol.TCP_GIT_PORT)
95
57
        self._client = _client
96
58
 
97
 
    def has(self, relpath):
98
 
        return False
99
 
 
100
59
    def _get_client(self):
101
 
        raise NotImplementedError(self._get_client)
102
 
 
103
 
    def _get_path(self):
104
 
        return self._path
 
60
        if self._client is not None:
 
61
            ret = self._client
 
62
            self._client = None
 
63
            return ret
 
64
        return git.client.TCPGitClient(self._host, self._port)
105
65
 
106
66
    def fetch_pack(self, determine_wants, graph_walker, pack_data, progress=None):
107
67
        if progress is None:
108
68
            def progress(text):
109
69
                info("git: %s" % text)
110
 
        client = self._get_client()
111
 
        try:
112
 
            return client.fetch_pack(self._get_path(), determine_wants, 
113
 
                graph_walker, pack_data, progress)
114
 
        except GitProtocolError, e:
115
 
            raise BzrError(e)
116
 
 
117
 
    def send_pack(self, get_changed_refs, generate_pack_contents):
118
 
        client = self._get_client()
119
 
        try:
120
 
            return client.send_pack(self._get_path(), get_changed_refs, 
121
 
                generate_pack_contents)
122
 
        except GitProtocolError, e:
123
 
            raise BzrError(e)
 
70
        self._get_client().fetch_pack(self._path, determine_wants, 
 
71
            graph_walker, pack_data, progress)
124
72
 
125
73
    def get(self, path):
126
74
        raise NoSuchFile(path)
135
83
        else:
136
84
            newurl = urlutils.join(self.base, offset)
137
85
 
138
 
        return self.__class__(newurl, self._client)
139
 
 
140
 
 
141
 
class TCPGitSmartTransport(GitSmartTransport):
142
 
 
143
 
    _scheme = 'git'
144
 
 
145
 
    def _get_client(self):
146
 
        if self._client is not None:
147
 
            ret = self._client
148
 
            self._client = None
149
 
            return ret
150
 
        return git.client.TCPGitClient(self._host, self._port, thin_packs=False,
151
 
            report_activity=self._report_activity)
152
 
 
153
 
 
154
 
class SSHGitSmartTransport(GitSmartTransport):
155
 
 
156
 
    _scheme = 'git+ssh'
157
 
 
158
 
    def _get_path(self):
159
 
        if self._path.startswith("/~/"):
160
 
            return self._path[3:]
161
 
        return self._path
162
 
 
163
 
    def _get_client(self):
164
 
        if self._client is not None:
165
 
            ret = self._client
166
 
            self._client = None
167
 
            return ret
168
 
        return git.client.SSHGitClient(self._host, self._port, self._username,
169
 
            thin_packs=False, report_activity=self._report_activity)
 
86
        return GitSmartTransport(newurl, self._client)
170
87
 
171
88
 
172
89
class RemoteGitDir(GitDir):
176
93
        self.root_transport = transport
177
94
        self.transport = transport
178
95
        self._lockfiles = lockfiles
179
 
        self._mode_check_done = None
180
96
 
181
97
    def open_repository(self):
182
98
        return RemoteGitRepository(self, self._lockfiles)
183
99
 
184
 
    def open_branch(self, ignore_fallbacks=False):
 
100
    def open_branch(self, _unsupported=False):
185
101
        repo = self.open_repository()
186
102
        # TODO: Support for multiple branches in one bzrdir in bzrlib!
187
103
        return RemoteGitBranch(self, repo, "HEAD", self._lockfiles)
190
106
        raise NotLocalUrl(self.transport.base)
191
107
 
192
108
 
193
 
class EmptyObjectStoreIterator(dict):
194
 
 
195
 
    def iterobjects(self):
196
 
        return []
197
 
 
198
 
 
199
 
class TemporaryPackIterator(Pack):
200
 
 
201
 
    def __init__(self, path, resolve_ext_ref):
202
 
        super(TemporaryPackIterator, self).__init__(path)
203
 
        self.resolve_ext_ref = resolve_ext_ref
204
 
 
205
 
    @property
206
 
    def index(self):
207
 
        if self._idx is None:
208
 
            pb = ui.ui_factory.nested_progress_bar()
209
 
            try:
210
 
                def report_progress(cur, total):
211
 
                    pb.update("generating index", cur, total)
212
 
                self.data.create_index(self._idx_path, self.resolve_ext_ref,
213
 
                    progress=report_progress)
214
 
            finally:
215
 
                pb.finished()
216
 
            self._idx = load_pack_index(self._idx_path)
217
 
        return self._idx
 
109
class TemporaryPackIterator(object):
 
110
 
 
111
    def __init__(self, path):
 
112
        self.path_data = path
 
113
        basename = path[:-len(".pack")]
 
114
        p = PackData(path)
 
115
        self.path_idx = basename+".idx"
 
116
        p.create_index_v2(self.path_idx)
 
117
        self.pack = Pack(basename)
 
118
        self._iter = self.pack.iterobjects()
218
119
 
219
120
    def __del__(self):
220
 
        os.remove(self._data_path)
221
 
        os.remove(self._idx_path)
 
121
        os.remove(self.path_data)
 
122
        os.remove(self.path_idx)
 
123
 
 
124
    def next(self):
 
125
        return (self._iter.next(), None)
 
126
 
 
127
    def __len__(self):
 
128
        return len(self.pack)
222
129
 
223
130
 
224
131
class RemoteGitRepository(GitRepository):
225
132
 
226
133
    def __init__(self, gitdir, lockfiles):
227
134
        GitRepository.__init__(self, gitdir, lockfiles)
228
 
        self._refs = None
229
 
 
230
 
    @property
231
 
    def inventories(self):
232
 
        raise GitSmartRemoteNotSupported()
233
 
 
234
 
    @property
235
 
    def revisions(self):
236
 
        raise GitSmartRemoteNotSupported()
237
 
 
238
 
    @property
239
 
    def texts(self):
240
 
        raise GitSmartRemoteNotSupported()
241
 
 
242
 
    def get_refs(self):
243
 
        if self._refs is not None:
244
 
            return self._refs
245
 
        self._refs = self.bzrdir.root_transport.fetch_pack(lambda x: [], None, 
246
 
            lambda x: None, lambda x: mutter("git: %s" % x))
247
 
        return self._refs
248
135
 
249
136
    def fetch_pack(self, determine_wants, graph_walker, pack_data, 
250
137
                   progress=None):
251
 
        return self._transport.fetch_pack(determine_wants, graph_walker,
252
 
                                          pack_data, progress)
253
 
 
254
 
    def send_pack(self, get_changed_refs, generate_pack_contents):
255
 
        return self._transport.send_pack(get_changed_refs, generate_pack_contents)
256
 
 
257
 
    def fetch_objects(self, determine_wants, graph_walker, resolve_ext_ref, progress=None):
 
138
        self._transport.fetch_pack(determine_wants, graph_walker, pack_data, 
 
139
            progress)
 
140
 
 
141
    def fetch_objects(self, determine_wants, graph_walker, progress=None):
258
142
        fd, path = tempfile.mkstemp(suffix=".pack")
259
143
        self.fetch_pack(determine_wants, graph_walker, lambda x: os.write(fd, x), progress)
260
144
        os.close(fd)
261
 
        if os.path.getsize(path) == 0:
262
 
            return EmptyObjectStoreIterator()
263
 
        return TemporaryPackIterator(path[:-len(".pack")], resolve_ext_ref)
264
 
 
265
 
    def lookup_git_revid(self, bzr_revid):
266
 
        # This won't work for any round-tripped bzr revisions, but it's a start..
267
 
        try:
268
 
            return mapping_registry.revision_id_bzr_to_foreign(bzr_revid)
269
 
        except InvalidRevisionId:
270
 
            raise NoSuchRevision(self, bzr_revid)
271
 
 
272
 
 
273
 
class RemoteGitTagDict(tag.BasicTags):
274
 
 
275
 
    def __init__(self, branch):
276
 
        self.branch = branch
277
 
        self.repository = branch.repository
278
 
 
279
 
    def get_tag_dict(self):
280
 
        return extract_tags(self.repository.get_refs(), self.branch.mapping)
281
 
 
282
 
    def set_tag(self, name, revid):
283
 
        # FIXME: Not supported yet, should do a push of a new ref
284
 
        raise NotImplementedError(self.set_tag)
 
145
        ret = TemporaryPackIterator(path)
 
146
        return (len(ret), iter(ret.next, None))
285
147
 
286
148
 
287
149
class RemoteGitBranch(GitBranch):
288
150
 
289
151
    def __init__(self, bzrdir, repository, name, lockfiles):
290
 
        self._ref = None
291
 
        super(RemoteGitBranch, self).__init__(bzrdir, repository, name, 
292
 
                lockfiles)
293
 
 
294
 
    def revision_history(self):
295
 
        raise GitSmartRemoteNotSupported()
 
152
        def determine_wants(heads):
 
153
            if not name in heads:
 
154
                raise NoSuchRef(name)
 
155
            self._ref = heads[name]
 
156
        bzrdir.root_transport.fetch_pack(determine_wants, None, lambda x: None, 
 
157
                             lambda x: mutter("git: %s" % x))
 
158
        super(RemoteGitBranch, self).__init__(bzrdir, repository, name, self._ref, lockfiles)
296
159
 
297
160
    def last_revision(self):
298
 
        return self.mapping.revision_id_foreign_to_bzr(self.head)
299
 
 
300
 
    @property
301
 
    def head(self):
302
 
        if self._ref is not None:
303
 
            return self._ref
304
 
        heads = self.repository.get_refs()
305
 
        if not self.name in heads:
306
 
            raise NoSuchRef(name)
307
 
        self._ref = heads[self.name]
308
 
        return self._ref
 
161
        return self.mapping.revision_id_foreign_to_bzr(self._ref)
309
162
 
310
163
    def _synchronize_history(self, destination, revision_id):
311
164
        """See Branch._synchronize_history()."""
312
165
        destination.generate_revision_history(self.last_revision())
313
166
 
314
 
    def get_push_location(self):
315
 
        return None
316
 
 
317
 
    def set_push_location(self, url):
318
 
        pass