/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to remote.py

https://launchpad.net/bugs/323972
mention the requirement to install Dulwich.

Show diffs side-by-side

added added

removed removed

Lines of Context:
remote.py
1
 
# Copyright (C) 2007-2009 Jelmer Vernooij <jelmer@samba.org>
 
1
# Copyright (C) 2007-2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
 
from bzrlib import (
18
 
    config,
19
 
    debug,
20
 
    tag,
21
 
    trace,
22
 
    ui,
23
 
    urlutils,
24
 
    )
25
 
from bzrlib.errors import (
26
 
    BzrError,
27
 
    InvalidRevisionId,
28
 
    NoSuchFile,
29
 
    NoSuchRevision,
30
 
    NotLocalUrl,
31
 
    )
32
 
from bzrlib.transport import (
33
 
    Transport,
34
 
    )
 
17
import bzrlib
 
18
from bzrlib import urlutils
 
19
from bzrlib.bzrdir import BzrDir, BzrDirFormat
 
20
from bzrlib.errors import NoSuchFile, NotLocalUrl
 
21
from bzrlib.lockable_files import TransportLock
 
22
from bzrlib.repository import Repository
 
23
from bzrlib.trace import info
 
24
from bzrlib.transport import Transport
35
25
 
36
 
from bzrlib.plugins.git import (
37
 
    lazy_check_versions,
38
 
    )
 
26
from bzrlib.plugins.git import lazy_check_versions
39
27
lazy_check_versions()
40
28
 
41
 
from bzrlib.plugins.git.branch import (
42
 
    GitBranch,
43
 
    )
44
 
from bzrlib.plugins.git.errors import (
45
 
    GitSmartRemoteNotSupported,
46
 
    NoSuchRef,
47
 
    )
48
 
from bzrlib.plugins.git.dir import (
49
 
    GitDir,
50
 
    )
51
 
from bzrlib.plugins.git.mapping import (
52
 
    mapping_registry,
53
 
    )
54
 
from bzrlib.plugins.git.repository import (
55
 
    GitRepository,
56
 
    )
57
 
from bzrlib.plugins.git.refs import (
58
 
    extract_tags,
59
 
    branch_name_to_ref,
60
 
    )
 
29
from bzrlib.plugins.git.branch import GitBranch
 
30
from bzrlib.plugins.git.errors import NoSuchRef
 
31
from bzrlib.plugins.git.dir import GitDir
 
32
from bzrlib.plugins.git.foreign import ForeignBranch
 
33
from bzrlib.plugins.git.repository import GitFormat, GitRepository
61
34
 
62
 
import dulwich as git
63
 
from dulwich.errors import (
64
 
    GitProtocolError,
65
 
    )
66
 
from dulwich.pack import (
67
 
    Pack,
68
 
    ThinPackData,
69
 
    )
70
35
import os
71
36
import tempfile
72
37
import urllib
73
38
import urlparse
74
 
urlparse.uses_netloc.extend(['git', 'git+ssh'])
75
 
 
76
 
from dulwich.pack import load_pack_index
77
 
 
78
 
 
79
 
# Don't run any tests on GitSmartTransport as it is not intended to be
 
39
 
 
40
import dulwich as git
 
41
from dulwich.pack import PackData, Pack
 
42
 
 
43
# Don't run any tests on GitSmartTransport as it is not intended to be 
80
44
# a full implementation of Transport
81
45
def get_test_permutations():
82
46
    return []
83
47
 
84
48
 
85
 
def split_git_url(url):
86
 
    """Split a Git URL.
87
 
 
88
 
    :param url: Git URL
89
 
    :return: Tuple with host, port, username, path.
90
 
    """
91
 
    (scheme, netloc, loc, _, _) = urlparse.urlsplit(url)
92
 
    path = urllib.unquote(loc)
93
 
    if path.startswith("/~"):
94
 
        path = path[1:]
95
 
    (username, hostport) = urllib.splituser(netloc)
96
 
    (host, port) = urllib.splitnport(hostport, None)
97
 
    return (host, port, username, path)
98
 
 
99
 
 
100
49
class GitSmartTransport(Transport):
101
50
 
102
51
    def __init__(self, url, _client=None):
103
52
        Transport.__init__(self, url)
104
 
        (self._host, self._port, self._username, self._path) = \
105
 
            split_git_url(url)
106
 
        if 'transport' in debug.debug_flags:
107
 
            trace.mutter('host: %r, user: %r, port: %r, path: %r',
108
 
                         self._host, self._username, self._port, self._path)
 
53
        (scheme, _, loc, _, _) = urlparse.urlsplit(url)
 
54
        assert scheme == "git"
 
55
        hostport, self._path = urllib.splithost(loc)
 
56
        (self._host, self._port) = urllib.splitnport(hostport, git.protocol.TCP_GIT_PORT)
109
57
        self._client = _client
110
58
 
111
 
    def external_url(self):
112
 
        return self.base
113
 
 
114
 
    def has(self, relpath):
115
 
        return False
116
 
 
117
 
    def _get_client(self, thin_packs):
118
 
        raise NotImplementedError(self._get_client)
119
 
 
120
 
    def _get_path(self):
121
 
        return self._path
 
59
    def _get_client(self):
 
60
        if self._client is not None:
 
61
            ret = self._client
 
62
            self._client = None
 
63
            return ret
 
64
        return git.client.TCPGitClient(self._host, self._port)
122
65
 
123
66
    def fetch_pack(self, determine_wants, graph_walker, pack_data, progress=None):
124
67
        if progress is None:
125
68
            def progress(text):
126
 
                trace.info("git: %s" % text)
127
 
        client = self._get_client(thin_packs=False)
128
 
        try:
129
 
            return client.fetch_pack(self._get_path(), determine_wants,
130
 
                graph_walker, pack_data, progress)
131
 
        except GitProtocolError, e:
132
 
            raise BzrError(e)
133
 
 
134
 
    def send_pack(self, get_changed_refs, generate_pack_contents):
135
 
        client = self._get_client(thin_packs=False)
136
 
        try:
137
 
            return client.send_pack(self._get_path(), get_changed_refs,
138
 
                generate_pack_contents)
139
 
        except GitProtocolError, e:
140
 
            raise BzrError(e)
 
69
                info("git: %s" % text)
 
70
        self._get_client().fetch_pack(self._path, determine_wants, 
 
71
            graph_walker, pack_data, progress)
141
72
 
142
73
    def get(self, path):
143
74
        raise NoSuchFile(path)
152
83
        else:
153
84
            newurl = urlutils.join(self.base, offset)
154
85
 
155
 
        return self.__class__(newurl, self._client)
156
 
 
157
 
 
158
 
class TCPGitSmartTransport(GitSmartTransport):
159
 
 
160
 
    _scheme = 'git'
161
 
 
162
 
    def _get_client(self, thin_packs):
163
 
        if self._client is not None:
164
 
            ret = self._client
165
 
            self._client = None
166
 
            return ret
167
 
        return git.client.TCPGitClient(self._host, self._port,
168
 
            thin_packs=thin_packs, report_activity=self._report_activity)
169
 
 
170
 
 
171
 
class SSHGitSmartTransport(GitSmartTransport):
172
 
 
173
 
    _scheme = 'git+ssh'
174
 
 
175
 
    def _get_path(self):
176
 
        if self._path.startswith("/~/"):
177
 
            return self._path[3:]
178
 
        return self._path
179
 
 
180
 
    def _get_client(self, thin_packs):
181
 
        if self._client is not None:
182
 
            ret = self._client
183
 
            self._client = None
184
 
            return ret
185
 
        return git.client.SSHGitClient(self._host, self._port, self._username,
186
 
            thin_packs=thin_packs, report_activity=self._report_activity)
 
86
        return GitSmartTransport(newurl, self._client)
187
87
 
188
88
 
189
89
class RemoteGitDir(GitDir):
193
93
        self.root_transport = transport
194
94
        self.transport = transport
195
95
        self._lockfiles = lockfiles
196
 
        self._mode_check_done = None
197
 
 
198
 
    def _branch_name_to_ref(self, name):
199
 
        return branch_name_to_ref(name, default="HEAD")
200
96
 
201
97
    def open_repository(self):
202
98
        return RemoteGitRepository(self, self._lockfiles)
203
99
 
204
 
    def _open_branch(self, name=None, ignore_fallbacks=False, 
205
 
                    unsupported=False):
 
100
    def open_branch(self, _unsupported=False):
206
101
        repo = self.open_repository()
207
 
        refname = self._branch_name_to_ref(name)
208
 
        return RemoteGitBranch(self, repo, refname, self._lockfiles)
 
102
        # TODO: Support for multiple branches in one bzrdir in bzrlib!
 
103
        return RemoteGitBranch(self, repo, "HEAD", self._lockfiles)
209
104
 
210
 
    def open_workingtree(self, recommend_upgrade=False):
 
105
    def open_workingtree(self):
211
106
        raise NotLocalUrl(self.transport.base)
212
107
 
213
108
 
214
 
class EmptyObjectStoreIterator(dict):
215
 
 
216
 
    def iterobjects(self):
217
 
        return []
218
 
 
219
 
 
220
 
class TemporaryPackIterator(Pack):
221
 
 
222
 
    def __init__(self, path, resolve_ext_ref):
223
 
        super(TemporaryPackIterator, self).__init__(path)
224
 
        self.resolve_ext_ref = resolve_ext_ref
225
 
 
226
 
    @property
227
 
    def data(self):
228
 
        if self._data is None:
229
 
            self._data = ThinPackData(self.resolve_ext_ref, self._data_path)
230
 
        return self._data
231
 
 
232
 
    @property
233
 
    def index(self):
234
 
        if self._idx is None:
235
 
            if not os.path.exists(self._idx_path):
236
 
                pb = ui.ui_factory.nested_progress_bar()
237
 
                try:
238
 
                    def report_progress(cur, total):
239
 
                        pb.update("generating index", cur, total)
240
 
                    self.data.create_index(self._idx_path, 
241
 
                        progress=report_progress)
242
 
                finally:
243
 
                    pb.finished()
244
 
            self._idx = load_pack_index(self._idx_path)
245
 
        return self._idx
 
109
class TemporaryPackIterator(object):
 
110
 
 
111
    def __init__(self, path):
 
112
        self.path_data = path
 
113
        basename = path[:-len(".pack")]
 
114
        p = PackData(path)
 
115
        self.path_idx = basename+".idx"
 
116
        p.create_index_v2(self.path_idx)
 
117
        self.pack = Pack(basename)
 
118
        self._iter = self.pack.iterobjects()
246
119
 
247
120
    def __del__(self):
248
 
        if self._idx is not None:
249
 
            self._idx.close()
250
 
            os.remove(self._idx_path)
251
 
        if self._data is not None:
252
 
            self._data.close()
253
 
            os.remove(self._data_path)
 
121
        os.remove(self.path_data)
 
122
        os.remove(self.path_idx)
 
123
 
 
124
    def next(self):
 
125
        return (self._iter.next(), None)
 
126
 
 
127
    def __len__(self):
 
128
        return len(self.pack)
254
129
 
255
130
 
256
131
class RemoteGitRepository(GitRepository):
257
132
 
258
133
    def __init__(self, gitdir, lockfiles):
259
134
        GitRepository.__init__(self, gitdir, lockfiles)
260
 
        self._refs = None
261
 
 
262
 
    @property
263
 
    def inventories(self):
264
 
        raise GitSmartRemoteNotSupported()
265
 
 
266
 
    @property
267
 
    def revisions(self):
268
 
        raise GitSmartRemoteNotSupported()
269
 
 
270
 
    @property
271
 
    def texts(self):
272
 
        raise GitSmartRemoteNotSupported()
273
 
 
274
 
    def get_refs(self):
275
 
        if self._refs is not None:
276
 
            return self._refs
277
 
        self._refs = self.bzrdir.root_transport.fetch_pack(lambda x: [], None,
278
 
            lambda x: None, lambda x: trace.mutter("git: %s" % x))
279
 
        return self._refs
280
 
 
281
 
    def fetch_pack(self, determine_wants, graph_walker, pack_data,
 
135
 
 
136
    def fetch_pack(self, determine_wants, graph_walker, pack_data, 
282
137
                   progress=None):
283
 
        return self._transport.fetch_pack(determine_wants, graph_walker,
284
 
                                          pack_data, progress)
285
 
 
286
 
    def send_pack(self, get_changed_refs, generate_pack_contents):
287
 
        return self._transport.send_pack(get_changed_refs, generate_pack_contents)
288
 
 
289
 
    def fetch_objects(self, determine_wants, graph_walker, resolve_ext_ref,
290
 
                      progress=None):
 
138
        self._transport.fetch_pack(determine_wants, graph_walker, pack_data, 
 
139
            progress)
 
140
 
 
141
    def fetch_objects(self, determine_wants, graph_walker, progress=None):
291
142
        fd, path = tempfile.mkstemp(suffix=".pack")
292
 
        self.fetch_pack(determine_wants, graph_walker,
293
 
            lambda x: os.write(fd, x), progress)
 
143
        self.fetch_pack(determine_wants, graph_walker, lambda x: os.write(fd, x), progress)
294
144
        os.close(fd)
295
 
        if os.path.getsize(path) == 0:
296
 
            return EmptyObjectStoreIterator()
297
 
        return TemporaryPackIterator(path[:-len(".pack")], resolve_ext_ref)
298
 
 
299
 
    def lookup_bzr_revision_id(self, bzr_revid):
300
 
        # This won't work for any round-tripped bzr revisions, but it's a start..
301
 
        try:
302
 
            return mapping_registry.revision_id_bzr_to_foreign(bzr_revid)
303
 
        except InvalidRevisionId:
304
 
            raise NoSuchRevision(self, bzr_revid)
305
 
 
306
 
 
307
 
class RemoteGitTagDict(tag.BasicTags):
308
 
 
309
 
    def __init__(self, branch):
310
 
        self.branch = branch
311
 
        self.repository = branch.repository
312
 
 
313
 
    def get_tag_dict(self):
314
 
        tags = {}
315
 
        for k, v in extract_tags(self.repository.get_refs()).iteritems():
316
 
            tags[k] = self.branch.mapping.revision_id_foreign_to_bzr(v)
317
 
        return tags
318
 
 
319
 
    def set_tag(self, name, revid):
320
 
        # FIXME: Not supported yet, should do a push of a new ref
321
 
        raise NotImplementedError(self.set_tag)
 
145
        ret = TemporaryPackIterator(path)
 
146
        return (len(ret), iter(ret.next, None))
322
147
 
323
148
 
324
149
class RemoteGitBranch(GitBranch):
325
150
 
326
151
    def __init__(self, bzrdir, repository, name, lockfiles):
327
 
        self._ref = None
328
 
        super(RemoteGitBranch, self).__init__(bzrdir, repository, name,
329
 
                lockfiles)
330
 
 
331
 
    def revision_history(self):
332
 
        raise GitSmartRemoteNotSupported()
 
152
        def determine_wants(heads):
 
153
            if not name in heads:
 
154
                raise NoSuchRef(name)
 
155
            self._ref = heads[name]
 
156
        bzrdir.root_transport.fetch_pack(determine_wants, None, lambda x: None, 
 
157
                             lambda x: mutter("git: %s" % x))
 
158
        super(RemoteGitBranch, self).__init__(bzrdir, repository, name, self._ref, lockfiles)
333
159
 
334
160
    def last_revision(self):
335
 
        return self.mapping.revision_id_foreign_to_bzr(self.head)
336
 
 
337
 
    def _get_config(self):
338
 
        class EmptyConfig(object):
339
 
 
340
 
            def _get_configobj(self):
341
 
                return config.ConfigObj()
342
 
 
343
 
        return EmptyConfig()
344
 
 
345
 
    @property
346
 
    def head(self):
347
 
        if self._ref is not None:
348
 
            return self._ref
349
 
        heads = self.repository.get_refs()
350
 
        if self.name in heads:
351
 
            self._ref = heads[self.name]
352
 
        elif ("refs/heads/" + self.name) in heads:
353
 
            self._ref = heads["refs/heads/" + self.name]
354
 
        else:
355
 
            raise NoSuchRef(self.name)
356
 
        return self._ref
 
161
        return self.mapping.revision_id_foreign_to_bzr(self._ref)
357
162
 
358
163
    def _synchronize_history(self, destination, revision_id):
359
164
        """See Branch._synchronize_history()."""
360
165
        destination.generate_revision_history(self.last_revision())
361
 
 
362
 
    def get_push_location(self):
363
 
        return None
364
 
 
365
 
    def set_push_location(self, url):
366
 
        pass
 
166