/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to remote.py

Avoid reading everything into memory when accessing objects.

Show diffs side-by-side

added added

removed removed

Lines of Context:
remote.py
 
1
# Copyright (C) 2007-2008 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
import bzrlib
 
18
from bzrlib import urlutils
 
19
from bzrlib.bzrdir import BzrDir, BzrDirFormat
 
20
from bzrlib.errors import NoSuchFile, NotLocalUrl
 
21
from bzrlib.lockable_files import TransportLock
 
22
from bzrlib.repository import Repository
 
23
from bzrlib.trace import info
 
24
from bzrlib.transport import Transport
 
25
 
 
26
from bzrlib.plugins.git import lazy_check_versions
 
27
lazy_check_versions()
 
28
 
 
29
from bzrlib.plugins.git.branch import GitBranch
 
30
from bzrlib.plugins.git.errors import NoSuchRef
 
31
from bzrlib.plugins.git.dir import GitDir
 
32
from bzrlib.plugins.git.foreign import ForeignBranch
 
33
from bzrlib.plugins.git.repository import GitFormat, GitRepository
 
34
 
 
35
import os
 
36
import tempfile
 
37
import urllib
 
38
import urlparse
 
39
 
 
40
import dulwich as git
 
41
from dulwich.pack import PackData, Pack
 
42
 
 
43
# Don't run any tests on GitSmartTransport as it is not intended to be 
 
44
# a full implementation of Transport
 
45
def get_test_permutations():
 
46
    return []
 
47
 
 
48
 
 
49
class GitSmartTransport(Transport):
 
50
 
 
51
    def __init__(self, url, _client=None):
 
52
        Transport.__init__(self, url)
 
53
        (scheme, _, loc, _, _) = urlparse.urlsplit(url)
 
54
        assert scheme == "git"
 
55
        hostport, self._path = urllib.splithost(loc)
 
56
        (self._host, self._port) = urllib.splitnport(hostport, git.protocol.TCP_GIT_PORT)
 
57
        self._client = _client
 
58
 
 
59
    def _get_client(self):
 
60
        if self._client is not None:
 
61
            ret = self._client
 
62
            self._client = None
 
63
            return ret
 
64
        return git.client.TCPGitClient(self._host, self._port)
 
65
 
 
66
    def fetch_pack(self, determine_wants, graph_walker, pack_data, progress=None):
 
67
        if progress is None:
 
68
            def progress(text):
 
69
                info("git: %s" % text)
 
70
        self._get_client().fetch_pack(self._path, determine_wants, 
 
71
            graph_walker, pack_data, progress)
 
72
 
 
73
    def get(self, path):
 
74
        raise NoSuchFile(path)
 
75
 
 
76
    def abspath(self, relpath):
 
77
        return urlutils.join(self.base, relpath)
 
78
 
 
79
    def clone(self, offset=None):
 
80
        """See Transport.clone()."""
 
81
        if offset is None:
 
82
            newurl = self.base
 
83
        else:
 
84
            newurl = urlutils.join(self.base, offset)
 
85
 
 
86
        return GitSmartTransport(newurl, self._client)
 
87
 
 
88
 
 
89
class RemoteGitDir(GitDir):
 
90
 
 
91
    def __init__(self, transport, lockfiles, format):
 
92
        self._format = format
 
93
        self.root_transport = transport
 
94
        self.transport = transport
 
95
        self._lockfiles = lockfiles
 
96
 
 
97
    def open_repository(self):
 
98
        return RemoteGitRepository(self, self._lockfiles)
 
99
 
 
100
    def open_branch(self, _unsupported=False):
 
101
        repo = self.open_repository()
 
102
        # TODO: Support for multiple branches in one bzrdir in bzrlib!
 
103
        return RemoteGitBranch(self, repo, "HEAD", self._lockfiles)
 
104
 
 
105
    def open_workingtree(self):
 
106
        raise NotLocalUrl(self.transport.base)
 
107
 
 
108
 
 
109
class TemporaryPackIterator(object):
 
110
 
 
111
    def __init__(self, path):
 
112
        self.path_data = path
 
113
        basename = path[:-len(".pack")]
 
114
        p = PackData(path)
 
115
        self.path_idx = basename+".idx"
 
116
        p.create_index_v2(self.path_idx)
 
117
        self.pack = Pack(basename)
 
118
        self._iter = self.pack.iterobjects()
 
119
        self.iterobjects = self.pack.iterobjects
 
120
 
 
121
    def __getitem__(self, key):
 
122
        return self.pack[key]
 
123
 
 
124
    def __contains__(self, key):
 
125
        return key in self.pack
 
126
 
 
127
    def __del__(self):
 
128
        os.remove(self.path_data)
 
129
        os.remove(self.path_idx)
 
130
 
 
131
    def next(self):
 
132
        return (self._iter.next(), None)
 
133
 
 
134
    def __len__(self):
 
135
        return len(self.pack)
 
136
 
 
137
 
 
138
class RemoteGitRepository(GitRepository):
 
139
 
 
140
    def __init__(self, gitdir, lockfiles):
 
141
        GitRepository.__init__(self, gitdir, lockfiles)
 
142
 
 
143
    def fetch_pack(self, determine_wants, graph_walker, pack_data, 
 
144
                   progress=None):
 
145
        self._transport.fetch_pack(determine_wants, graph_walker, pack_data, 
 
146
            progress)
 
147
 
 
148
    def fetch_objects(self, determine_wants, graph_walker, progress=None):
 
149
        fd, path = tempfile.mkstemp(suffix=".pack")
 
150
        self.fetch_pack(determine_wants, graph_walker, lambda x: os.write(fd, x), progress)
 
151
        os.close(fd)
 
152
        return TemporaryPackIterator(path)
 
153
 
 
154
 
 
155
class RemoteGitBranch(GitBranch):
 
156
 
 
157
    def __init__(self, bzrdir, repository, name, lockfiles):
 
158
        def determine_wants(heads):
 
159
            if not name in heads:
 
160
                raise NoSuchRef(name)
 
161
            self._ref = heads[name]
 
162
        bzrdir.root_transport.fetch_pack(determine_wants, None, lambda x: None, 
 
163
                             lambda x: mutter("git: %s" % x))
 
164
        super(RemoteGitBranch, self).__init__(bzrdir, repository, name, self._ref, lockfiles)
 
165
 
 
166
    def last_revision(self):
 
167
        return self.mapping.revision_id_foreign_to_bzr(self._ref)
 
168
 
 
169
    def _synchronize_history(self, destination, revision_id):
 
170
        """See Branch._synchronize_history()."""
 
171
        destination.generate_revision_history(self.last_revision())
 
172