/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/plugins/launchpad/lp_registration.py

  • Committer: Breezy landing bot
  • Author(s): Colin Watson
  • Date: 2020-11-16 21:47:08 UTC
  • mfrom: (7521.1.1 remove-lp-workaround)
  • Revision ID: breezy.the.bot@gmail.com-20201116214708-jos209mgxi41oy15
Remove breezy.git workaround for bazaar.launchpad.net.

Merged from https://code.launchpad.net/~cjwatson/brz/remove-lp-workaround/+merge/393710

Show diffs side-by-side

added added

removed removed

Lines of Context:
breezy/plugins/launchpad/lp_registration.py
1
 
# Copyright (C) 2006-2011 Canonical Ltd
 
1
# Copyright (C) 2006-2017 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
from __future__ import absolute_import
18
 
 
19
 
 
 
17
from io import BytesIO
20
18
import os
21
19
import socket
22
 
from urlparse import urlsplit, urlunsplit
 
20
try:
 
21
    from urllib.parse import urlsplit, urlunsplit
 
22
except ImportError:
 
23
    from urlparse import urlsplit, urlunsplit  # noqa: F401
23
24
import urllib
24
 
import xmlrpclib
 
25
from xmlrpc.client import (
 
26
    __version__ as xmlrpc_version,
 
27
    Fault,
 
28
    ProtocolError,
 
29
    ServerProxy,
 
30
    Transport,
 
31
    )
25
32
 
26
 
from bzrlib import (
27
 
    config,
 
33
from ... import (
28
34
    errors,
29
35
    urlutils,
30
 
    __version__ as _bzrlib_version,
31
 
    )
32
 
from bzrlib.transport.http import _urllib2_wrappers
 
36
    __version__ as _breezy_version,
 
37
    )
 
38
from ...transport import http, get_transport
 
39
 
 
40
from .uris import (
 
41
    DEFAULT_INSTANCE,
 
42
    LAUNCHPAD_DOMAINS,
 
43
    LAUNCHPAD_BAZAAR_DOMAINS,
 
44
    )
33
45
 
34
46
 
35
47
# for testing, do
36
48
'''
37
 
export BZR_LP_XMLRPC_URL=http://xmlrpc.staging.launchpad.net/bazaar/
 
49
export BRZ_LP_XMLRPC_URL=http://xmlrpc.staging.launchpad.net/bazaar/
38
50
'''
39
51
 
 
52
 
 
53
class InvalidURL(errors.PathError):
 
54
 
 
55
    _fmt = 'Invalid url supplied to transport: "%(path)s"%(extra)s'
 
56
 
 
57
 
40
58
class InvalidLaunchpadInstance(errors.BzrError):
41
59
 
42
60
    _fmt = "%(lp_instance)s is not a valid Launchpad instance."
53
71
        errors.BzrError.__init__(self, url=url)
54
72
 
55
73
 
56
 
class XMLRPCTransport(xmlrpclib.Transport):
 
74
class XMLRPCTransport(Transport):
57
75
 
58
76
    def __init__(self, scheme):
59
 
        xmlrpclib.Transport.__init__(self)
 
77
        Transport.__init__(self)
60
78
        self._scheme = scheme
61
 
        self._opener = _urllib2_wrappers.Opener()
62
79
        self.verbose = 0
 
80
        self._possible_bzr_transports = []
63
81
 
64
82
    def request(self, host, handler, request_body, verbose=0):
65
83
        self.verbose = verbose
66
84
        url = self._scheme + "://" + host + handler
67
 
        request = _urllib2_wrappers.Request("POST", url, request_body)
68
 
        # FIXME: _urllib2_wrappers will override user-agent with its own
69
 
        # request.add_header("User-Agent", self.user_agent)
70
 
        request.add_header("Content-Type", "text/xml")
 
85
        transport = get_transport(
 
86
            url, possible_transports=self._possible_bzr_transports)
 
87
        response = transport.request("POST", url, body=request_body, headers={
 
88
            "Content-Type": "text/xml"})
71
89
 
72
 
        response = self._opener.open(request)
73
 
        if response.code != 200:
74
 
            raise xmlrpclib.ProtocolError(host + handler, response.code,
75
 
                                          response.msg, response.info())
76
 
        return self.parse_response(response)
 
90
        if response.status != 200:
 
91
            raise ProtocolError(url, response.status,
 
92
                                response.text, response.headers)
 
93
        return self.parse_response(BytesIO(response.data))
77
94
 
78
95
 
79
96
class LaunchpadService(object):
80
97
    """A service to talk to Launchpad via XMLRPC.
81
98
 
82
 
    See http://wiki.bazaar.canonical.com/Specs/LaunchpadRpc for the methods we can call.
 
99
    See http://wiki.bazaar.canonical.com/Specs/LaunchpadRpc for the methods we
 
100
    can call.
83
101
    """
84
102
 
85
 
    LAUNCHPAD_DOMAINS = {
86
 
        'production': 'launchpad.net',
87
 
        'staging': 'staging.launchpad.net',
88
 
        'qastaging': 'qastaging.launchpad.net',
89
 
        'demo': 'demo.launchpad.net',
90
 
        'dev': 'launchpad.dev',
91
 
        }
92
 
 
93
103
    # NB: these should always end in a slash to avoid xmlrpclib appending
94
104
    # '/RPC2'
95
105
    LAUNCHPAD_INSTANCE = {}
96
 
    for instance, domain in LAUNCHPAD_DOMAINS.iteritems():
 
106
    for instance, domain in LAUNCHPAD_DOMAINS.items():
97
107
        LAUNCHPAD_INSTANCE[instance] = 'https://xmlrpc.%s/bazaar/' % domain
98
108
 
99
 
    # We use production as the default because edge has been deprecated circa
100
 
    # 2010-11 (see bug https://bugs.launchpad.net/bzr/+bug/583667)
101
 
    DEFAULT_INSTANCE = 'production'
102
109
    DEFAULT_SERVICE_URL = LAUNCHPAD_INSTANCE[DEFAULT_INSTANCE]
103
110
 
104
111
    transport = None
105
112
    registrant_email = None
106
113
    registrant_password = None
107
114
 
108
 
 
109
115
    def __init__(self, transport=None, lp_instance=None):
110
116
        """Construct a new service talking to the launchpad rpc server"""
111
117
        self._lp_instance = lp_instance
112
118
        if transport is None:
113
 
            uri_type = urllib.splittype(self.service_url)[0]
 
119
            uri_type = urlutils.parse_url(self.service_url)[0]
114
120
            transport = XMLRPCTransport(uri_type)
115
 
            transport.user_agent = 'bzr/%s (xmlrpclib/%s)' \
116
 
                    % (_bzrlib_version, xmlrpclib.__version__)
117
121
        self.transport = transport
118
122
 
119
123
    @property
122
126
 
123
127
        This does not include the username/password credentials.
124
128
        """
125
 
        key = 'BZR_LP_XMLRPC_URL'
 
129
        key = 'BRZ_LP_XMLRPC_URL'
126
130
        if key in os.environ:
127
131
            return os.environ[key]
128
132
        elif self._lp_instance is not None:
141
145
        if lp_instance == '':
142
146
            lp_instance = None
143
147
        elif lp_instance not in cls.LAUNCHPAD_INSTANCE:
144
 
            raise errors.InvalidURL(path=url)
 
148
            raise InvalidURL(url)
145
149
        return cls(lp_instance=lp_instance, **kwargs)
146
150
 
147
 
    def get_proxy(self, authenticated):
 
151
    def get_proxy(self):
148
152
        """Return the proxy for XMLRPC requests."""
149
 
        if authenticated:
150
 
            # auth info must be in url
151
 
            # TODO: if there's no registrant email perhaps we should
152
 
            # just connect anonymously?
153
 
            scheme, hostinfo, path = urlsplit(self.service_url)[:3]
154
 
            if '@' in hostinfo:
155
 
                raise AssertionError(hostinfo)
156
 
            if self.registrant_email is None:
157
 
                raise AssertionError()
158
 
            if self.registrant_password is None:
159
 
                raise AssertionError()
160
 
            # TODO: perhaps fully quote the password to make it very slightly
161
 
            # obscured
162
 
            # TODO: can we perhaps add extra Authorization headers
163
 
            # directly to the request, rather than putting this into
164
 
            # the url?  perhaps a bit more secure against accidentally
165
 
            # revealing it.  std66 s3.2.1 discourages putting the
166
 
            # password in the url.
167
 
            hostinfo = '%s:%s@%s' % (urlutils.quote(self.registrant_email),
168
 
                                     urlutils.quote(self.registrant_password),
169
 
                                     hostinfo)
170
 
            url = urlunsplit((scheme, hostinfo, path, '', ''))
171
 
        else:
172
 
            url = self.service_url
173
 
        return xmlrpclib.ServerProxy(url, transport=self.transport)
174
 
 
175
 
    def gather_user_credentials(self):
176
 
        """Get the password from the user."""
177
 
        the_config = config.GlobalConfig()
178
 
        self.registrant_email = the_config.user_email()
179
 
        if self.registrant_password is None:
180
 
            auth = config.AuthenticationConfig()
181
 
            scheme, hostinfo = urlsplit(self.service_url)[:2]
182
 
            prompt = 'launchpad.net password for %s: ' % \
183
 
                    self.registrant_email
184
 
            # We will reuse http[s] credentials if we can, prompt user
185
 
            # otherwise
186
 
            self.registrant_password = auth.get_password(scheme, hostinfo,
187
 
                                                         self.registrant_email,
188
 
                                                         prompt=prompt)
189
 
 
190
 
    def send_request(self, method_name, method_params, authenticated):
191
 
        proxy = self.get_proxy(authenticated)
 
153
        url = self.service_url
 
154
        return ServerProxy(url, transport=self.transport)
 
155
 
 
156
    def send_request(self, method_name, method_params):
 
157
        proxy = self.get_proxy()
192
158
        method = getattr(proxy, method_name)
193
159
        try:
194
160
            result = method(*method_params)
195
 
        except xmlrpclib.ProtocolError, e:
 
161
        except ProtocolError as e:
196
162
            if e.errcode == 301:
197
163
                # TODO: This can give a ProtocolError representing a 301 error, whose
198
164
                # e.headers['location'] tells where to go and e.errcode==301; should
199
165
                # probably log something and retry on the new url.
200
166
                raise NotImplementedError("should resend request to %s, but this isn't implemented"
201
 
                        % e.headers.get('Location', 'NO-LOCATION-PRESENT'))
 
167
                                          % e.headers.get('Location', 'NO-LOCATION-PRESENT'))
202
168
            else:
203
169
                # we don't want to print the original message because its
204
170
                # str representation includes the plaintext password.
205
171
                # TODO: print more headers to help in tracking down failures
206
172
                raise errors.BzrError("xmlrpc protocol error connecting to %s: %s %s"
207
 
                        % (self.service_url, e.errcode, e.errmsg))
208
 
        except socket.gaierror, e:
 
173
                                      % (self.service_url, e.errcode, e.errmsg))
 
174
        except socket.gaierror as e:
209
175
            raise errors.ConnectionError(
210
176
                "Could not resolve '%s'" % self.domain,
211
177
                orig_error=e)
214
180
    @property
215
181
    def domain(self):
216
182
        if self._lp_instance is None:
217
 
            instance = self.DEFAULT_INSTANCE
 
183
            instance = DEFAULT_INSTANCE
218
184
        else:
219
185
            instance = self._lp_instance
220
 
        return self.LAUNCHPAD_DOMAINS[instance]
 
186
        return LAUNCHPAD_DOMAINS[instance]
221
187
 
222
188
    def _guess_branch_path(self, branch_url, _request_factory=None):
223
189
        scheme, hostinfo, path = urlsplit(branch_url)[:3]
227
193
            resolve = _request_factory(path)
228
194
            try:
229
195
                result = resolve.submit(self)
230
 
            except xmlrpclib.Fault, fault:
231
 
                raise errors.InvalidURL(branch_url, str(fault))
 
196
            except Fault as fault:
 
197
                raise InvalidURL(branch_url, str(fault))
232
198
            branch_url = result['urls'][0]
233
199
            path = urlsplit(branch_url)[2]
234
200
        else:
235
 
            domains = (
236
 
                'bazaar.%s' % domain
237
 
                for domain in self.LAUNCHPAD_DOMAINS.itervalues())
238
 
            if hostinfo not in domains:
 
201
            if hostinfo not in LAUNCHPAD_BAZAAR_DOMAINS:
239
202
                raise NotLaunchpadBranch(branch_url)
240
203
        return path.lstrip('/')
241
204
 
242
205
    def get_web_url_from_branch_url(self, branch_url, _request_factory=None):
243
206
        """Get the Launchpad web URL for the given branch URL.
244
207
 
245
 
        :raise errors.InvalidURL: if 'branch_url' cannot be identified as a
 
208
        :raise InvalidURL: if 'branch_url' cannot be identified as a
246
209
            Launchpad branch URL.
247
210
        :return: The URL of the branch on Launchpad.
248
211
        """
255
218
 
256
219
    # Set this to the XMLRPC method name.
257
220
    _methodname = None
258
 
    _authenticated = True
259
221
 
260
222
    def _request_params(self):
261
223
        """Return the arguments to pass to the method"""
264
226
    def submit(self, service):
265
227
        """Submit request to Launchpad XMLRPC server.
266
228
 
267
 
        :param service: LaunchpadService indicating where to send
268
 
            the request and the authentication credentials.
 
229
        :param service: LaunchpadService indicating where to send the request.
269
230
        """
270
 
        return service.send_request(self._methodname, self._request_params(),
271
 
                                    self._authenticated)
 
231
        return service.send_request(self._methodname, self._request_params())
272
232
 
273
233
 
274
234
class DryRunLaunchpadService(LaunchpadService):
275
 
    """Service that just absorbs requests without sending to server.
276
 
 
277
 
    The dummy service does not need authentication.
278
 
    """
279
 
 
280
 
    def send_request(self, method_name, method_params, authenticated):
281
 
        pass
282
 
 
283
 
    def gather_user_credentials(self):
284
 
        pass
285
 
 
286
 
 
287
 
class BranchRegistrationRequest(BaseRequest):
288
 
    """Request to tell Launchpad about a bzr branch."""
289
 
 
290
 
    _methodname = 'register_branch'
291
 
 
292
 
    def __init__(self, branch_url,
293
 
                 branch_name='',
294
 
                 branch_title='',
295
 
                 branch_description='',
296
 
                 author_email='',
297
 
                 product_name='',
298
 
                 ):
299
 
        if not branch_url:
300
 
            raise errors.InvalidURL(branch_url, "You need to specify a non-empty branch URL.")
301
 
        self.branch_url = branch_url
302
 
        if branch_name:
303
 
            self.branch_name = branch_name
304
 
        else:
305
 
            self.branch_name = self._find_default_branch_name(self.branch_url)
306
 
        self.branch_title = branch_title
307
 
        self.branch_description = branch_description
308
 
        self.author_email = author_email
309
 
        self.product_name = product_name
310
 
 
311
 
    def _request_params(self):
312
 
        """Return xmlrpc request parameters"""
313
 
        # This must match the parameter tuple expected by Launchpad for this
314
 
        # method
315
 
        return (self.branch_url,
316
 
                self.branch_name,
317
 
                self.branch_title,
318
 
                self.branch_description,
319
 
                self.author_email,
320
 
                self.product_name,
321
 
               )
322
 
 
323
 
    def _find_default_branch_name(self, branch_url):
324
 
        i = branch_url.rfind('/')
325
 
        return branch_url[i+1:]
326
 
 
327
 
 
328
 
class BranchBugLinkRequest(BaseRequest):
329
 
    """Request to link a bzr branch in Launchpad to a bug."""
330
 
 
331
 
    _methodname = 'link_branch_to_bug'
332
 
 
333
 
    def __init__(self, branch_url, bug_id):
334
 
        self.bug_id = bug_id
335
 
        self.branch_url = branch_url
336
 
 
337
 
    def _request_params(self):
338
 
        """Return xmlrpc request parameters"""
339
 
        # This must match the parameter tuple expected by Launchpad for this
340
 
        # method
341
 
        return (self.branch_url, self.bug_id, '')
 
235
    """Service that just absorbs requests without sending to server."""
 
236
 
 
237
    def send_request(self, method_name, method_params):
 
238
        pass
342
239
 
343
240
 
344
241
class ResolveLaunchpadPathRequest(BaseRequest):
345
242
    """Request to resolve the path component of an lp: URL."""
346
243
 
347
244
    _methodname = 'resolve_lp_path'
348
 
    _authenticated = False
349
245
 
350
246
    def __init__(self, path):
351
247
        if not path:
352
 
            raise errors.InvalidURL(path=path,
353
 
                                    extra="You must specify a project.")
 
248
            raise InvalidURL(url=path, extra="You must specify a project.")
354
249
        self.path = path
355
250
 
356
251
    def _request_params(self):