/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/urlutils.py

  • Committer: Alexander Belchenko
  • Date: 2006-07-30 16:43:12 UTC
  • mto: (1711.2.111 jam-integration)
  • mto: This revision was merged to the branch mainline in revision 1906.
  • Revision ID: bialix@ukr.net-20060730164312-b025fd3ff0cee59e
rename  gpl.txt => COPYING.txt

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Bazaar -- distributed version control
 
2
#
 
3
# Copyright (C) 2006 by Canonical Ltd
2
4
#
3
5
# This program is free software; you can redistribute it and/or modify
4
6
# it under the terms of the GNU General Public License as published by
12
14
#
13
15
# You should have received a copy of the GNU General Public License
14
16
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
18
 
17
19
"""A collection of function for handling URL operations."""
18
20
 
19
 
from __future__ import absolute_import
20
 
 
21
21
import os
 
22
from posixpath import split as _posix_split, normpath as _posix_normpath
22
23
import re
23
24
import sys
24
 
 
25
 
try:
26
 
    import urlparse
27
 
except ImportError:
28
 
    from urllib import parse as urlparse
29
 
 
30
 
from . import (
31
 
    errors,
32
 
    osutils,
33
 
    )
34
 
 
35
 
from .lazy_import import lazy_import
36
 
lazy_import(globals(), """
37
 
from posixpath import split as _posix_split
38
 
""")
39
 
 
40
 
from .sixish import (
41
 
    int2byte,
42
 
    PY3,
43
 
    text_type,
44
 
    unichr,
45
 
    )
46
 
 
47
 
 
48
 
class InvalidURL(errors.PathError):
49
 
 
50
 
    _fmt = 'Invalid url supplied to transport: "%(path)s"%(extra)s'
51
 
 
52
 
 
53
 
class InvalidURLJoin(errors.PathError):
54
 
 
55
 
    _fmt = "Invalid URL join request: %(reason)s: %(base)r + %(join_args)r"
56
 
 
57
 
    def __init__(self, reason, base, join_args):
58
 
        self.reason = reason
59
 
        self.base = base
60
 
        self.join_args = join_args
61
 
        errors.PathError.__init__(self, base, reason)
62
 
 
63
 
 
64
 
class InvalidRebaseURLs(errors.PathError):
65
 
 
66
 
    _fmt = "URLs differ by more than path: %(from_)r and %(to)r"
67
 
 
68
 
    def __init__(self, from_, to):
69
 
        self.from_ = from_
70
 
        self.to = to
71
 
        errors.PathError.__init__(
72
 
            self, from_, 'URLs differ by more than path.')
 
25
import urllib
 
26
 
 
27
import bzrlib.errors as errors
 
28
import bzrlib.osutils
73
29
 
74
30
 
75
31
def basename(url, exclude_trailing_slash=True):
99
55
    return split(url, exclude_trailing_slash=exclude_trailing_slash)[0]
100
56
 
101
57
 
102
 
if PY3:
103
 
    quote_from_bytes = urlparse.quote_from_bytes
104
 
    quote = urlparse.quote
105
 
    unquote_to_bytes = urlparse.unquote_to_bytes
106
 
else:
107
 
    # Private copies of quote and unquote, copied from Python's urllib module
108
 
    # because urllib unconditionally imports socket, which imports ssl.
109
 
 
110
 
    always_safe = ('ABCDEFGHIJKLMNOPQRSTUVWXYZ'
111
 
                   'abcdefghijklmnopqrstuvwxyz'
112
 
                   '0123456789' '_.-')
113
 
    _safe_map = {}
114
 
    for i, c in zip(range(256), ''.join(map(chr, range(256)))):
115
 
        _safe_map[c] = c if (
116
 
            i < 128 and c in always_safe) else '%{0:02X}'.format(i)
117
 
    _safe_quoters = {}
118
 
 
119
 
    def quote_from_bytes(s, safe='/'):
120
 
        """quote('abc def') -> 'abc%20def'
121
 
 
122
 
        Each part of a URL, e.g. the path info, the query, etc., has a
123
 
        different set of reserved characters that must be quoted.
124
 
 
125
 
        RFC 2396 Uniform Resource Identifiers (URI): Generic Syntax lists
126
 
        the following reserved characters.
127
 
 
128
 
        reserved    = ";" | "/" | "?" | ":" | "@" | "&" | "=" | "+" |
129
 
                      "$" | ","
130
 
 
131
 
        Each of these characters is reserved in some component of a URL,
132
 
        but not necessarily in all of them.
133
 
 
134
 
        By default, the quote function is intended for quoting the path
135
 
        section of a URL.  Thus, it will not encode '/'.  This character
136
 
        is reserved, but in typical usage the quote function is being
137
 
        called on a path where the existing slash characters are used as
138
 
        reserved characters.
139
 
        """
140
 
        # fastpath
141
 
        if not s:
142
 
            if s is None:
143
 
                raise TypeError('None object cannot be quoted')
144
 
            return s
145
 
        cachekey = (safe, always_safe)
146
 
        try:
147
 
            (quoter, safe) = _safe_quoters[cachekey]
148
 
        except KeyError:
149
 
            safe_map = _safe_map.copy()
150
 
            safe_map.update([(c, c) for c in safe])
151
 
            quoter = safe_map.__getitem__
152
 
            safe = always_safe + safe
153
 
            _safe_quoters[cachekey] = (quoter, safe)
154
 
        if not s.rstrip(safe):
155
 
            return s
156
 
        return ''.join(map(quoter, s))
157
 
 
158
 
    quote = quote_from_bytes
159
 
    unquote_to_bytes = urlparse.unquote
160
 
 
161
 
 
162
 
unquote = urlparse.unquote
163
 
 
164
 
 
165
 
def escape(relpath, safe='/~'):
 
58
def escape(relpath):
166
59
    """Escape relpath to be a valid url."""
167
 
    if not isinstance(relpath, str) and sys.version_info[0] == 2:
168
 
        # GZ 2019-06-16: Should use _fs_enc instead here really?
 
60
    if isinstance(relpath, unicode):
169
61
        relpath = relpath.encode('utf-8')
170
 
    return quote(relpath, safe=safe)
 
62
    # After quoting and encoding, the path should be perfectly
 
63
    # safe as a plain ASCII string, str() just enforces this
 
64
    return str(urllib.quote(relpath))
171
65
 
172
66
 
173
67
def file_relpath(base, path):
174
68
    """Compute just the relative sub-portion of a url
175
 
 
 
69
    
176
70
    This assumes that both paths are already fully specified file:// URLs.
177
71
    """
178
 
    if len(base) < MIN_ABS_FILEURL_LENGTH:
179
 
        raise ValueError('Length of base (%r) must equal or'
180
 
                         ' exceed the platform minimum url length (which is %d)' %
181
 
                         (base, MIN_ABS_FILEURL_LENGTH))
182
 
    base = osutils.normpath(local_path_from_url(base))
183
 
    path = osutils.normpath(local_path_from_url(path))
184
 
    return escape(osutils.relpath(base, path))
 
72
    assert len(base) >= MIN_ABS_FILEURL_LENGTH, ('Length of base must be equal or'
 
73
        ' exceed the platform minimum url length (which is %d)' % 
 
74
        MIN_ABS_FILEURL_LENGTH)
 
75
 
 
76
    base = local_path_from_url(base)
 
77
    path = local_path_from_url(path)
 
78
    return escape(bzrlib.osutils.relpath(base, path))
185
79
 
186
80
 
187
81
def _find_scheme_and_separator(url):
202
96
    first_path_slash = path.find('/')
203
97
    if first_path_slash == -1:
204
98
        return len(scheme), None
205
 
    return len(scheme), first_path_slash + m.start('path')
206
 
 
207
 
 
208
 
def is_url(url):
209
 
    """Tests whether a URL is in actual fact a URL."""
210
 
    return _url_scheme_re.match(url) is not None
 
99
    return len(scheme), first_path_slash+len(scheme)+3
211
100
 
212
101
 
213
102
def join(base, *args):
222
111
        join('http://foo', 'bar') => 'http://foo/bar'
223
112
        join('http://foo', 'bar', '../baz') => 'http://foo/baz'
224
113
    """
225
 
    if not args:
226
 
        return base
227
 
    scheme_end, path_start = _find_scheme_and_separator(base)
228
 
    if scheme_end is None and path_start is None:
229
 
        path_start = 0
230
 
    elif path_start is None:
231
 
        path_start = len(base)
232
 
    path = base[path_start:]
 
114
    m = _url_scheme_re.match(base)
 
115
    scheme = None
 
116
    if m:
 
117
        scheme = m.group('scheme')
 
118
        path = m.group('path').split('/')
 
119
        if path[-1:] == ['']:
 
120
            # Strip off a trailing slash
 
121
            # This helps both when we are at the root, and when
 
122
            # 'base' has an extra slash at the end
 
123
            path = path[:-1]
 
124
    else:
 
125
        path = base.split('/')
 
126
 
233
127
    for arg in args:
234
 
        arg_scheme_end, arg_path_start = _find_scheme_and_separator(arg)
235
 
        if arg_scheme_end is None and arg_path_start is None:
236
 
            arg_path_start = 0
237
 
        elif arg_path_start is None:
238
 
            arg_path_start = len(arg)
239
 
        if arg_scheme_end is not None:
240
 
            base = arg
241
 
            path = arg[arg_path_start:]
242
 
            scheme_end = arg_scheme_end
243
 
            path_start = arg_path_start
 
128
        m = _url_scheme_re.match(arg)
 
129
        if m:
 
130
            # Absolute URL
 
131
            scheme = m.group('scheme')
 
132
            path = m.group('path').split('/')
244
133
        else:
245
 
            path = joinpath(path, arg)
246
 
    return base[:path_start] + path
247
 
 
248
 
 
249
 
def joinpath(base, *args):
250
 
    """Join URL path segments to a URL path segment.
251
 
 
252
 
    This is somewhat like osutils.joinpath, but intended for URLs.
253
 
 
254
 
    XXX: this duplicates some normalisation logic, and also duplicates a lot of
255
 
    path handling logic that already exists in some Transport implementations.
256
 
    We really should try to have exactly one place in the code base responsible
257
 
    for combining paths of URLs.
258
 
    """
259
 
    path = base.split('/')
260
 
    if len(path) > 1 and path[-1] == '':
261
 
        # If the path ends in a trailing /, remove it.
262
 
        path.pop()
263
 
    for arg in args:
264
 
        if arg.startswith('/'):
265
 
            path = []
266
 
        for chunk in arg.split('/'):
267
 
            if chunk == '.':
268
 
                continue
269
 
            elif chunk == '..':
270
 
                if path == ['']:
271
 
                    raise InvalidURLJoin('Cannot go above root',
272
 
                                         base, args)
273
 
                path.pop()
274
 
            else:
275
 
                path.append(chunk)
276
 
    if path == ['']:
277
 
        return '/'
278
 
    else:
 
134
            for chunk in arg.split('/'):
 
135
                if chunk == '.':
 
136
                    continue
 
137
                elif chunk == '..':
 
138
                    if len(path) >= 2:
 
139
                        # Don't pop off the host portion
 
140
                        path.pop()
 
141
                    else:
 
142
                        raise errors.InvalidURLJoin('Cannot go above root',
 
143
                                base, args)
 
144
                else:
 
145
                    path.append(chunk)
 
146
 
 
147
    if scheme is None:
279
148
        return '/'.join(path)
 
149
    return scheme + '://' + '/'.join(path)
280
150
 
281
151
 
282
152
# jam 20060502 Sorted to 'l' because the final target is 'local_path_from_url'
283
153
def _posix_local_path_from_url(url):
284
154
    """Convert a url like file:///path/to/foo into /path/to/foo"""
285
 
    url = strip_segment_parameters(url)
286
 
    file_localhost_prefix = 'file://localhost/'
287
 
    if url.startswith(file_localhost_prefix):
288
 
        path = url[len(file_localhost_prefix) - 1:]
289
 
    elif not url.startswith('file:///'):
290
 
        raise InvalidURL(
291
 
            url, 'local urls must start with file:/// or file://localhost/')
292
 
    else:
293
 
        path = url[len('file://'):]
 
155
    if not url.startswith('file:///'):
 
156
        raise errors.InvalidURL(url, 'local urls must start with file:///')
294
157
    # We only strip off 2 slashes
295
 
    return unescape(path)
 
158
    return unescape(url[len('file://'):])
296
159
 
297
160
 
298
161
def _posix_local_path_to_url(path):
300
163
 
301
164
    This also handles transforming escaping unicode characters, etc.
302
165
    """
303
 
    # importing directly from posixpath allows us to test this
 
166
    # importing directly from posixpath allows us to test this 
304
167
    # on non-posix platforms
305
 
    return 'file://' + escape(osutils._posix_abspath(path))
 
168
    return 'file://' + escape(_posix_normpath(
 
169
        bzrlib.osutils._posix_abspath(path)))
306
170
 
307
171
 
308
172
def _win32_local_path_from_url(url):
309
173
    """Convert a url like file:///C:/path/to/foo into C:/path/to/foo"""
310
 
    if not url.startswith('file://'):
311
 
        raise InvalidURL(url, 'local urls must start with file:///, '
312
 
                         'UNC path urls must start with file://')
313
 
    url = strip_segment_parameters(url)
 
174
    if not url.startswith('file:///'):
 
175
        raise errors.InvalidURL(url, 'local urls must start with file:///')
314
176
    # We strip off all 3 slashes
315
 
    win32_url = url[len('file:'):]
316
 
    # check for UNC path: //HOST/path
317
 
    if not win32_url.startswith('///'):
318
 
        if (win32_url[2] == '/'
319
 
                or win32_url[3] in '|:'):
320
 
            raise InvalidURL(url, 'Win32 UNC path urls'
321
 
                             ' have form file://HOST/path')
322
 
        return unescape(win32_url)
323
 
 
324
 
    # allow empty paths so we can serve all roots
325
 
    if win32_url == '///':
326
 
        return '/'
327
 
 
328
 
    # usual local path with drive letter
329
 
    if (len(win32_url) < 6
330
 
        or win32_url[3] not in ('abcdefghijklmnopqrstuvwxyz'
331
 
                                'ABCDEFGHIJKLMNOPQRSTUVWXYZ') or
332
 
        win32_url[4] not in '|:'
333
 
            or win32_url[5] != '/'):
334
 
        raise InvalidURL(url, 'Win32 file urls start with'
335
 
                         ' file:///x:/, where x is a valid drive letter')
336
 
    return win32_url[3].upper() + u':' + unescape(win32_url[5:])
 
177
    win32_url = url[len('file:///'):]
 
178
    if (win32_url[0] not in ('abcdefghijklmnopqrstuvwxyz'
 
179
                             'ABCDEFGHIJKLMNOPQRSTUVWXYZ')
 
180
        or win32_url[1] not in  '|:'
 
181
        or win32_url[2] != '/'):
 
182
        raise errors.InvalidURL(url, 'Win32 file urls start with'
 
183
                ' file:///x:/, where x is a valid drive letter')
 
184
    return win32_url[0].upper() + u':' + unescape(win32_url[2:])
337
185
 
338
186
 
339
187
def _win32_local_path_to_url(path):
341
189
 
342
190
    This also handles transforming escaping unicode characters, etc.
343
191
    """
344
 
    # importing directly from ntpath allows us to test this
 
192
    # importing directly from ntpath allows us to test this 
345
193
    # on non-win32 platform
346
194
    # FIXME: It turns out that on nt, ntpath.abspath uses nt._getfullpathname
347
195
    #       which actually strips trailing space characters.
348
 
    #       The worst part is that on linux ntpath.abspath has different
 
196
    #       The worst part is that under linux ntpath.abspath has different
349
197
    #       semantics, since 'nt' is not an available module.
350
 
    if path == '/':
351
 
        return 'file:///'
352
 
 
353
 
    win32_path = osutils._win32_abspath(path)
354
 
    # check for UNC path \\HOST\path
355
 
    if win32_path.startswith('//'):
356
 
        return 'file:' + escape(win32_path)
357
 
    return ('file:///' + str(win32_path[0].upper()) + ':' +
358
 
            escape(win32_path[2:]))
 
198
    win32_path = bzrlib.osutils._nt_normpath(
 
199
        bzrlib.osutils._win32_abspath(path)).replace('\\', '/')
 
200
    return 'file:///' + win32_path[0].upper() + ':' + escape(win32_path[2:])
359
201
 
360
202
 
361
203
local_path_to_url = _posix_local_path_to_url
370
212
    MIN_ABS_FILEURL_LENGTH = WIN32_MIN_ABS_FILEURL_LENGTH
371
213
 
372
214
 
373
 
_url_scheme_re = re.compile('^(?P<scheme>[^:/]{2,}):(//)?(?P<path>.*)$')
374
 
_url_hex_escapes_re = re.compile('(%[0-9a-fA-F]{2})')
375
 
 
376
 
 
377
 
def _unescape_safe_chars(matchobj):
378
 
    """re.sub callback to convert hex-escapes to plain characters (if safe).
379
 
 
380
 
    e.g. '%7E' will be converted to '~'.
381
 
    """
382
 
    hex_digits = matchobj.group(0)[1:]
383
 
    char = chr(int(hex_digits, 16))
384
 
    if char in _url_dont_escape_characters:
385
 
        return char
386
 
    else:
387
 
        return matchobj.group(0).upper()
 
215
_url_scheme_re = re.compile(r'^(?P<scheme>[^:/]{2,})://(?P<path>.*)$')
388
216
 
389
217
 
390
218
def normalize_url(url):
391
219
    """Make sure that a path string is in fully normalized URL form.
392
 
 
393
 
    This handles URLs which have unicode characters, spaces,
 
220
    
 
221
    This handles URLs which have unicode characters, spaces, 
394
222
    special characters, etc.
395
223
 
396
224
    It has two basic modes of operation, depending on whether the
406
234
    :param url: Either a hybrid URL or a local path
407
235
    :return: A normalized URL which only includes 7-bit ASCII characters.
408
236
    """
409
 
    scheme_end, path_start = _find_scheme_and_separator(url)
410
 
    if scheme_end is None:
 
237
    m = _url_scheme_re.match(url)
 
238
    if not m:
411
239
        return local_path_to_url(url)
412
 
    prefix = url[:path_start]
413
 
    path = url[path_start:]
414
 
    if not isinstance(url, text_type):
 
240
    if not isinstance(url, unicode):
415
241
        for c in url:
416
242
            if c not in _url_safe_characters:
417
 
                raise InvalidURL(url, 'URLs can only contain specific'
418
 
                                 ' safe characters (not %r)' % c)
419
 
        path = _url_hex_escapes_re.sub(_unescape_safe_chars, path)
420
 
        return str(prefix + ''.join(path))
421
 
 
 
243
                raise errors.InvalidURL(url, 'URLs can only contain specific'
 
244
                                            ' safe characters (not %r)' % c)
 
245
        return url
422
246
    # We have a unicode (hybrid) url
423
 
    path_chars = list(path)
 
247
    scheme = m.group('scheme')
 
248
    path = list(m.group('path'))
424
249
 
425
 
    for i in range(len(path_chars)):
426
 
        if path_chars[i] not in _url_safe_characters:
427
 
            path_chars[i] = ''.join(
428
 
                ['%%%02X' % c for c in bytearray(path_chars[i].encode('utf-8'))])
429
 
    path = ''.join(path_chars)
430
 
    path = _url_hex_escapes_re.sub(_unescape_safe_chars, path)
431
 
    return str(prefix + path)
 
250
    for i in xrange(len(path)):
 
251
        if path[i] not in _url_safe_characters:
 
252
            chars = path[i].encode('utf-8')
 
253
            path[i] = ''.join(['%%%02X' % ord(c) for c in path[i].encode('utf-8')])
 
254
    return scheme + '://' + ''.join(path)
432
255
 
433
256
 
434
257
def relative_url(base, other):
440
263
    dummy, base_first_slash = _find_scheme_and_separator(base)
441
264
    if base_first_slash is None:
442
265
        return other
443
 
 
 
266
    
444
267
    dummy, other_first_slash = _find_scheme_and_separator(other)
445
268
    if other_first_slash is None:
446
269
        return other
450
273
    other_scheme = other[:other_first_slash]
451
274
    if base_scheme != other_scheme:
452
275
        return other
453
 
    elif sys.platform == 'win32' and base_scheme == 'file://':
454
 
        base_drive = base[base_first_slash + 1:base_first_slash + 3]
455
 
        other_drive = other[other_first_slash + 1:other_first_slash + 3]
456
 
        if base_drive != other_drive:
457
 
            return other
458
276
 
459
 
    base_path = base[base_first_slash + 1:]
460
 
    other_path = other[other_first_slash + 1:]
 
277
    base_path = base[base_first_slash+1:]
 
278
    other_path = other[other_first_slash+1:]
461
279
 
462
280
    if base_path.endswith('/'):
463
281
        base_path = base_path[:-1]
487
305
    """On win32 the drive letter needs to be added to the url base."""
488
306
    # Strip off the drive letter
489
307
    # path is currently /C:/foo
490
 
    if len(path) < 4 or path[2] not in ':|' or path[3] != '/':
491
 
        raise InvalidURL(url_base + path,
492
 
                         'win32 file:/// paths need a drive letter')
493
 
    url_base += path[0:3]  # file:// + /C:
494
 
    path = path[3:]  # /foo
 
308
    if len(path) < 3 or path[2] not in ':|' or path[3] != '/':
 
309
        raise errors.InvalidURL(url_base + path, 
 
310
            'win32 file:/// paths need a drive letter')
 
311
    url_base += path[0:3] # file:// + /C:
 
312
    path = path[3:] # /foo
495
313
    return url_base, path
496
314
 
497
315
 
502
320
    :param exclude_trailing_slash: Strip off a final '/' if it is part
503
321
        of the path (but not if it is part of the protocol specification)
504
322
 
505
 
    :return: (parent_url, child_dir).  child_dir may be the empty string if
506
 
        we're at the root.
 
323
    :return: (parent_url, child_dir).  child_dir may be the empty string if we're at 
 
324
        the root.
507
325
    """
508
326
    scheme_loc, first_path_slash = _find_scheme_and_separator(url)
509
327
 
519
337
            return url, ''
520
338
 
521
339
    # We have a fully defined path
522
 
    url_base = url[:first_path_slash]  # http://host, file://
523
 
    path = url[first_path_slash:]  # /file/foo
 
340
    url_base = url[:first_path_slash] # http://host, file://
 
341
    path = url[first_path_slash:] # /file/foo
524
342
 
525
343
    if sys.platform == 'win32' and url.startswith('file:///'):
526
344
        # Strip off the drive letter
535
353
    return url_base + head, tail
536
354
 
537
355
 
538
 
def split_segment_parameters_raw(url):
539
 
    """Split the subsegment of the last segment of a URL.
540
 
 
541
 
    :param url: A relative or absolute URL
542
 
    :return: (url, subsegments)
543
 
    """
544
 
    # GZ 2011-11-18: Dodgy removing the terminal slash like this, function
545
 
    #                operates on urls not url+segments, and Transport classes
546
 
    #                should not be blindly adding slashes in the first place.
547
 
    lurl = strip_trailing_slash(url)
548
 
    # Segments begin at first comma after last forward slash, if one exists
549
 
    segment_start = lurl.find(",", lurl.rfind("/") + 1)
550
 
    if segment_start == -1:
551
 
        return (url, [])
552
 
    return (lurl[:segment_start],
553
 
            [str(s) for s in lurl[segment_start + 1:].split(",")])
554
 
 
555
 
 
556
 
def split_segment_parameters(url):
557
 
    """Split the segment parameters of the last segment of a URL.
558
 
 
559
 
    :param url: A relative or absolute URL
560
 
    :return: (url, segment_parameters)
561
 
    """
562
 
    (base_url, subsegments) = split_segment_parameters_raw(url)
563
 
    parameters = {}
564
 
    for subsegment in subsegments:
565
 
        try:
566
 
            (key, value) = subsegment.split("=", 1)
567
 
        except ValueError:
568
 
            raise InvalidURL(url, "missing = in subsegment")
569
 
        if not isinstance(key, str):
570
 
            raise TypeError(key)
571
 
        if not isinstance(value, str):
572
 
            raise TypeError(value)
573
 
        parameters[key] = value
574
 
    return (base_url, parameters)
575
 
 
576
 
 
577
 
def strip_segment_parameters(url):
578
 
    """Strip the segment parameters from a URL.
579
 
 
580
 
    :param url: A relative or absolute URL
581
 
    :return: url
582
 
    """
583
 
    base_url, subsegments = split_segment_parameters_raw(url)
584
 
    return base_url
585
 
 
586
 
 
587
 
def join_segment_parameters_raw(base, *subsegments):
588
 
    """Create a new URL by adding subsegments to an existing one.
589
 
 
590
 
    This adds the specified subsegments to the last path in the specified
591
 
    base URL. The subsegments should be bytestrings.
592
 
 
593
 
    :note: You probably want to use join_segment_parameters instead.
594
 
    """
595
 
    if not subsegments:
596
 
        return base
597
 
    for subsegment in subsegments:
598
 
        if not isinstance(subsegment, str):
599
 
            raise TypeError("Subsegment %r is not a bytestring" % subsegment)
600
 
        if "," in subsegment:
601
 
            raise InvalidURLJoin(", exists in subsegments",
602
 
                                 base, subsegments)
603
 
    return ",".join((base,) + subsegments)
604
 
 
605
 
 
606
 
def join_segment_parameters(url, parameters):
607
 
    """Create a new URL by adding segment parameters to an existing one.
608
 
 
609
 
    The parameters of the last segment in the URL will be updated; if a
610
 
    parameter with the same key already exists it will be overwritten.
611
 
 
612
 
    :param url: A URL, as string
613
 
    :param parameters: Dictionary of parameters, keys and values as bytestrings
614
 
    """
615
 
    (base, existing_parameters) = split_segment_parameters(url)
616
 
    new_parameters = {}
617
 
    new_parameters.update(existing_parameters)
618
 
    for key, value in parameters.items():
619
 
        if not isinstance(key, str):
620
 
            raise TypeError("parameter key %r is not a str" % key)
621
 
        if not isinstance(value, str):
622
 
            raise TypeError("parameter value %r for %r is not a str" %
623
 
                            (value, key))
624
 
        if "=" in key:
625
 
            raise InvalidURLJoin("= exists in parameter key", url,
626
 
                                 parameters)
627
 
        new_parameters[key] = value
628
 
    return join_segment_parameters_raw(
629
 
        base, *["%s=%s" % item for item in sorted(new_parameters.items())])
630
 
 
631
 
 
632
356
def _win32_strip_local_trailing_slash(url):
633
357
    """Strip slashes after the drive letter"""
634
358
    if len(url) > WIN32_MIN_ABS_FILEURL_LENGTH:
661
385
    if not url.endswith('/'):
662
386
        # Nothing to do
663
387
        return url
664
 
    if sys.platform == 'win32' and url.startswith('file://'):
 
388
    if sys.platform == 'win32' and url.startswith('file:///'):
665
389
        return _win32_strip_local_trailing_slash(url)
666
390
 
667
391
    scheme_loc, first_path_slash = _find_scheme_and_separator(url)
670
394
        # so just chop off the last character
671
395
        return url[:-1]
672
396
 
673
 
    if first_path_slash is None or first_path_slash == len(url) - 1:
 
397
    if first_path_slash is None or first_path_slash == len(url)-1:
674
398
        # Don't chop off anything if the only slash is the path
675
399
        # separating slash
676
400
        return url
684
408
    This returns a Unicode path from a URL
685
409
    """
686
410
    # jam 20060427 URLs are supposed to be ASCII only strings
687
 
    #       If they are passed in as unicode, unquote
 
411
    #       If they are passed in as unicode, urllib.unquote
688
412
    #       will return a UNICODE string, which actually contains
689
413
    #       utf-8 bytes. So we have to ensure that they are
690
414
    #       plain ASCII strings, or the final .decode will
691
415
    #       try to encode the UNICODE => ASCII, and then decode
692
416
    #       it into utf-8.
 
417
    try:
 
418
        url = str(url)
 
419
    except UnicodeError, e:
 
420
        raise errors.InvalidURL(url, 'URL was not a plain ASCII url: %s' % (e,))
693
421
 
694
 
    if PY3:
695
 
        if isinstance(url, text_type):
696
 
            try:
697
 
                url.encode("ascii")
698
 
            except UnicodeError as e:
699
 
                raise InvalidURL(
700
 
                    url, 'URL was not a plain ASCII url: %s' % (e,))
701
 
        return urlparse.unquote(url)
702
 
    else:
703
 
        if isinstance(url, text_type):
704
 
            try:
705
 
                url = url.encode("ascii")
706
 
            except UnicodeError as e:
707
 
                raise InvalidURL(
708
 
                    url, 'URL was not a plain ASCII url: %s' % (e,))
709
 
        unquoted = unquote(url)
710
 
        try:
711
 
            unicode_path = unquoted.decode('utf-8')
712
 
        except UnicodeError as e:
713
 
            raise InvalidURL(
714
 
                url, 'Unable to encode the URL as utf-8: %s' % (e,))
715
 
        return unicode_path
 
422
    unquoted = urllib.unquote(url)
 
423
    try:
 
424
        unicode_path = unquoted.decode('utf-8')
 
425
    except UnicodeError, e:
 
426
        raise errors.InvalidURL(url, 'Unable to encode the URL as utf-8: %s' % (e,))
 
427
    return unicode_path
716
428
 
717
429
 
718
430
# These are characters that if escaped, should stay that way
719
431
_no_decode_chars = ';/?:@&=+$,#'
720
432
_no_decode_ords = [ord(c) for c in _no_decode_chars]
721
 
_no_decode_hex = (['%02x' % o for o in _no_decode_ords]
722
 
                  + ['%02X' % o for o in _no_decode_ords])
723
 
_hex_display_map = dict(([('%02x' % o, int2byte(o)) for o in range(256)]
724
 
                         + [('%02X' % o, int2byte(o)) for o in range(256)]))
725
 
# These entries get mapped to themselves
726
 
_hex_display_map.update((hex, b'%' + hex.encode('ascii'))
727
 
                        for hex in _no_decode_hex)
728
 
 
729
 
# These characters shouldn't be percent-encoded, and it's always safe to
730
 
# unencode them if they are.
731
 
_url_dont_escape_characters = set(
732
 
    "abcdefghijklmnopqrstuvwxyz"  # Lowercase alpha
733
 
    "ABCDEFGHIJKLMNOPQRSTUVWXYZ"  # Uppercase alpha
734
 
    "0123456789"  # Numbers
735
 
    "-._~"  # Unreserved characters
736
 
)
 
433
_no_decode_hex = (['%02x' % o for o in _no_decode_ords] 
 
434
                + ['%02X' % o for o in _no_decode_ords])
 
435
_hex_display_map = dict(([('%02x' % o, chr(o)) for o in range(256)]
 
436
                    + [('%02X' % o, chr(o)) for o in range(256)]))
 
437
#These entries get mapped to themselves
 
438
_hex_display_map.update((hex,'%'+hex) for hex in _no_decode_hex)
737
439
 
738
440
# These characters should not be escaped
739
 
_url_safe_characters = set(
740
 
    "abcdefghijklmnopqrstuvwxyz"  # Lowercase alpha
741
 
    "ABCDEFGHIJKLMNOPQRSTUVWXYZ"  # Uppercase alpha
742
 
    "0123456789"  # Numbers
743
 
    "_.-!~*'()"  # Unreserved characters
744
 
    "/;?:@&=+$,"  # Reserved characters
745
 
    "%#"         # Extra reserved characters
746
 
)
747
 
 
748
 
 
749
 
def _unescape_segment_for_display(segment, encoding):
750
 
    """Unescape a segment for display.
751
 
 
752
 
    Helper for unescape_for_display
753
 
 
754
 
    :param url: A 7-bit ASCII URL
755
 
    :param encoding: The final output encoding
756
 
 
757
 
    :return: A unicode string which can be safely encoded into the
758
 
         specified encoding.
759
 
    """
760
 
    escaped_chunks = segment.split('%')
761
 
    escaped_chunks[0] = escaped_chunks[0].encode('utf-8')
762
 
    for j in range(1, len(escaped_chunks)):
763
 
        item = escaped_chunks[j]
764
 
        try:
765
 
            escaped_chunks[j] = _hex_display_map[item[:2]]
766
 
        except KeyError:
767
 
            # Put back the percent symbol
768
 
            escaped_chunks[j] = b'%' + \
769
 
                (item[:2].encode('utf-8') if PY3 else item[:2])
770
 
        except UnicodeDecodeError:
771
 
            escaped_chunks[j] = unichr(int(item[:2], 16)).encode('utf-8')
772
 
        escaped_chunks[j] += (item[2:].encode('utf-8') if PY3 else item[2:])
773
 
    unescaped = b''.join(escaped_chunks)
774
 
    try:
775
 
        decoded = unescaped.decode('utf-8')
776
 
    except UnicodeDecodeError:
777
 
        # If this path segment cannot be properly utf-8 decoded
778
 
        # after doing unescaping we will just leave it alone
779
 
        return segment
780
 
    else:
781
 
        try:
782
 
            decoded.encode(encoding)
783
 
        except UnicodeEncodeError:
784
 
            # If this chunk cannot be encoded in the local
785
 
            # encoding, then we should leave it alone
786
 
            return segment
787
 
        else:
788
 
            # Otherwise take the url decoded one
789
 
            return decoded
 
441
_url_safe_characters = set('abcdefghijklmnopqrstuvwxyz'
 
442
                        'ABCDEFGHIJKLMNOPQRSTUVWXYZ'
 
443
                        '0123456789' '_.-/'
 
444
                        ';?:@&=+$,%#')
790
445
 
791
446
 
792
447
def unescape_for_display(url, encoding):
795
450
    This will turn file:// urls into local paths, and try to decode
796
451
    any portions of a http:// style url that it can.
797
452
 
798
 
    Any sections of the URL which can't be represented in the encoding or
 
453
    Any sections of the URL which can't be represented in the encoding or 
799
454
    need to stay as escapes are left alone.
800
455
 
801
456
    :param url: A 7-bit ASCII URL
802
457
    :param encoding: The final output encoding
803
458
 
804
 
    :return: A unicode string which can be safely encoded into the
 
459
    :return: A unicode string which can be safely encoded into the 
805
460
         specified encoding.
806
461
    """
807
 
    if encoding is None:
808
 
        raise ValueError('you cannot specify None for the display encoding')
 
462
    assert encoding is not None, 'you cannot specify None for the display encoding.'
809
463
    if url.startswith('file://'):
810
464
        try:
811
465
            path = local_path_from_url(url)
816
470
 
817
471
    # Split into sections to try to decode utf-8
818
472
    res = url.split('/')
819
 
    for i in range(1, len(res)):
820
 
        res[i] = _unescape_segment_for_display(res[i], encoding)
 
473
    for i in xrange(1, len(res)):
 
474
        escaped_chunks = res[i].split('%')
 
475
        for j in xrange(1, len(escaped_chunks)):
 
476
            item = escaped_chunks[j]
 
477
            try:
 
478
                escaped_chunks[j] = _hex_display_map[item[:2]] + item[2:]
 
479
            except KeyError:
 
480
                # Put back the percent symbol
 
481
                escaped_chunks[j] = '%' + item
 
482
            except UnicodeDecodeError:
 
483
                escaped_chunks[j] = unichr(int(item[:2], 16)) + item[2:]
 
484
        unescaped = ''.join(escaped_chunks)
 
485
        try:
 
486
            decoded = unescaped.decode('utf-8')
 
487
        except UnicodeDecodeError:
 
488
            # If this path segment cannot be properly utf-8 decoded
 
489
            # after doing unescaping we will just leave it alone
 
490
            pass
 
491
        else:
 
492
            try:
 
493
                decoded.encode(encoding)
 
494
            except UnicodeEncodeError:
 
495
                # If this chunk cannot be encoded in the local
 
496
                # encoding, then we should leave it alone
 
497
                pass
 
498
            else:
 
499
                # Otherwise take the url decoded one
 
500
                res[i] = decoded
821
501
    return u'/'.join(res)
822
 
 
823
 
 
824
 
def derive_to_location(from_location):
825
 
    """Derive a TO_LOCATION given a FROM_LOCATION.
826
 
 
827
 
    The normal case is a FROM_LOCATION of http://foo/bar => bar.
828
 
    The Right Thing for some logical destinations may differ though
829
 
    because no / may be present at all. In that case, the result is
830
 
    the full name without the scheme indicator, e.g. lp:foo-bar => foo-bar.
831
 
    This latter case also applies when a Windows drive
832
 
    is used without a path, e.g. c:foo-bar => foo-bar.
833
 
    If no /, path separator or : is found, the from_location is returned.
834
 
    """
835
 
    from_location = strip_segment_parameters(from_location)
836
 
    if from_location.find("/") >= 0 or from_location.find(os.sep) >= 0:
837
 
        return os.path.basename(from_location.rstrip("/\\"))
838
 
    else:
839
 
        sep = from_location.find(":")
840
 
        if sep > 0:
841
 
            return from_location[sep + 1:]
842
 
        else:
843
 
            return from_location
844
 
 
845
 
 
846
 
def _is_absolute(url):
847
 
    return (osutils.pathjoin('/foo', url) == url)
848
 
 
849
 
 
850
 
def rebase_url(url, old_base, new_base):
851
 
    """Convert a relative path from an old base URL to a new base URL.
852
 
 
853
 
    The result will be a relative path.
854
 
    Absolute paths and full URLs are returned unaltered.
855
 
    """
856
 
    scheme, separator = _find_scheme_and_separator(url)
857
 
    if scheme is not None:
858
 
        return url
859
 
    if _is_absolute(url):
860
 
        return url
861
 
    old_parsed = urlparse.urlparse(old_base)
862
 
    new_parsed = urlparse.urlparse(new_base)
863
 
    if (old_parsed[:2]) != (new_parsed[:2]):
864
 
        raise InvalidRebaseURLs(old_base, new_base)
865
 
    return determine_relative_path(new_parsed[2],
866
 
                                   join(old_parsed[2], url))
867
 
 
868
 
 
869
 
def determine_relative_path(from_path, to_path):
870
 
    """Determine a relative path from from_path to to_path."""
871
 
    from_segments = osutils.splitpath(from_path)
872
 
    to_segments = osutils.splitpath(to_path)
873
 
    count = -1
874
 
    for count, (from_element, to_element) in enumerate(zip(from_segments,
875
 
                                                           to_segments)):
876
 
        if from_element != to_element:
877
 
            break
878
 
    else:
879
 
        count += 1
880
 
    unique_from = from_segments[count:]
881
 
    unique_to = to_segments[count:]
882
 
    segments = (['..'] * len(unique_from) + unique_to)
883
 
    if len(segments) == 0:
884
 
        return '.'
885
 
    return osutils.pathjoin(*segments)
886
 
 
887
 
 
888
 
class URL(object):
889
 
    """Parsed URL."""
890
 
 
891
 
    def __init__(self, scheme, quoted_user, quoted_password, quoted_host,
892
 
                 port, quoted_path):
893
 
        self.scheme = scheme
894
 
        self.quoted_host = quoted_host
895
 
        self.host = unquote(self.quoted_host)
896
 
        self.quoted_user = quoted_user
897
 
        if self.quoted_user is not None:
898
 
            self.user = unquote(self.quoted_user)
899
 
        else:
900
 
            self.user = None
901
 
        self.quoted_password = quoted_password
902
 
        if self.quoted_password is not None:
903
 
            self.password = unquote(self.quoted_password)
904
 
        else:
905
 
            self.password = None
906
 
        self.port = port
907
 
        self.quoted_path = _url_hex_escapes_re.sub(
908
 
            _unescape_safe_chars, quoted_path)
909
 
        self.path = unquote(self.quoted_path)
910
 
 
911
 
    def __eq__(self, other):
912
 
        return (isinstance(other, self.__class__) and
913
 
                self.scheme == other.scheme and
914
 
                self.host == other.host and
915
 
                self.user == other.user and
916
 
                self.password == other.password and
917
 
                self.path == other.path)
918
 
 
919
 
    def __repr__(self):
920
 
        return "<%s(%r, %r, %r, %r, %r, %r)>" % (
921
 
            self.__class__.__name__,
922
 
            self.scheme, self.quoted_user, self.quoted_password,
923
 
            self.quoted_host, self.port, self.quoted_path)
924
 
 
925
 
    @classmethod
926
 
    def from_string(cls, url):
927
 
        """Create a URL object from a string.
928
 
 
929
 
        :param url: URL as bytestring
930
 
        """
931
 
        # GZ 2017-06-09: Actually validate ascii-ness
932
 
        # pad.lv/1696545: For the moment, accept both native strings and
933
 
        # unicode.
934
 
        if isinstance(url, str):
935
 
            pass
936
 
        elif isinstance(url, text_type):
937
 
            try:
938
 
                url = url.encode()
939
 
            except UnicodeEncodeError:
940
 
                raise InvalidURL(url)
941
 
        else:
942
 
            raise InvalidURL(url)
943
 
        (scheme, netloc, path, params,
944
 
         query, fragment) = urlparse.urlparse(url, allow_fragments=False)
945
 
        user = password = host = port = None
946
 
        if '@' in netloc:
947
 
            user, host = netloc.rsplit('@', 1)
948
 
            if ':' in user:
949
 
                user, password = user.split(':', 1)
950
 
        else:
951
 
            host = netloc
952
 
 
953
 
        if ':' in host and not (host[0] == '[' and host[-1] == ']'):
954
 
            # there *is* port
955
 
            host, port = host.rsplit(':', 1)
956
 
            if port:
957
 
                try:
958
 
                    port = int(port)
959
 
                except ValueError:
960
 
                    raise InvalidURL('invalid port number %s in url:\n%s' %
961
 
                                     (port, url))
962
 
            else:
963
 
                port = None
964
 
        if host != "" and host[0] == '[' and host[-1] == ']':  # IPv6
965
 
            host = host[1:-1]
966
 
 
967
 
        return cls(scheme, user, password, host, port, path)
968
 
 
969
 
    def __str__(self):
970
 
        netloc = self.quoted_host
971
 
        if ":" in netloc:
972
 
            netloc = "[%s]" % netloc
973
 
        if self.quoted_user is not None:
974
 
            # Note that we don't put the password back even if we
975
 
            # have one so that it doesn't get accidentally
976
 
            # exposed.
977
 
            netloc = '%s@%s' % (self.quoted_user, netloc)
978
 
        if self.port is not None:
979
 
            netloc = '%s:%d' % (netloc, self.port)
980
 
        return urlparse.urlunparse(
981
 
            (self.scheme, netloc, self.quoted_path, None, None, None))
982
 
 
983
 
    @staticmethod
984
 
    def _combine_paths(base_path, relpath):
985
 
        """Transform a Transport-relative path to a remote absolute path.
986
 
 
987
 
        This does not handle substitution of ~ but does handle '..' and '.'
988
 
        components.
989
 
 
990
 
        Examples::
991
 
 
992
 
            t._combine_paths('/home/sarah', 'project/foo')
993
 
                => '/home/sarah/project/foo'
994
 
            t._combine_paths('/home/sarah', '../../etc')
995
 
                => '/etc'
996
 
            t._combine_paths('/home/sarah', '/etc')
997
 
                => '/etc'
998
 
 
999
 
        :param base_path: base path
1000
 
        :param relpath: relative url string for relative part of remote path.
1001
 
        :return: urlencoded string for final path.
1002
 
        """
1003
 
        # pad.lv/1696545: For the moment, accept both native strings and
1004
 
        # unicode.
1005
 
        if isinstance(relpath, str):
1006
 
            pass
1007
 
        elif isinstance(relpath, text_type):
1008
 
            try:
1009
 
                relpath = relpath.encode()
1010
 
            except UnicodeEncodeError:
1011
 
                raise InvalidURL(relpath)
1012
 
        else:
1013
 
            raise InvalidURL(relpath)
1014
 
        relpath = _url_hex_escapes_re.sub(_unescape_safe_chars, relpath)
1015
 
        if relpath.startswith('/'):
1016
 
            base_parts = []
1017
 
        else:
1018
 
            base_parts = base_path.split('/')
1019
 
        if len(base_parts) > 0 and base_parts[-1] == '':
1020
 
            base_parts = base_parts[:-1]
1021
 
        for p in relpath.split('/'):
1022
 
            if p == '..':
1023
 
                if len(base_parts) == 0:
1024
 
                    # In most filesystems, a request for the parent
1025
 
                    # of root, just returns root.
1026
 
                    continue
1027
 
                base_parts.pop()
1028
 
            elif p == '.':
1029
 
                continue  # No-op
1030
 
            elif p != '':
1031
 
                base_parts.append(p)
1032
 
        path = '/'.join(base_parts)
1033
 
        if not path.startswith('/'):
1034
 
            path = '/' + path
1035
 
        return path
1036
 
 
1037
 
    def clone(self, offset=None):
1038
 
        """Return a new URL for a path relative to this URL.
1039
 
 
1040
 
        :param offset: A relative path, already urlencoded
1041
 
        :return: `URL` instance
1042
 
        """
1043
 
        if offset is not None:
1044
 
            relative = unescape(offset)
1045
 
            if sys.version_info[0] == 2:
1046
 
                relative = relative.encode('utf-8')
1047
 
            path = self._combine_paths(self.path, relative)
1048
 
            path = quote(path, safe="/~")
1049
 
        else:
1050
 
            path = self.quoted_path
1051
 
        return self.__class__(self.scheme, self.quoted_user,
1052
 
                              self.quoted_password, self.quoted_host, self.port,
1053
 
                              path)
1054
 
 
1055
 
 
1056
 
def parse_url(url):
1057
 
    """Extract the server address, the credentials and the path from the url.
1058
 
 
1059
 
    user, password, host and path should be quoted if they contain reserved
1060
 
    chars.
1061
 
 
1062
 
    :param url: an quoted url
1063
 
    :return: (scheme, user, password, host, port, path) tuple, all fields
1064
 
        are unquoted.
1065
 
    """
1066
 
    parsed_url = URL.from_string(url)
1067
 
    return (parsed_url.scheme, parsed_url.user, parsed_url.password,
1068
 
            parsed_url.host, parsed_url.port, parsed_url.path)