/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/tests/test_osutils.py

  • Committer: Martin
  • Date: 2018-11-16 19:10:17 UTC
  • mto: This revision was merged to the branch mainline in revision 7177.
  • Revision ID: gzlist@googlemail.com-20181116191017-kyedz1qck0ovon3h
Remove lazy_regexp reset in bt.test_source

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005-2016 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
"""Tests for the osutils wrapper."""
 
18
 
 
19
from __future__ import absolute_import, division
 
20
 
 
21
import errno
 
22
import os
 
23
import select
 
24
import socket
 
25
import sys
 
26
import tempfile
 
27
import time
 
28
 
 
29
from .. import (
 
30
    errors,
 
31
    osutils,
 
32
    tests,
 
33
    trace,
 
34
    win32utils,
 
35
    )
 
36
from ..sixish import (
 
37
    BytesIO,
 
38
    PY3,
 
39
    text_type,
 
40
    )
 
41
from . import (
 
42
    features,
 
43
    file_utils,
 
44
    test__walkdirs_win32,
 
45
    )
 
46
from .scenarios import load_tests_apply_scenarios
 
47
 
 
48
 
 
49
class _UTF8DirReaderFeature(features.ModuleAvailableFeature):
 
50
 
 
51
    def _probe(self):
 
52
        try:
 
53
            from .. import _readdir_pyx
 
54
            self._module = _readdir_pyx
 
55
            self.reader = _readdir_pyx.UTF8DirReader
 
56
            return True
 
57
        except ImportError:
 
58
            return False
 
59
 
 
60
 
 
61
UTF8DirReaderFeature = _UTF8DirReaderFeature('breezy._readdir_pyx')
 
62
 
 
63
term_ios_feature = features.ModuleAvailableFeature('termios')
 
64
 
 
65
 
 
66
def _already_unicode(s):
 
67
    return s
 
68
 
 
69
 
 
70
def _utf8_to_unicode(s):
 
71
    return s.decode('UTF-8')
 
72
 
 
73
 
 
74
def dir_reader_scenarios():
 
75
    # For each dir reader we define:
 
76
 
 
77
    # - native_to_unicode: a function converting the native_abspath as returned
 
78
    #   by DirReader.read_dir to its unicode representation
 
79
 
 
80
    # UnicodeDirReader is the fallback, it should be tested on all platforms.
 
81
    scenarios = [('unicode',
 
82
                  dict(_dir_reader_class=osutils.UnicodeDirReader,
 
83
                       _native_to_unicode=_already_unicode))]
 
84
    # Some DirReaders are platform specific and even there they may not be
 
85
    # available.
 
86
    if UTF8DirReaderFeature.available():
 
87
        from .. import _readdir_pyx
 
88
        scenarios.append(('utf8',
 
89
                          dict(_dir_reader_class=_readdir_pyx.UTF8DirReader,
 
90
                               _native_to_unicode=_utf8_to_unicode)))
 
91
 
 
92
    if test__walkdirs_win32.win32_readdir_feature.available():
 
93
        try:
 
94
            from .. import _walkdirs_win32
 
95
            scenarios.append(
 
96
                ('win32',
 
97
                 dict(_dir_reader_class=_walkdirs_win32.Win32ReadDir,
 
98
                      _native_to_unicode=_already_unicode)))
 
99
        except ImportError:
 
100
            pass
 
101
    return scenarios
 
102
 
 
103
 
 
104
load_tests = load_tests_apply_scenarios
 
105
 
 
106
 
 
107
class TestContainsWhitespace(tests.TestCase):
 
108
 
 
109
    def test_contains_whitespace(self):
 
110
        self.assertTrue(osutils.contains_whitespace(u' '))
 
111
        self.assertTrue(osutils.contains_whitespace(u'hello there'))
 
112
        self.assertTrue(osutils.contains_whitespace(u'hellothere\n'))
 
113
        self.assertTrue(osutils.contains_whitespace(u'hello\nthere'))
 
114
        self.assertTrue(osutils.contains_whitespace(u'hello\rthere'))
 
115
        self.assertTrue(osutils.contains_whitespace(u'hello\tthere'))
 
116
 
 
117
        # \xa0 is "Non-breaking-space" which on some python locales thinks it
 
118
        # is whitespace, but we do not.
 
119
        self.assertFalse(osutils.contains_whitespace(u''))
 
120
        self.assertFalse(osutils.contains_whitespace(u'hellothere'))
 
121
        self.assertFalse(osutils.contains_whitespace(u'hello\xa0there'))
 
122
 
 
123
 
 
124
class TestRename(tests.TestCaseInTempDir):
 
125
 
 
126
    def create_file(self, filename, content):
 
127
        f = open(filename, 'wb')
 
128
        try:
 
129
            f.write(content)
 
130
        finally:
 
131
            f.close()
 
132
 
 
133
    def _fancy_rename(self, a, b):
 
134
        osutils.fancy_rename(a, b, rename_func=os.rename,
 
135
                             unlink_func=os.unlink)
 
136
 
 
137
    def test_fancy_rename(self):
 
138
        # This should work everywhere
 
139
        self.create_file('a', b'something in a\n')
 
140
        self._fancy_rename('a', 'b')
 
141
        self.assertPathDoesNotExist('a')
 
142
        self.assertPathExists('b')
 
143
        self.check_file_contents('b', b'something in a\n')
 
144
 
 
145
        self.create_file('a', b'new something in a\n')
 
146
        self._fancy_rename('b', 'a')
 
147
 
 
148
        self.check_file_contents('a', b'something in a\n')
 
149
 
 
150
    def test_fancy_rename_fails_source_missing(self):
 
151
        # An exception should be raised, and the target should be left in place
 
152
        self.create_file('target', b'data in target\n')
 
153
        self.assertRaises((IOError, OSError), self._fancy_rename,
 
154
                          'missingsource', 'target')
 
155
        self.assertPathExists('target')
 
156
        self.check_file_contents('target', b'data in target\n')
 
157
 
 
158
    def test_fancy_rename_fails_if_source_and_target_missing(self):
 
159
        self.assertRaises((IOError, OSError), self._fancy_rename,
 
160
                          'missingsource', 'missingtarget')
 
161
 
 
162
    def test_rename(self):
 
163
        # Rename should be semi-atomic on all platforms
 
164
        self.create_file('a', b'something in a\n')
 
165
        osutils.rename('a', 'b')
 
166
        self.assertPathDoesNotExist('a')
 
167
        self.assertPathExists('b')
 
168
        self.check_file_contents('b', b'something in a\n')
 
169
 
 
170
        self.create_file('a', b'new something in a\n')
 
171
        osutils.rename('b', 'a')
 
172
 
 
173
        self.check_file_contents('a', b'something in a\n')
 
174
 
 
175
    # TODO: test fancy_rename using a MemoryTransport
 
176
 
 
177
    def test_rename_change_case(self):
 
178
        # on Windows we should be able to change filename case by rename
 
179
        self.build_tree(['a', 'b/'])
 
180
        osutils.rename('a', 'A')
 
181
        osutils.rename('b', 'B')
 
182
        # we can't use failUnlessExists on case-insensitive filesystem
 
183
        # so try to check shape of the tree
 
184
        shape = sorted(os.listdir('.'))
 
185
        self.assertEqual(['A', 'B'], shape)
 
186
 
 
187
    def test_rename_exception(self):
 
188
        try:
 
189
            osutils.rename('nonexistent_path', 'different_nonexistent_path')
 
190
        except OSError as e:
 
191
            self.assertEqual(e.old_filename, 'nonexistent_path')
 
192
            self.assertEqual(e.new_filename, 'different_nonexistent_path')
 
193
            self.assertTrue('nonexistent_path' in e.strerror)
 
194
            self.assertTrue('different_nonexistent_path' in e.strerror)
 
195
 
 
196
 
 
197
class TestRandChars(tests.TestCase):
 
198
 
 
199
    def test_01_rand_chars_empty(self):
 
200
        result = osutils.rand_chars(0)
 
201
        self.assertEqual(result, '')
 
202
 
 
203
    def test_02_rand_chars_100(self):
 
204
        result = osutils.rand_chars(100)
 
205
        self.assertEqual(len(result), 100)
 
206
        self.assertEqual(type(result), str)
 
207
        self.assertContainsRe(result, r'^[a-z0-9]{100}$')
 
208
 
 
209
 
 
210
class TestIsInside(tests.TestCase):
 
211
 
 
212
    def test_is_inside(self):
 
213
        is_inside = osutils.is_inside
 
214
        self.assertTrue(is_inside('src', 'src/foo.c'))
 
215
        self.assertFalse(is_inside('src', 'srccontrol'))
 
216
        self.assertTrue(is_inside('src', 'src/a/a/a/foo.c'))
 
217
        self.assertTrue(is_inside('foo.c', 'foo.c'))
 
218
        self.assertFalse(is_inside('foo.c', ''))
 
219
        self.assertTrue(is_inside('', 'foo.c'))
 
220
 
 
221
    def test_is_inside_any(self):
 
222
        SRC_FOO_C = osutils.pathjoin('src', 'foo.c')
 
223
        for dirs, fn in [(['src', 'doc'], SRC_FOO_C),
 
224
                         (['src'], SRC_FOO_C),
 
225
                         (['src'], 'src'),
 
226
                         ]:
 
227
            self.assertTrue(osutils.is_inside_any(dirs, fn))
 
228
        for dirs, fn in [(['src'], 'srccontrol'),
 
229
                         (['src'], 'srccontrol/foo')]:
 
230
            self.assertFalse(osutils.is_inside_any(dirs, fn))
 
231
 
 
232
    def test_is_inside_or_parent_of_any(self):
 
233
        for dirs, fn in [(['src', 'doc'], 'src/foo.c'),
 
234
                         (['src'], 'src/foo.c'),
 
235
                         (['src/bar.c'], 'src'),
 
236
                         (['src/bar.c', 'bla/foo.c'], 'src'),
 
237
                         (['src'], 'src'),
 
238
                         ]:
 
239
            self.assertTrue(osutils.is_inside_or_parent_of_any(dirs, fn))
 
240
 
 
241
        for dirs, fn in [(['src'], 'srccontrol'),
 
242
                         (['srccontrol/foo.c'], 'src'),
 
243
                         (['src'], 'srccontrol/foo')]:
 
244
            self.assertFalse(osutils.is_inside_or_parent_of_any(dirs, fn))
 
245
 
 
246
 
 
247
class TestLstat(tests.TestCaseInTempDir):
 
248
 
 
249
    def test_lstat_matches_fstat(self):
 
250
        # On Windows, lstat and fstat don't always agree, primarily in the
 
251
        # 'st_ino' and 'st_dev' fields. So we force them to be '0' in our
 
252
        # custom implementation.
 
253
        if sys.platform == 'win32':
 
254
            # We only have special lstat/fstat if we have the extension.
 
255
            # Without it, we may end up re-reading content when we don't have
 
256
            # to, but otherwise it doesn't effect correctness.
 
257
            self.requireFeature(test__walkdirs_win32.win32_readdir_feature)
 
258
        with open('test-file.txt', 'wb') as f:
 
259
            f.write(b'some content\n')
 
260
            f.flush()
 
261
            self.assertEqualStat(osutils.fstat(f.fileno()),
 
262
                                 osutils.lstat('test-file.txt'))
 
263
 
 
264
 
 
265
class TestRmTree(tests.TestCaseInTempDir):
 
266
 
 
267
    def test_rmtree(self):
 
268
        # Check to remove tree with read-only files/dirs
 
269
        os.mkdir('dir')
 
270
        with open('dir/file', 'w') as f:
 
271
            f.write('spam')
 
272
        # would like to also try making the directory readonly, but at the
 
273
        # moment python shutil.rmtree doesn't handle that properly - it would
 
274
        # need to chmod the directory before removing things inside it - deferred
 
275
        # for now -- mbp 20060505
 
276
        # osutils.make_readonly('dir')
 
277
        osutils.make_readonly('dir/file')
 
278
 
 
279
        osutils.rmtree('dir')
 
280
 
 
281
        self.assertPathDoesNotExist('dir/file')
 
282
        self.assertPathDoesNotExist('dir')
 
283
 
 
284
 
 
285
class TestDeleteAny(tests.TestCaseInTempDir):
 
286
 
 
287
    def test_delete_any_readonly(self):
 
288
        # from <https://bugs.launchpad.net/bzr/+bug/218206>
 
289
        self.build_tree(['d/', 'f'])
 
290
        osutils.make_readonly('d')
 
291
        osutils.make_readonly('f')
 
292
 
 
293
        osutils.delete_any('f')
 
294
        osutils.delete_any('d')
 
295
 
 
296
 
 
297
class TestKind(tests.TestCaseInTempDir):
 
298
 
 
299
    def test_file_kind(self):
 
300
        self.build_tree(['file', 'dir/'])
 
301
        self.assertEqual('file', osutils.file_kind('file'))
 
302
        self.assertEqual('directory', osutils.file_kind('dir/'))
 
303
        if osutils.has_symlinks():
 
304
            os.symlink('symlink', 'symlink')
 
305
            self.assertEqual('symlink', osutils.file_kind('symlink'))
 
306
 
 
307
        # TODO: jam 20060529 Test a block device
 
308
        try:
 
309
            os.lstat('/dev/null')
 
310
        except OSError as e:
 
311
            if e.errno not in (errno.ENOENT,):
 
312
                raise
 
313
        else:
 
314
            self.assertEqual(
 
315
                'chardev',
 
316
                osutils.file_kind(os.path.realpath('/dev/null')))
 
317
 
 
318
        mkfifo = getattr(os, 'mkfifo', None)
 
319
        if mkfifo:
 
320
            mkfifo('fifo')
 
321
            try:
 
322
                self.assertEqual('fifo', osutils.file_kind('fifo'))
 
323
            finally:
 
324
                os.remove('fifo')
 
325
 
 
326
        AF_UNIX = getattr(socket, 'AF_UNIX', None)
 
327
        if AF_UNIX:
 
328
            s = socket.socket(AF_UNIX)
 
329
            s.bind('socket')
 
330
            try:
 
331
                self.assertEqual('socket', osutils.file_kind('socket'))
 
332
            finally:
 
333
                os.remove('socket')
 
334
 
 
335
    def test_kind_marker(self):
 
336
        self.assertEqual("", osutils.kind_marker("file"))
 
337
        self.assertEqual("/", osutils.kind_marker('directory'))
 
338
        self.assertEqual("/", osutils.kind_marker(osutils._directory_kind))
 
339
        self.assertEqual("@", osutils.kind_marker("symlink"))
 
340
        self.assertEqual("+", osutils.kind_marker("tree-reference"))
 
341
        self.assertEqual("", osutils.kind_marker("fifo"))
 
342
        self.assertEqual("", osutils.kind_marker("socket"))
 
343
        self.assertEqual("", osutils.kind_marker("unknown"))
 
344
 
 
345
 
 
346
class TestUmask(tests.TestCaseInTempDir):
 
347
 
 
348
    def test_get_umask(self):
 
349
        if sys.platform == 'win32':
 
350
            # umask always returns '0', no way to set it
 
351
            self.assertEqual(0, osutils.get_umask())
 
352
            return
 
353
 
 
354
        orig_umask = osutils.get_umask()
 
355
        self.addCleanup(os.umask, orig_umask)
 
356
        os.umask(0o222)
 
357
        self.assertEqual(0o222, osutils.get_umask())
 
358
        os.umask(0o022)
 
359
        self.assertEqual(0o022, osutils.get_umask())
 
360
        os.umask(0o002)
 
361
        self.assertEqual(0o002, osutils.get_umask())
 
362
        os.umask(0o027)
 
363
        self.assertEqual(0o027, osutils.get_umask())
 
364
 
 
365
 
 
366
class TestDateTime(tests.TestCase):
 
367
 
 
368
    def assertFormatedDelta(self, expected, seconds):
 
369
        """Assert osutils.format_delta formats as expected"""
 
370
        actual = osutils.format_delta(seconds)
 
371
        self.assertEqual(expected, actual)
 
372
 
 
373
    def test_format_delta(self):
 
374
        self.assertFormatedDelta('0 seconds ago', 0)
 
375
        self.assertFormatedDelta('1 second ago', 1)
 
376
        self.assertFormatedDelta('10 seconds ago', 10)
 
377
        self.assertFormatedDelta('59 seconds ago', 59)
 
378
        self.assertFormatedDelta('89 seconds ago', 89)
 
379
        self.assertFormatedDelta('1 minute, 30 seconds ago', 90)
 
380
        self.assertFormatedDelta('3 minutes, 0 seconds ago', 180)
 
381
        self.assertFormatedDelta('3 minutes, 1 second ago', 181)
 
382
        self.assertFormatedDelta('10 minutes, 15 seconds ago', 615)
 
383
        self.assertFormatedDelta('30 minutes, 59 seconds ago', 1859)
 
384
        self.assertFormatedDelta('31 minutes, 0 seconds ago', 1860)
 
385
        self.assertFormatedDelta('60 minutes, 0 seconds ago', 3600)
 
386
        self.assertFormatedDelta('89 minutes, 59 seconds ago', 5399)
 
387
        self.assertFormatedDelta('1 hour, 30 minutes ago', 5400)
 
388
        self.assertFormatedDelta('2 hours, 30 minutes ago', 9017)
 
389
        self.assertFormatedDelta('10 hours, 0 minutes ago', 36000)
 
390
        self.assertFormatedDelta('24 hours, 0 minutes ago', 86400)
 
391
        self.assertFormatedDelta('35 hours, 59 minutes ago', 129599)
 
392
        self.assertFormatedDelta('36 hours, 0 minutes ago', 129600)
 
393
        self.assertFormatedDelta('36 hours, 0 minutes ago', 129601)
 
394
        self.assertFormatedDelta('36 hours, 1 minute ago', 129660)
 
395
        self.assertFormatedDelta('36 hours, 1 minute ago', 129661)
 
396
        self.assertFormatedDelta('84 hours, 10 minutes ago', 303002)
 
397
 
 
398
        # We handle when time steps the wrong direction because computers
 
399
        # don't have synchronized clocks.
 
400
        self.assertFormatedDelta('84 hours, 10 minutes in the future', -303002)
 
401
        self.assertFormatedDelta('1 second in the future', -1)
 
402
        self.assertFormatedDelta('2 seconds in the future', -2)
 
403
 
 
404
    def test_format_date(self):
 
405
        self.assertRaises(osutils.UnsupportedTimezoneFormat,
 
406
                          osutils.format_date, 0, timezone='foo')
 
407
        self.assertIsInstance(osutils.format_date(0), str)
 
408
        self.assertIsInstance(osutils.format_local_date(0), text_type)
 
409
        # Testing for the actual value of the local weekday without
 
410
        # duplicating the code from format_date is difficult.
 
411
        # Instead blackbox.test_locale should check for localized
 
412
        # dates once they do occur in output strings.
 
413
 
 
414
    def test_format_date_with_offset_in_original_timezone(self):
 
415
        self.assertEqual("Thu 1970-01-01 00:00:00 +0000",
 
416
                         osutils.format_date_with_offset_in_original_timezone(0))
 
417
        self.assertEqual("Fri 1970-01-02 03:46:40 +0000",
 
418
                         osutils.format_date_with_offset_in_original_timezone(100000))
 
419
        self.assertEqual("Fri 1970-01-02 05:46:40 +0200",
 
420
                         osutils.format_date_with_offset_in_original_timezone(100000, 7200))
 
421
 
 
422
    def test_local_time_offset(self):
 
423
        """Test that local_time_offset() returns a sane value."""
 
424
        offset = osutils.local_time_offset()
 
425
        self.assertTrue(isinstance(offset, int))
 
426
        # Test that the offset is no more than a eighteen hours in
 
427
        # either direction.
 
428
        # Time zone handling is system specific, so it is difficult to
 
429
        # do more specific tests, but a value outside of this range is
 
430
        # probably wrong.
 
431
        eighteen_hours = 18 * 3600
 
432
        self.assertTrue(-eighteen_hours < offset < eighteen_hours)
 
433
 
 
434
    def test_local_time_offset_with_timestamp(self):
 
435
        """Test that local_time_offset() works with a timestamp."""
 
436
        offset = osutils.local_time_offset(1000000000.1234567)
 
437
        self.assertTrue(isinstance(offset, int))
 
438
        eighteen_hours = 18 * 3600
 
439
        self.assertTrue(-eighteen_hours < offset < eighteen_hours)
 
440
 
 
441
 
 
442
class TestFdatasync(tests.TestCaseInTempDir):
 
443
 
 
444
    def do_fdatasync(self):
 
445
        f = tempfile.NamedTemporaryFile()
 
446
        osutils.fdatasync(f.fileno())
 
447
        f.close()
 
448
 
 
449
    @staticmethod
 
450
    def raise_eopnotsupp(*args, **kwargs):
 
451
        raise IOError(errno.EOPNOTSUPP, os.strerror(errno.EOPNOTSUPP))
 
452
 
 
453
    @staticmethod
 
454
    def raise_enotsup(*args, **kwargs):
 
455
        raise IOError(errno.ENOTSUP, os.strerror(errno.ENOTSUP))
 
456
 
 
457
    def test_fdatasync_handles_system_function(self):
 
458
        self.overrideAttr(os, "fdatasync")
 
459
        self.do_fdatasync()
 
460
 
 
461
    def test_fdatasync_handles_no_fdatasync_no_fsync(self):
 
462
        self.overrideAttr(os, "fdatasync")
 
463
        self.overrideAttr(os, "fsync")
 
464
        self.do_fdatasync()
 
465
 
 
466
    def test_fdatasync_handles_no_EOPNOTSUPP(self):
 
467
        self.overrideAttr(errno, "EOPNOTSUPP")
 
468
        self.do_fdatasync()
 
469
 
 
470
    def test_fdatasync_catches_ENOTSUP(self):
 
471
        enotsup = getattr(errno, "ENOTSUP", None)
 
472
        if enotsup is None:
 
473
            raise tests.TestNotApplicable("No ENOTSUP on this platform")
 
474
        self.overrideAttr(os, "fdatasync", self.raise_enotsup)
 
475
        self.do_fdatasync()
 
476
 
 
477
    def test_fdatasync_catches_EOPNOTSUPP(self):
 
478
        enotsup = getattr(errno, "EOPNOTSUPP", None)
 
479
        if enotsup is None:
 
480
            raise tests.TestNotApplicable("No EOPNOTSUPP on this platform")
 
481
        self.overrideAttr(os, "fdatasync", self.raise_eopnotsupp)
 
482
        self.do_fdatasync()
 
483
 
 
484
 
 
485
class TestLinks(tests.TestCaseInTempDir):
 
486
 
 
487
    def test_dereference_path(self):
 
488
        self.requireFeature(features.SymlinkFeature)
 
489
        cwd = osutils.realpath('.')
 
490
        os.mkdir('bar')
 
491
        bar_path = osutils.pathjoin(cwd, 'bar')
 
492
        # Using './' to avoid bug #1213894 (first path component not
 
493
        # dereferenced) in Python 2.4.1 and earlier
 
494
        self.assertEqual(bar_path, osutils.realpath('./bar'))
 
495
        os.symlink('bar', 'foo')
 
496
        self.assertEqual(bar_path, osutils.realpath('./foo'))
 
497
 
 
498
        # Does not dereference terminal symlinks
 
499
        foo_path = osutils.pathjoin(cwd, 'foo')
 
500
        self.assertEqual(foo_path, osutils.dereference_path('./foo'))
 
501
 
 
502
        # Dereferences parent symlinks
 
503
        os.mkdir('bar/baz')
 
504
        baz_path = osutils.pathjoin(bar_path, 'baz')
 
505
        self.assertEqual(baz_path, osutils.dereference_path('./foo/baz'))
 
506
 
 
507
        # Dereferences parent symlinks that are the first path element
 
508
        self.assertEqual(baz_path, osutils.dereference_path('foo/baz'))
 
509
 
 
510
        # Dereferences parent symlinks in absolute paths
 
511
        foo_baz_path = osutils.pathjoin(foo_path, 'baz')
 
512
        self.assertEqual(baz_path, osutils.dereference_path(foo_baz_path))
 
513
 
 
514
    def test_changing_access(self):
 
515
        with open('file', 'w') as f:
 
516
            f.write('monkey')
 
517
 
 
518
        # Make a file readonly
 
519
        osutils.make_readonly('file')
 
520
        mode = os.lstat('file').st_mode
 
521
        self.assertEqual(mode, mode & 0o777555)
 
522
 
 
523
        # Make a file writable
 
524
        osutils.make_writable('file')
 
525
        mode = os.lstat('file').st_mode
 
526
        self.assertEqual(mode, mode | 0o200)
 
527
 
 
528
        if osutils.has_symlinks():
 
529
            # should not error when handed a symlink
 
530
            os.symlink('nonexistent', 'dangling')
 
531
            osutils.make_readonly('dangling')
 
532
            osutils.make_writable('dangling')
 
533
 
 
534
    def test_host_os_dereferences_symlinks(self):
 
535
        osutils.host_os_dereferences_symlinks()
 
536
 
 
537
 
 
538
class TestCanonicalRelPath(tests.TestCaseInTempDir):
 
539
 
 
540
    _test_needs_features = [features.CaseInsCasePresFilenameFeature]
 
541
 
 
542
    def test_canonical_relpath_simple(self):
 
543
        f = open('MixedCaseName', 'w')
 
544
        f.close()
 
545
        actual = osutils.canonical_relpath(self.test_base_dir, 'mixedcasename')
 
546
        self.assertEqual('work/MixedCaseName', actual)
 
547
 
 
548
    def test_canonical_relpath_missing_tail(self):
 
549
        os.mkdir('MixedCaseParent')
 
550
        actual = osutils.canonical_relpath(self.test_base_dir,
 
551
                                           'mixedcaseparent/nochild')
 
552
        self.assertEqual('work/MixedCaseParent/nochild', actual)
 
553
 
 
554
 
 
555
class Test_CICPCanonicalRelpath(tests.TestCaseWithTransport):
 
556
 
 
557
    def assertRelpath(self, expected, base, path):
 
558
        actual = osutils._cicp_canonical_relpath(base, path)
 
559
        self.assertEqual(expected, actual)
 
560
 
 
561
    def test_simple(self):
 
562
        self.build_tree(['MixedCaseName'])
 
563
        base = osutils.realpath(self.get_transport('.').local_abspath('.'))
 
564
        self.assertRelpath('MixedCaseName', base, 'mixedcAsename')
 
565
 
 
566
    def test_subdir_missing_tail(self):
 
567
        self.build_tree(['MixedCaseParent/', 'MixedCaseParent/a_child'])
 
568
        base = osutils.realpath(self.get_transport('.').local_abspath('.'))
 
569
        self.assertRelpath('MixedCaseParent/a_child', base,
 
570
                           'MixedCaseParent/a_child')
 
571
        self.assertRelpath('MixedCaseParent/a_child', base,
 
572
                           'MixedCaseParent/A_Child')
 
573
        self.assertRelpath('MixedCaseParent/not_child', base,
 
574
                           'MixedCaseParent/not_child')
 
575
 
 
576
    def test_at_root_slash(self):
 
577
        # We can't test this on Windows, because it has a 'MIN_ABS_PATHLENGTH'
 
578
        # check...
 
579
        if osutils.MIN_ABS_PATHLENGTH > 1:
 
580
            raise tests.TestSkipped('relpath requires %d chars'
 
581
                                    % osutils.MIN_ABS_PATHLENGTH)
 
582
        self.assertRelpath('foo', '/', '/foo')
 
583
 
 
584
    def test_at_root_drive(self):
 
585
        if sys.platform != 'win32':
 
586
            raise tests.TestNotApplicable('we can only test drive-letter relative'
 
587
                                          ' paths on Windows where we have drive'
 
588
                                          ' letters.')
 
589
        # see bug #322807
 
590
        # The specific issue is that when at the root of a drive, 'abspath'
 
591
        # returns "C:/" or just "/". However, the code assumes that abspath
 
592
        # always returns something like "C:/foo" or "/foo" (no trailing slash).
 
593
        self.assertRelpath('foo', 'C:/', 'C:/foo')
 
594
        self.assertRelpath('foo', 'X:/', 'X:/foo')
 
595
        self.assertRelpath('foo', 'X:/', 'X://foo')
 
596
 
 
597
 
 
598
class TestPumpFile(tests.TestCase):
 
599
    """Test pumpfile method."""
 
600
 
 
601
    def setUp(self):
 
602
        super(TestPumpFile, self).setUp()
 
603
        # create a test datablock
 
604
        self.block_size = 512
 
605
        pattern = b'0123456789ABCDEF'
 
606
        self.test_data = pattern * (3 * self.block_size // len(pattern))
 
607
        self.test_data_len = len(self.test_data)
 
608
 
 
609
    def test_bracket_block_size(self):
 
610
        """Read data in blocks with the requested read size bracketing the
 
611
        block size."""
 
612
        # make sure test data is larger than max read size
 
613
        self.assertTrue(self.test_data_len > self.block_size)
 
614
 
 
615
        from_file = file_utils.FakeReadFile(self.test_data)
 
616
        to_file = BytesIO()
 
617
 
 
618
        # read (max // 2) bytes and verify read size wasn't affected
 
619
        num_bytes_to_read = self.block_size // 2
 
620
        osutils.pumpfile(from_file, to_file,
 
621
                         num_bytes_to_read, self.block_size)
 
622
        self.assertEqual(from_file.get_max_read_size(), num_bytes_to_read)
 
623
        self.assertEqual(from_file.get_read_count(), 1)
 
624
 
 
625
        # read (max) bytes and verify read size wasn't affected
 
626
        num_bytes_to_read = self.block_size
 
627
        from_file.reset_read_count()
 
628
        osutils.pumpfile(from_file, to_file,
 
629
                         num_bytes_to_read, self.block_size)
 
630
        self.assertEqual(from_file.get_max_read_size(), num_bytes_to_read)
 
631
        self.assertEqual(from_file.get_read_count(), 1)
 
632
 
 
633
        # read (max + 1) bytes and verify read size was limited
 
634
        num_bytes_to_read = self.block_size + 1
 
635
        from_file.reset_read_count()
 
636
        osutils.pumpfile(from_file, to_file,
 
637
                         num_bytes_to_read, self.block_size)
 
638
        self.assertEqual(from_file.get_max_read_size(), self.block_size)
 
639
        self.assertEqual(from_file.get_read_count(), 2)
 
640
 
 
641
        # finish reading the rest of the data
 
642
        num_bytes_to_read = self.test_data_len - to_file.tell()
 
643
        osutils.pumpfile(from_file, to_file,
 
644
                         num_bytes_to_read, self.block_size)
 
645
 
 
646
        # report error if the data wasn't equal (we only report the size due
 
647
        # to the length of the data)
 
648
        response_data = to_file.getvalue()
 
649
        if response_data != self.test_data:
 
650
            message = "Data not equal.  Expected %d bytes, received %d."
 
651
            self.fail(message % (len(response_data), self.test_data_len))
 
652
 
 
653
    def test_specified_size(self):
 
654
        """Request a transfer larger than the maximum block size and verify
 
655
        that the maximum read doesn't exceed the block_size."""
 
656
        # make sure test data is larger than max read size
 
657
        self.assertTrue(self.test_data_len > self.block_size)
 
658
 
 
659
        # retrieve data in blocks
 
660
        from_file = file_utils.FakeReadFile(self.test_data)
 
661
        to_file = BytesIO()
 
662
        osutils.pumpfile(from_file, to_file, self.test_data_len,
 
663
                         self.block_size)
 
664
 
 
665
        # verify read size was equal to the maximum read size
 
666
        self.assertTrue(from_file.get_max_read_size() > 0)
 
667
        self.assertEqual(from_file.get_max_read_size(), self.block_size)
 
668
        self.assertEqual(from_file.get_read_count(), 3)
 
669
 
 
670
        # report error if the data wasn't equal (we only report the size due
 
671
        # to the length of the data)
 
672
        response_data = to_file.getvalue()
 
673
        if response_data != self.test_data:
 
674
            message = "Data not equal.  Expected %d bytes, received %d."
 
675
            self.fail(message % (len(response_data), self.test_data_len))
 
676
 
 
677
    def test_to_eof(self):
 
678
        """Read to end-of-file and verify that the reads are not larger than
 
679
        the maximum read size."""
 
680
        # make sure test data is larger than max read size
 
681
        self.assertTrue(self.test_data_len > self.block_size)
 
682
 
 
683
        # retrieve data to EOF
 
684
        from_file = file_utils.FakeReadFile(self.test_data)
 
685
        to_file = BytesIO()
 
686
        osutils.pumpfile(from_file, to_file, -1, self.block_size)
 
687
 
 
688
        # verify read size was equal to the maximum read size
 
689
        self.assertEqual(from_file.get_max_read_size(), self.block_size)
 
690
        self.assertEqual(from_file.get_read_count(), 4)
 
691
 
 
692
        # report error if the data wasn't equal (we only report the size due
 
693
        # to the length of the data)
 
694
        response_data = to_file.getvalue()
 
695
        if response_data != self.test_data:
 
696
            message = "Data not equal.  Expected %d bytes, received %d."
 
697
            self.fail(message % (len(response_data), self.test_data_len))
 
698
 
 
699
    def test_defaults(self):
 
700
        """Verifies that the default arguments will read to EOF -- this
 
701
        test verifies that any existing usages of pumpfile will not be broken
 
702
        with this new version."""
 
703
        # retrieve data using default (old) pumpfile method
 
704
        from_file = file_utils.FakeReadFile(self.test_data)
 
705
        to_file = BytesIO()
 
706
        osutils.pumpfile(from_file, to_file)
 
707
 
 
708
        # report error if the data wasn't equal (we only report the size due
 
709
        # to the length of the data)
 
710
        response_data = to_file.getvalue()
 
711
        if response_data != self.test_data:
 
712
            message = "Data not equal.  Expected %d bytes, received %d."
 
713
            self.fail(message % (len(response_data), self.test_data_len))
 
714
 
 
715
    def test_report_activity(self):
 
716
        activity = []
 
717
 
 
718
        def log_activity(length, direction):
 
719
            activity.append((length, direction))
 
720
        from_file = BytesIO(self.test_data)
 
721
        to_file = BytesIO()
 
722
        osutils.pumpfile(from_file, to_file, buff_size=500,
 
723
                         report_activity=log_activity, direction='read')
 
724
        self.assertEqual([(500, 'read'), (500, 'read'), (500, 'read'),
 
725
                          (36, 'read')], activity)
 
726
 
 
727
        from_file = BytesIO(self.test_data)
 
728
        to_file = BytesIO()
 
729
        del activity[:]
 
730
        osutils.pumpfile(from_file, to_file, buff_size=500,
 
731
                         report_activity=log_activity, direction='write')
 
732
        self.assertEqual([(500, 'write'), (500, 'write'), (500, 'write'),
 
733
                          (36, 'write')], activity)
 
734
 
 
735
        # And with a limited amount of data
 
736
        from_file = BytesIO(self.test_data)
 
737
        to_file = BytesIO()
 
738
        del activity[:]
 
739
        osutils.pumpfile(from_file, to_file, buff_size=500, read_length=1028,
 
740
                         report_activity=log_activity, direction='read')
 
741
        self.assertEqual(
 
742
            [(500, 'read'), (500, 'read'), (28, 'read')], activity)
 
743
 
 
744
 
 
745
class TestPumpStringFile(tests.TestCase):
 
746
 
 
747
    def test_empty(self):
 
748
        output = BytesIO()
 
749
        osutils.pump_string_file(b"", output)
 
750
        self.assertEqual(b"", output.getvalue())
 
751
 
 
752
    def test_more_than_segment_size(self):
 
753
        output = BytesIO()
 
754
        osutils.pump_string_file(b"123456789", output, 2)
 
755
        self.assertEqual(b"123456789", output.getvalue())
 
756
 
 
757
    def test_segment_size(self):
 
758
        output = BytesIO()
 
759
        osutils.pump_string_file(b"12", output, 2)
 
760
        self.assertEqual(b"12", output.getvalue())
 
761
 
 
762
    def test_segment_size_multiple(self):
 
763
        output = BytesIO()
 
764
        osutils.pump_string_file(b"1234", output, 2)
 
765
        self.assertEqual(b"1234", output.getvalue())
 
766
 
 
767
 
 
768
class TestRelpath(tests.TestCase):
 
769
 
 
770
    def test_simple_relpath(self):
 
771
        cwd = osutils.getcwd()
 
772
        subdir = cwd + '/subdir'
 
773
        self.assertEqual('subdir', osutils.relpath(cwd, subdir))
 
774
 
 
775
    def test_deep_relpath(self):
 
776
        cwd = osutils.getcwd()
 
777
        subdir = cwd + '/sub/subsubdir'
 
778
        self.assertEqual('sub/subsubdir', osutils.relpath(cwd, subdir))
 
779
 
 
780
    def test_not_relative(self):
 
781
        self.assertRaises(errors.PathNotChild,
 
782
                          osutils.relpath, 'C:/path', 'H:/path')
 
783
        self.assertRaises(errors.PathNotChild,
 
784
                          osutils.relpath, 'C:/', 'H:/path')
 
785
 
 
786
 
 
787
class TestSafeUnicode(tests.TestCase):
 
788
 
 
789
    def test_from_ascii_string(self):
 
790
        self.assertEqual(u'foobar', osutils.safe_unicode(b'foobar'))
 
791
 
 
792
    def test_from_unicode_string_ascii_contents(self):
 
793
        self.assertEqual(u'bargam', osutils.safe_unicode(u'bargam'))
 
794
 
 
795
    def test_from_unicode_string_unicode_contents(self):
 
796
        self.assertEqual(u'bargam\xae', osutils.safe_unicode(u'bargam\xae'))
 
797
 
 
798
    def test_from_utf8_string(self):
 
799
        self.assertEqual(u'foo\xae', osutils.safe_unicode(b'foo\xc2\xae'))
 
800
 
 
801
    def test_bad_utf8_string(self):
 
802
        self.assertRaises(errors.BzrBadParameterNotUnicode,
 
803
                          osutils.safe_unicode,
 
804
                          b'\xbb\xbb')
 
805
 
 
806
 
 
807
class TestSafeUtf8(tests.TestCase):
 
808
 
 
809
    def test_from_ascii_string(self):
 
810
        f = b'foobar'
 
811
        self.assertEqual(b'foobar', osutils.safe_utf8(f))
 
812
 
 
813
    def test_from_unicode_string_ascii_contents(self):
 
814
        self.assertEqual(b'bargam', osutils.safe_utf8(u'bargam'))
 
815
 
 
816
    def test_from_unicode_string_unicode_contents(self):
 
817
        self.assertEqual(b'bargam\xc2\xae', osutils.safe_utf8(u'bargam\xae'))
 
818
 
 
819
    def test_from_utf8_string(self):
 
820
        self.assertEqual(b'foo\xc2\xae', osutils.safe_utf8(b'foo\xc2\xae'))
 
821
 
 
822
    def test_bad_utf8_string(self):
 
823
        self.assertRaises(errors.BzrBadParameterNotUnicode,
 
824
                          osutils.safe_utf8, b'\xbb\xbb')
 
825
 
 
826
 
 
827
class TestSafeRevisionId(tests.TestCase):
 
828
 
 
829
    def test_from_ascii_string(self):
 
830
        # this shouldn't give a warning because it's getting an ascii string
 
831
        self.assertEqual(b'foobar', osutils.safe_revision_id(b'foobar'))
 
832
 
 
833
    def test_from_unicode_string_ascii_contents(self):
 
834
        self.assertRaises(TypeError,
 
835
                          osutils.safe_revision_id, u'bargam')
 
836
 
 
837
    def test_from_unicode_string_unicode_contents(self):
 
838
        self.assertRaises(TypeError,
 
839
                          osutils.safe_revision_id, u'bargam\xae')
 
840
 
 
841
    def test_from_utf8_string(self):
 
842
        self.assertEqual(b'foo\xc2\xae',
 
843
                         osutils.safe_revision_id(b'foo\xc2\xae'))
 
844
 
 
845
    def test_none(self):
 
846
        """Currently, None is a valid revision_id"""
 
847
        self.assertEqual(None, osutils.safe_revision_id(None))
 
848
 
 
849
 
 
850
class TestSafeFileId(tests.TestCase):
 
851
 
 
852
    def test_from_ascii_string(self):
 
853
        self.assertEqual(b'foobar', osutils.safe_file_id(b'foobar'))
 
854
 
 
855
    def test_from_unicode_string_ascii_contents(self):
 
856
        self.assertRaises(TypeError, osutils.safe_file_id, u'bargam')
 
857
 
 
858
    def test_from_unicode_string_unicode_contents(self):
 
859
        self.assertRaises(TypeError,
 
860
                          osutils.safe_file_id, u'bargam\xae')
 
861
 
 
862
    def test_from_utf8_string(self):
 
863
        self.assertEqual(b'foo\xc2\xae',
 
864
                         osutils.safe_file_id(b'foo\xc2\xae'))
 
865
 
 
866
    def test_none(self):
 
867
        """Currently, None is a valid revision_id"""
 
868
        self.assertEqual(None, osutils.safe_file_id(None))
 
869
 
 
870
 
 
871
class TestSendAll(tests.TestCase):
 
872
 
 
873
    def test_send_with_disconnected_socket(self):
 
874
        class DisconnectedSocket(object):
 
875
            def __init__(self, err):
 
876
                self.err = err
 
877
 
 
878
            def send(self, content):
 
879
                raise self.err
 
880
 
 
881
            def close(self):
 
882
                pass
 
883
        # All of these should be treated as ConnectionReset
 
884
        errs = []
 
885
        for err_cls in (IOError, socket.error):
 
886
            for errnum in osutils._end_of_stream_errors:
 
887
                errs.append(err_cls(errnum))
 
888
        for err in errs:
 
889
            sock = DisconnectedSocket(err)
 
890
            self.assertRaises(errors.ConnectionReset,
 
891
                              osutils.send_all, sock, b'some more content')
 
892
 
 
893
    def test_send_with_no_progress(self):
 
894
        # See https://bugs.launchpad.net/bzr/+bug/1047309
 
895
        # It seems that paramiko can get into a state where it doesn't error,
 
896
        # but it returns 0 bytes sent for requests over and over again.
 
897
        class NoSendingSocket(object):
 
898
            def __init__(self):
 
899
                self.call_count = 0
 
900
 
 
901
            def send(self, bytes):
 
902
                self.call_count += 1
 
903
                if self.call_count > 100:
 
904
                    # Prevent the test suite from hanging
 
905
                    raise RuntimeError('too many calls')
 
906
                return 0
 
907
        sock = NoSendingSocket()
 
908
        self.assertRaises(errors.ConnectionReset,
 
909
                          osutils.send_all, sock, b'content')
 
910
        self.assertEqual(1, sock.call_count)
 
911
 
 
912
 
 
913
class TestPosixFuncs(tests.TestCase):
 
914
    """Test that the posix version of normpath returns an appropriate path
 
915
       when used with 2 leading slashes."""
 
916
 
 
917
    def test_normpath(self):
 
918
        self.assertEqual('/etc/shadow', osutils._posix_normpath('/etc/shadow'))
 
919
        self.assertEqual(
 
920
            '/etc/shadow', osutils._posix_normpath('//etc/shadow'))
 
921
        self.assertEqual(
 
922
            '/etc/shadow', osutils._posix_normpath('///etc/shadow'))
 
923
 
 
924
 
 
925
class TestWin32Funcs(tests.TestCase):
 
926
    """Test that _win32 versions of os utilities return appropriate paths."""
 
927
 
 
928
    def test_abspath(self):
 
929
        self.requireFeature(features.win32_feature)
 
930
        self.assertEqual('C:/foo', osutils._win32_abspath('C:\\foo'))
 
931
        self.assertEqual('C:/foo', osutils._win32_abspath('C:/foo'))
 
932
        self.assertEqual('//HOST/path', osutils._win32_abspath(r'\\HOST\path'))
 
933
        self.assertEqual('//HOST/path', osutils._win32_abspath('//HOST/path'))
 
934
 
 
935
    def test_realpath(self):
 
936
        self.assertEqual('C:/foo', osutils._win32_realpath('C:\\foo'))
 
937
        self.assertEqual('C:/foo', osutils._win32_realpath('C:/foo'))
 
938
 
 
939
    def test_pathjoin(self):
 
940
        self.assertEqual('path/to/foo',
 
941
                         osutils._win32_pathjoin('path', 'to', 'foo'))
 
942
        self.assertEqual('C:/foo',
 
943
                         osutils._win32_pathjoin('path\\to', 'C:\\foo'))
 
944
        self.assertEqual('C:/foo',
 
945
                         osutils._win32_pathjoin('path/to', 'C:/foo'))
 
946
        self.assertEqual('path/to/foo',
 
947
                         osutils._win32_pathjoin('path/to/', 'foo'))
 
948
 
 
949
    def test_pathjoin_late_bugfix(self):
 
950
        if sys.version_info < (2, 7, 6):
 
951
            expected = '/foo'
 
952
        else:
 
953
            expected = 'C:/foo'
 
954
        self.assertEqual(expected,
 
955
                         osutils._win32_pathjoin('C:/path/to/', '/foo'))
 
956
        self.assertEqual(expected,
 
957
                         osutils._win32_pathjoin('C:\\path\\to\\', '\\foo'))
 
958
 
 
959
    def test_normpath(self):
 
960
        self.assertEqual('path/to/foo',
 
961
                         osutils._win32_normpath(r'path\\from\..\to\.\foo'))
 
962
        self.assertEqual('path/to/foo',
 
963
                         osutils._win32_normpath('path//from/../to/./foo'))
 
964
 
 
965
    def test_getcwd(self):
 
966
        cwd = osutils._win32_getcwd()
 
967
        os_cwd = osutils._getcwd()
 
968
        self.assertEqual(os_cwd[1:].replace('\\', '/'), cwd[1:])
 
969
        # win32 is inconsistent whether it returns lower or upper case
 
970
        # and even if it was consistent the user might type the other
 
971
        # so we force it to uppercase
 
972
        # running python.exe under cmd.exe return capital C:\\
 
973
        # running win32 python inside a cygwin shell returns lowercase
 
974
        self.assertEqual(os_cwd[0].upper(), cwd[0])
 
975
 
 
976
    def test_fixdrive(self):
 
977
        self.assertEqual('H:/foo', osutils._win32_fixdrive('h:/foo'))
 
978
        self.assertEqual('H:/foo', osutils._win32_fixdrive('H:/foo'))
 
979
        self.assertEqual('C:\\foo', osutils._win32_fixdrive('c:\\foo'))
 
980
 
 
981
 
 
982
class TestWin32FuncsDirs(tests.TestCaseInTempDir):
 
983
    """Test win32 functions that create files."""
 
984
 
 
985
    def test_getcwd(self):
 
986
        self.requireFeature(features.UnicodeFilenameFeature)
 
987
        os.mkdir(u'mu-\xb5')
 
988
        os.chdir(u'mu-\xb5')
 
989
        # TODO: jam 20060427 This will probably fail on Mac OSX because
 
990
        #       it will change the normalization of B\xe5gfors
 
991
        #       Consider using a different unicode character, or make
 
992
        #       osutils.getcwd() renormalize the path.
 
993
        self.assertEndsWith(osutils._win32_getcwd(), u'mu-\xb5')
 
994
 
 
995
    def test_minimum_path_selection(self):
 
996
        self.assertEqual(set(),
 
997
                         osutils.minimum_path_selection([]))
 
998
        self.assertEqual({'a'},
 
999
                         osutils.minimum_path_selection(['a']))
 
1000
        self.assertEqual({'a', 'b'},
 
1001
                         osutils.minimum_path_selection(['a', 'b']))
 
1002
        self.assertEqual({'a/', 'b'},
 
1003
                         osutils.minimum_path_selection(['a/', 'b']))
 
1004
        self.assertEqual({'a/', 'b'},
 
1005
                         osutils.minimum_path_selection(['a/c', 'a/', 'b']))
 
1006
        self.assertEqual({'a-b', 'a', 'a0b'},
 
1007
                         osutils.minimum_path_selection(['a-b', 'a/b', 'a0b', 'a']))
 
1008
 
 
1009
    def test_mkdtemp(self):
 
1010
        tmpdir = osutils._win32_mkdtemp(dir='.')
 
1011
        self.assertFalse('\\' in tmpdir)
 
1012
 
 
1013
    def test_rename(self):
 
1014
        with open('a', 'wb') as a:
 
1015
            a.write(b'foo\n')
 
1016
        with open('b', 'wb') as b:
 
1017
            b.write(b'baz\n')
 
1018
 
 
1019
        osutils._win32_rename('b', 'a')
 
1020
        self.assertPathExists('a')
 
1021
        self.assertPathDoesNotExist('b')
 
1022
        self.assertFileEqual(b'baz\n', 'a')
 
1023
 
 
1024
    def test_rename_missing_file(self):
 
1025
        with open('a', 'wb') as a:
 
1026
            a.write(b'foo\n')
 
1027
 
 
1028
        try:
 
1029
            osutils._win32_rename('b', 'a')
 
1030
        except (IOError, OSError) as e:
 
1031
            self.assertEqual(errno.ENOENT, e.errno)
 
1032
        self.assertFileEqual(b'foo\n', 'a')
 
1033
 
 
1034
    def test_rename_missing_dir(self):
 
1035
        os.mkdir('a')
 
1036
        try:
 
1037
            osutils._win32_rename('b', 'a')
 
1038
        except (IOError, OSError) as e:
 
1039
            self.assertEqual(errno.ENOENT, e.errno)
 
1040
 
 
1041
    def test_rename_current_dir(self):
 
1042
        os.mkdir('a')
 
1043
        os.chdir('a')
 
1044
        # You can't rename the working directory
 
1045
        # doing rename non-existant . usually
 
1046
        # just raises ENOENT, since non-existant
 
1047
        # doesn't exist.
 
1048
        try:
 
1049
            osutils._win32_rename('b', '.')
 
1050
        except (IOError, OSError) as e:
 
1051
            self.assertEqual(errno.ENOENT, e.errno)
 
1052
 
 
1053
    def test_splitpath(self):
 
1054
        def check(expected, path):
 
1055
            self.assertEqual(expected, osutils.splitpath(path))
 
1056
 
 
1057
        check(['a'], 'a')
 
1058
        check(['a', 'b'], 'a/b')
 
1059
        check(['a', 'b'], 'a/./b')
 
1060
        check(['a', '.b'], 'a/.b')
 
1061
        check(['a', '.b'], 'a\\.b')
 
1062
 
 
1063
        self.assertRaises(errors.BzrError, osutils.splitpath, 'a/../b')
 
1064
 
 
1065
 
 
1066
class TestParentDirectories(tests.TestCaseInTempDir):
 
1067
    """Test osutils.parent_directories()"""
 
1068
 
 
1069
    def test_parent_directories(self):
 
1070
        self.assertEqual([], osutils.parent_directories('a'))
 
1071
        self.assertEqual(['a'], osutils.parent_directories('a/b'))
 
1072
        self.assertEqual(['a/b', 'a'], osutils.parent_directories('a/b/c'))
 
1073
 
 
1074
 
 
1075
class TestMacFuncsDirs(tests.TestCaseInTempDir):
 
1076
    """Test mac special functions that require directories."""
 
1077
 
 
1078
    def test_getcwd(self):
 
1079
        self.requireFeature(features.UnicodeFilenameFeature)
 
1080
        os.mkdir(u'B\xe5gfors')
 
1081
        os.chdir(u'B\xe5gfors')
 
1082
        self.assertEndsWith(osutils._mac_getcwd(), u'B\xe5gfors')
 
1083
 
 
1084
    def test_getcwd_nonnorm(self):
 
1085
        self.requireFeature(features.UnicodeFilenameFeature)
 
1086
        # Test that _mac_getcwd() will normalize this path
 
1087
        os.mkdir(u'Ba\u030agfors')
 
1088
        os.chdir(u'Ba\u030agfors')
 
1089
        self.assertEndsWith(osutils._mac_getcwd(), u'B\xe5gfors')
 
1090
 
 
1091
 
 
1092
class TestChunksToLines(tests.TestCase):
 
1093
 
 
1094
    def test_smoketest(self):
 
1095
        self.assertEqual([b'foo\n', b'bar\n', b'baz\n'],
 
1096
                         osutils.chunks_to_lines([b'foo\nbar', b'\nbaz\n']))
 
1097
        self.assertEqual([b'foo\n', b'bar\n', b'baz\n'],
 
1098
                         osutils.chunks_to_lines([b'foo\n', b'bar\n', b'baz\n']))
 
1099
 
 
1100
    def test_osutils_binding(self):
 
1101
        from . import test__chunks_to_lines
 
1102
        if test__chunks_to_lines.compiled_chunkstolines_feature.available():
 
1103
            from .._chunks_to_lines_pyx import chunks_to_lines
 
1104
        else:
 
1105
            from .._chunks_to_lines_py import chunks_to_lines
 
1106
        self.assertIs(chunks_to_lines, osutils.chunks_to_lines)
 
1107
 
 
1108
 
 
1109
class TestSplitLines(tests.TestCase):
 
1110
 
 
1111
    def test_split_unicode(self):
 
1112
        self.assertEqual([u'foo\n', u'bar\xae'],
 
1113
                         osutils.split_lines(u'foo\nbar\xae'))
 
1114
        self.assertEqual([u'foo\n', u'bar\xae\n'],
 
1115
                         osutils.split_lines(u'foo\nbar\xae\n'))
 
1116
 
 
1117
    def test_split_with_carriage_returns(self):
 
1118
        self.assertEqual([b'foo\rbar\n'],
 
1119
                         osutils.split_lines(b'foo\rbar\n'))
 
1120
 
 
1121
 
 
1122
class TestWalkDirs(tests.TestCaseInTempDir):
 
1123
 
 
1124
    def assertExpectedBlocks(self, expected, result):
 
1125
        self.assertEqual(expected,
 
1126
                         [(dirinfo, [line[0:3] for line in block])
 
1127
                          for dirinfo, block in result])
 
1128
 
 
1129
    def test_walkdirs(self):
 
1130
        tree = [
 
1131
            '.bzr',
 
1132
            '0file',
 
1133
            '1dir/',
 
1134
            '1dir/0file',
 
1135
            '1dir/1dir/',
 
1136
            '2file'
 
1137
            ]
 
1138
        self.build_tree(tree)
 
1139
        expected_dirblocks = [
 
1140
            (('', '.'),
 
1141
             [('0file', '0file', 'file'),
 
1142
              ('1dir', '1dir', 'directory'),
 
1143
              ('2file', '2file', 'file'),
 
1144
              ]
 
1145
             ),
 
1146
            (('1dir', './1dir'),
 
1147
             [('1dir/0file', '0file', 'file'),
 
1148
              ('1dir/1dir', '1dir', 'directory'),
 
1149
              ]
 
1150
             ),
 
1151
            (('1dir/1dir', './1dir/1dir'),
 
1152
             [
 
1153
                ]
 
1154
             ),
 
1155
            ]
 
1156
        result = []
 
1157
        found_bzrdir = False
 
1158
        for dirdetail, dirblock in osutils.walkdirs('.'):
 
1159
            if len(dirblock) and dirblock[0][1] == '.bzr':
 
1160
                # this tests the filtering of selected paths
 
1161
                found_bzrdir = True
 
1162
                del dirblock[0]
 
1163
            result.append((dirdetail, dirblock))
 
1164
 
 
1165
        self.assertTrue(found_bzrdir)
 
1166
        self.assertExpectedBlocks(expected_dirblocks, result)
 
1167
        # you can search a subdir only, with a supplied prefix.
 
1168
        result = []
 
1169
        for dirblock in osutils.walkdirs('./1dir', '1dir'):
 
1170
            result.append(dirblock)
 
1171
        self.assertExpectedBlocks(expected_dirblocks[1:], result)
 
1172
 
 
1173
    def test_walkdirs_os_error(self):
 
1174
        # <https://bugs.launchpad.net/bzr/+bug/338653>
 
1175
        # Pyrex readdir didn't raise useful messages if it had an error
 
1176
        # reading the directory
 
1177
        if sys.platform == 'win32':
 
1178
            raise tests.TestNotApplicable(
 
1179
                "readdir IOError not tested on win32")
 
1180
        self.requireFeature(features.not_running_as_root)
 
1181
        os.mkdir("test-unreadable")
 
1182
        os.chmod("test-unreadable", 0000)
 
1183
        # must chmod it back so that it can be removed
 
1184
        self.addCleanup(os.chmod, "test-unreadable", 0o700)
 
1185
        # The error is not raised until the generator is actually evaluated.
 
1186
        # (It would be ok if it happened earlier but at the moment it
 
1187
        # doesn't.)
 
1188
        e = self.assertRaises(OSError, list, osutils._walkdirs_utf8("."))
 
1189
        self.assertEqual('./test-unreadable', osutils.safe_unicode(e.filename))
 
1190
        self.assertEqual(errno.EACCES, e.errno)
 
1191
        # Ensure the message contains the file name
 
1192
        self.assertContainsRe(str(e), "\\./test-unreadable")
 
1193
 
 
1194
    def test_walkdirs_encoding_error(self):
 
1195
        # <https://bugs.launchpad.net/bzr/+bug/488519>
 
1196
        # walkdirs didn't raise a useful message when the filenames
 
1197
        # are not using the filesystem's encoding
 
1198
 
 
1199
        # require a bytestring based filesystem
 
1200
        self.requireFeature(features.ByteStringNamedFilesystem)
 
1201
 
 
1202
        tree = [
 
1203
            '.bzr',
 
1204
            '0file',
 
1205
            '1dir/',
 
1206
            '1dir/0file',
 
1207
            '1dir/1dir/',
 
1208
            '1file'
 
1209
            ]
 
1210
 
 
1211
        self.build_tree(tree)
 
1212
 
 
1213
        # rename the 1file to a latin-1 filename
 
1214
        os.rename(b"./1file", b"\xe8file")
 
1215
        if b"\xe8file" not in os.listdir("."):
 
1216
            self.skipTest("Lack filesystem that preserves arbitrary bytes")
 
1217
 
 
1218
        self._save_platform_info()
 
1219
        osutils._fs_enc = 'UTF-8'
 
1220
 
 
1221
        # this should raise on error
 
1222
        def attempt():
 
1223
            for dirdetail, dirblock in osutils.walkdirs(b'.'):
 
1224
                pass
 
1225
 
 
1226
        self.assertRaises(errors.BadFilenameEncoding, attempt)
 
1227
 
 
1228
    def test__walkdirs_utf8(self):
 
1229
        tree = [
 
1230
            '.bzr',
 
1231
            '0file',
 
1232
            '1dir/',
 
1233
            '1dir/0file',
 
1234
            '1dir/1dir/',
 
1235
            '2file'
 
1236
            ]
 
1237
        self.build_tree(tree)
 
1238
        expected_dirblocks = [
 
1239
            (('', '.'),
 
1240
             [('0file', '0file', 'file'),
 
1241
              ('1dir', '1dir', 'directory'),
 
1242
              ('2file', '2file', 'file'),
 
1243
              ]
 
1244
             ),
 
1245
            (('1dir', './1dir'),
 
1246
             [('1dir/0file', '0file', 'file'),
 
1247
              ('1dir/1dir', '1dir', 'directory'),
 
1248
              ]
 
1249
             ),
 
1250
            (('1dir/1dir', './1dir/1dir'),
 
1251
             [
 
1252
                ]
 
1253
             ),
 
1254
            ]
 
1255
        result = []
 
1256
        found_bzrdir = False
 
1257
        for dirdetail, dirblock in osutils._walkdirs_utf8(b'.'):
 
1258
            if len(dirblock) and dirblock[0][1] == b'.bzr':
 
1259
                # this tests the filtering of selected paths
 
1260
                found_bzrdir = True
 
1261
                del dirblock[0]
 
1262
            dirdetail = (dirdetail[0].decode('utf-8'),
 
1263
                         osutils.safe_unicode(dirdetail[1]))
 
1264
            dirblock = [
 
1265
                (entry[0].decode('utf-8'), entry[1].decode('utf-8'), entry[2])
 
1266
                for entry in dirblock]
 
1267
            result.append((dirdetail, dirblock))
 
1268
 
 
1269
        self.assertTrue(found_bzrdir)
 
1270
        self.assertExpectedBlocks(expected_dirblocks, result)
 
1271
 
 
1272
        # you can search a subdir only, with a supplied prefix.
 
1273
        result = []
 
1274
        for dirblock in osutils.walkdirs('./1dir', '1dir'):
 
1275
            result.append(dirblock)
 
1276
        self.assertExpectedBlocks(expected_dirblocks[1:], result)
 
1277
 
 
1278
    def _filter_out_stat(self, result):
 
1279
        """Filter out the stat value from the walkdirs result"""
 
1280
        for dirdetail, dirblock in result:
 
1281
            new_dirblock = []
 
1282
            for info in dirblock:
 
1283
                # Ignore info[3] which is the stat
 
1284
                new_dirblock.append((info[0], info[1], info[2], info[4]))
 
1285
            dirblock[:] = new_dirblock
 
1286
 
 
1287
    def _save_platform_info(self):
 
1288
        self.overrideAttr(osutils, '_fs_enc')
 
1289
        self.overrideAttr(osutils, '_selected_dir_reader')
 
1290
 
 
1291
    def assertDirReaderIs(self, expected, top):
 
1292
        """Assert the right implementation for _walkdirs_utf8 is chosen."""
 
1293
        # Force it to redetect
 
1294
        osutils._selected_dir_reader = None
 
1295
        # Nothing to list, but should still trigger the selection logic
 
1296
        self.assertEqual([((b'', top), [])], list(osutils._walkdirs_utf8('.')))
 
1297
        self.assertIsInstance(osutils._selected_dir_reader, expected)
 
1298
 
 
1299
    def test_force_walkdirs_utf8_fs_utf8(self):
 
1300
        self.requireFeature(UTF8DirReaderFeature)
 
1301
        self._save_platform_info()
 
1302
        osutils._fs_enc = 'utf-8'
 
1303
        self.assertDirReaderIs(UTF8DirReaderFeature.module.UTF8DirReader, b".")
 
1304
 
 
1305
    def test_force_walkdirs_utf8_fs_ascii(self):
 
1306
        self.requireFeature(UTF8DirReaderFeature)
 
1307
        self._save_platform_info()
 
1308
        osutils._fs_enc = 'ascii'
 
1309
        self.assertDirReaderIs(
 
1310
            UTF8DirReaderFeature.module.UTF8DirReader, b".")
 
1311
 
 
1312
    def test_force_walkdirs_utf8_fs_latin1(self):
 
1313
        self._save_platform_info()
 
1314
        osutils._fs_enc = 'iso-8859-1'
 
1315
        self.assertDirReaderIs(osutils.UnicodeDirReader, ".")
 
1316
 
 
1317
    def test_force_walkdirs_utf8_nt(self):
 
1318
        # Disabled because the thunk of the whole walkdirs api is disabled.
 
1319
        self.requireFeature(test__walkdirs_win32.win32_readdir_feature)
 
1320
        self._save_platform_info()
 
1321
        from .._walkdirs_win32 import Win32ReadDir
 
1322
        self.assertDirReaderIs(Win32ReadDir, ".")
 
1323
 
 
1324
    def test_unicode_walkdirs(self):
 
1325
        """Walkdirs should always return unicode paths."""
 
1326
        self.requireFeature(features.UnicodeFilenameFeature)
 
1327
        name0 = u'0file-\xb6'
 
1328
        name1 = u'1dir-\u062c\u0648'
 
1329
        name2 = u'2file-\u0633'
 
1330
        tree = [
 
1331
            name0,
 
1332
            name1 + '/',
 
1333
            name1 + '/' + name0,
 
1334
            name1 + '/' + name1 + '/',
 
1335
            name2,
 
1336
            ]
 
1337
        self.build_tree(tree)
 
1338
        expected_dirblocks = [
 
1339
            ((u'', u'.'),
 
1340
             [(name0, name0, 'file', './' + name0),
 
1341
              (name1, name1, 'directory', './' + name1),
 
1342
              (name2, name2, 'file', './' + name2),
 
1343
              ]
 
1344
             ),
 
1345
            ((name1, './' + name1),
 
1346
             [(name1 + '/' + name0, name0, 'file', './' + name1
 
1347
               + '/' + name0),
 
1348
              (name1 + '/' + name1, name1, 'directory', './' + name1
 
1349
               + '/' + name1),
 
1350
              ]
 
1351
             ),
 
1352
            ((name1 + '/' + name1, './' + name1 + '/' + name1),
 
1353
             [
 
1354
                ]
 
1355
             ),
 
1356
            ]
 
1357
        result = list(osutils.walkdirs('.'))
 
1358
        self._filter_out_stat(result)
 
1359
        self.assertEqual(expected_dirblocks, result)
 
1360
        result = list(osutils.walkdirs(u'./' + name1, name1))
 
1361
        self._filter_out_stat(result)
 
1362
        self.assertEqual(expected_dirblocks[1:], result)
 
1363
 
 
1364
    def test_unicode__walkdirs_utf8(self):
 
1365
        """Walkdirs_utf8 should always return utf8 paths.
 
1366
 
 
1367
        The abspath portion might be in unicode or utf-8
 
1368
        """
 
1369
        self.requireFeature(features.UnicodeFilenameFeature)
 
1370
        name0 = u'0file-\xb6'
 
1371
        name1 = u'1dir-\u062c\u0648'
 
1372
        name2 = u'2file-\u0633'
 
1373
        tree = [
 
1374
            name0,
 
1375
            name1 + '/',
 
1376
            name1 + '/' + name0,
 
1377
            name1 + '/' + name1 + '/',
 
1378
            name2,
 
1379
            ]
 
1380
        self.build_tree(tree)
 
1381
        name0 = name0.encode('utf8')
 
1382
        name1 = name1.encode('utf8')
 
1383
        name2 = name2.encode('utf8')
 
1384
 
 
1385
        expected_dirblocks = [
 
1386
            ((b'', b'.'),
 
1387
             [(name0, name0, 'file', b'./' + name0),
 
1388
              (name1, name1, 'directory', b'./' + name1),
 
1389
              (name2, name2, 'file', b'./' + name2),
 
1390
              ]
 
1391
             ),
 
1392
            ((name1, b'./' + name1),
 
1393
             [(name1 + b'/' + name0, name0, 'file', b'./' + name1
 
1394
               + b'/' + name0),
 
1395
              (name1 + b'/' + name1, name1, 'directory', b'./' + name1
 
1396
               + b'/' + name1),
 
1397
              ]
 
1398
             ),
 
1399
            ((name1 + b'/' + name1, b'./' + name1 + b'/' + name1),
 
1400
             [
 
1401
                ]
 
1402
             ),
 
1403
            ]
 
1404
        result = []
 
1405
        # For ease in testing, if walkdirs_utf8 returns Unicode, assert that
 
1406
        # all abspaths are Unicode, and encode them back into utf8.
 
1407
        for dirdetail, dirblock in osutils._walkdirs_utf8('.'):
 
1408
            self.assertIsInstance(dirdetail[0], bytes)
 
1409
            if isinstance(dirdetail[1], text_type):
 
1410
                dirdetail = (dirdetail[0], dirdetail[1].encode('utf8'))
 
1411
                dirblock = [list(info) for info in dirblock]
 
1412
                for info in dirblock:
 
1413
                    self.assertIsInstance(info[4], text_type)
 
1414
                    info[4] = info[4].encode('utf8')
 
1415
            new_dirblock = []
 
1416
            for info in dirblock:
 
1417
                self.assertIsInstance(info[0], bytes)
 
1418
                self.assertIsInstance(info[1], bytes)
 
1419
                self.assertIsInstance(info[4], bytes)
 
1420
                # Remove the stat information
 
1421
                new_dirblock.append((info[0], info[1], info[2], info[4]))
 
1422
            result.append((dirdetail, new_dirblock))
 
1423
        self.assertEqual(expected_dirblocks, result)
 
1424
 
 
1425
    def test__walkdirs_utf8_with_unicode_fs(self):
 
1426
        """UnicodeDirReader should be a safe fallback everywhere
 
1427
 
 
1428
        The abspath portion should be in unicode
 
1429
        """
 
1430
        self.requireFeature(features.UnicodeFilenameFeature)
 
1431
        # Use the unicode reader. TODO: split into driver-and-driven unit
 
1432
        # tests.
 
1433
        self._save_platform_info()
 
1434
        osutils._selected_dir_reader = osutils.UnicodeDirReader()
 
1435
        name0u = u'0file-\xb6'
 
1436
        name1u = u'1dir-\u062c\u0648'
 
1437
        name2u = u'2file-\u0633'
 
1438
        tree = [
 
1439
            name0u,
 
1440
            name1u + '/',
 
1441
            name1u + '/' + name0u,
 
1442
            name1u + '/' + name1u + '/',
 
1443
            name2u,
 
1444
            ]
 
1445
        self.build_tree(tree)
 
1446
        name0 = name0u.encode('utf8')
 
1447
        name1 = name1u.encode('utf8')
 
1448
        name2 = name2u.encode('utf8')
 
1449
 
 
1450
        # All of the abspaths should be in unicode, all of the relative paths
 
1451
        # should be in utf8
 
1452
        expected_dirblocks = [
 
1453
            ((b'', '.'),
 
1454
             [(name0, name0, 'file', './' + name0u),
 
1455
              (name1, name1, 'directory', './' + name1u),
 
1456
              (name2, name2, 'file', './' + name2u),
 
1457
              ]
 
1458
             ),
 
1459
            ((name1, './' + name1u),
 
1460
             [(name1 + b'/' + name0, name0, 'file', './' + name1u
 
1461
               + '/' + name0u),
 
1462
              (name1 + b'/' + name1, name1, 'directory', './' + name1u
 
1463
               + '/' + name1u),
 
1464
              ]
 
1465
             ),
 
1466
            ((name1 + b'/' + name1, './' + name1u + '/' + name1u),
 
1467
             [
 
1468
                ]
 
1469
             ),
 
1470
            ]
 
1471
        result = list(osutils._walkdirs_utf8('.'))
 
1472
        self._filter_out_stat(result)
 
1473
        self.assertEqual(expected_dirblocks, result)
 
1474
 
 
1475
    def test__walkdirs_utf8_win32readdir(self):
 
1476
        self.requireFeature(test__walkdirs_win32.win32_readdir_feature)
 
1477
        self.requireFeature(features.UnicodeFilenameFeature)
 
1478
        from .._walkdirs_win32 import Win32ReadDir
 
1479
        self._save_platform_info()
 
1480
        osutils._selected_dir_reader = Win32ReadDir()
 
1481
        name0u = u'0file-\xb6'
 
1482
        name1u = u'1dir-\u062c\u0648'
 
1483
        name2u = u'2file-\u0633'
 
1484
        tree = [
 
1485
            name0u,
 
1486
            name1u + '/',
 
1487
            name1u + '/' + name0u,
 
1488
            name1u + '/' + name1u + '/',
 
1489
            name2u,
 
1490
            ]
 
1491
        self.build_tree(tree)
 
1492
        name0 = name0u.encode('utf8')
 
1493
        name1 = name1u.encode('utf8')
 
1494
        name2 = name2u.encode('utf8')
 
1495
 
 
1496
        # All of the abspaths should be in unicode, all of the relative paths
 
1497
        # should be in utf8
 
1498
        expected_dirblocks = [
 
1499
            (('', '.'),
 
1500
             [(name0, name0, 'file', './' + name0u),
 
1501
              (name1, name1, 'directory', './' + name1u),
 
1502
              (name2, name2, 'file', './' + name2u),
 
1503
              ]
 
1504
             ),
 
1505
            ((name1, './' + name1u),
 
1506
             [(name1 + '/' + name0, name0, 'file', './' + name1u
 
1507
               + '/' + name0u),
 
1508
              (name1 + '/' + name1, name1, 'directory', './' + name1u
 
1509
               + '/' + name1u),
 
1510
              ]
 
1511
             ),
 
1512
            ((name1 + '/' + name1, './' + name1u + '/' + name1u),
 
1513
             [
 
1514
                ]
 
1515
             ),
 
1516
            ]
 
1517
        result = list(osutils._walkdirs_utf8(u'.'))
 
1518
        self._filter_out_stat(result)
 
1519
        self.assertEqual(expected_dirblocks, result)
 
1520
 
 
1521
    def assertStatIsCorrect(self, path, win32stat):
 
1522
        os_stat = os.stat(path)
 
1523
        self.assertEqual(os_stat.st_size, win32stat.st_size)
 
1524
        self.assertAlmostEqual(os_stat.st_mtime, win32stat.st_mtime, places=4)
 
1525
        self.assertAlmostEqual(os_stat.st_ctime, win32stat.st_ctime, places=4)
 
1526
        self.assertAlmostEqual(os_stat.st_atime, win32stat.st_atime, places=4)
 
1527
        self.assertEqual(os_stat.st_dev, win32stat.st_dev)
 
1528
        self.assertEqual(os_stat.st_ino, win32stat.st_ino)
 
1529
        self.assertEqual(os_stat.st_mode, win32stat.st_mode)
 
1530
 
 
1531
    def test__walkdirs_utf_win32_find_file_stat_file(self):
 
1532
        """make sure our Stat values are valid"""
 
1533
        self.requireFeature(test__walkdirs_win32.win32_readdir_feature)
 
1534
        self.requireFeature(features.UnicodeFilenameFeature)
 
1535
        from .._walkdirs_win32 import Win32ReadDir
 
1536
        name0u = u'0file-\xb6'
 
1537
        name0 = name0u.encode('utf8')
 
1538
        self.build_tree([name0u])
 
1539
        # I hate to sleep() here, but I'm trying to make the ctime different
 
1540
        # from the mtime
 
1541
        time.sleep(2)
 
1542
        with open(name0u, 'ab') as f:
 
1543
            f.write(b'just a small update')
 
1544
 
 
1545
        result = Win32ReadDir().read_dir('', u'.')
 
1546
        entry = result[0]
 
1547
        self.assertEqual((name0, name0, 'file'), entry[:3])
 
1548
        self.assertEqual(u'./' + name0u, entry[4])
 
1549
        self.assertStatIsCorrect(entry[4], entry[3])
 
1550
        self.assertNotEqual(entry[3].st_mtime, entry[3].st_ctime)
 
1551
 
 
1552
    def test__walkdirs_utf_win32_find_file_stat_directory(self):
 
1553
        """make sure our Stat values are valid"""
 
1554
        self.requireFeature(test__walkdirs_win32.win32_readdir_feature)
 
1555
        self.requireFeature(features.UnicodeFilenameFeature)
 
1556
        from .._walkdirs_win32 import Win32ReadDir
 
1557
        name0u = u'0dir-\u062c\u0648'
 
1558
        name0 = name0u.encode('utf8')
 
1559
        self.build_tree([name0u + '/'])
 
1560
 
 
1561
        result = Win32ReadDir().read_dir('', u'.')
 
1562
        entry = result[0]
 
1563
        self.assertEqual((name0, name0, 'directory'), entry[:3])
 
1564
        self.assertEqual(u'./' + name0u, entry[4])
 
1565
        self.assertStatIsCorrect(entry[4], entry[3])
 
1566
 
 
1567
    def assertPathCompare(self, path_less, path_greater):
 
1568
        """check that path_less and path_greater compare correctly."""
 
1569
        self.assertEqual(0, osutils.compare_paths_prefix_order(
 
1570
            path_less, path_less))
 
1571
        self.assertEqual(0, osutils.compare_paths_prefix_order(
 
1572
            path_greater, path_greater))
 
1573
        self.assertEqual(-1, osutils.compare_paths_prefix_order(
 
1574
            path_less, path_greater))
 
1575
        self.assertEqual(1, osutils.compare_paths_prefix_order(
 
1576
            path_greater, path_less))
 
1577
 
 
1578
    def test_compare_paths_prefix_order(self):
 
1579
        # root before all else
 
1580
        self.assertPathCompare("/", "/a")
 
1581
        # alpha within a dir
 
1582
        self.assertPathCompare("/a", "/b")
 
1583
        self.assertPathCompare("/b", "/z")
 
1584
        # high dirs before lower.
 
1585
        self.assertPathCompare("/z", "/a/a")
 
1586
        # except if the deeper dir should be output first
 
1587
        self.assertPathCompare("/a/b/c", "/d/g")
 
1588
        # lexical betwen dirs of the same height
 
1589
        self.assertPathCompare("/a/z", "/z/z")
 
1590
        self.assertPathCompare("/a/c/z", "/a/d/e")
 
1591
 
 
1592
        # this should also be consistent for no leading / paths
 
1593
        # root before all else
 
1594
        self.assertPathCompare("", "a")
 
1595
        # alpha within a dir
 
1596
        self.assertPathCompare("a", "b")
 
1597
        self.assertPathCompare("b", "z")
 
1598
        # high dirs before lower.
 
1599
        self.assertPathCompare("z", "a/a")
 
1600
        # except if the deeper dir should be output first
 
1601
        self.assertPathCompare("a/b/c", "d/g")
 
1602
        # lexical betwen dirs of the same height
 
1603
        self.assertPathCompare("a/z", "z/z")
 
1604
        self.assertPathCompare("a/c/z", "a/d/e")
 
1605
 
 
1606
    def test_path_prefix_sorting(self):
 
1607
        """Doing a sort on path prefix should match our sample data."""
 
1608
        original_paths = [
 
1609
            'a',
 
1610
            'a/b',
 
1611
            'a/b/c',
 
1612
            'b',
 
1613
            'b/c',
 
1614
            'd',
 
1615
            'd/e',
 
1616
            'd/e/f',
 
1617
            'd/f',
 
1618
            'd/g',
 
1619
            'g',
 
1620
            ]
 
1621
 
 
1622
        dir_sorted_paths = [
 
1623
            'a',
 
1624
            'b',
 
1625
            'd',
 
1626
            'g',
 
1627
            'a/b',
 
1628
            'a/b/c',
 
1629
            'b/c',
 
1630
            'd/e',
 
1631
            'd/f',
 
1632
            'd/g',
 
1633
            'd/e/f',
 
1634
            ]
 
1635
 
 
1636
        self.assertEqual(
 
1637
            dir_sorted_paths,
 
1638
            sorted(original_paths, key=osutils.path_prefix_key))
 
1639
        # using the comparison routine shoudl work too:
 
1640
        self.assertEqual(
 
1641
            dir_sorted_paths,
 
1642
            sorted(original_paths, key=osutils.path_prefix_key))
 
1643
 
 
1644
 
 
1645
class TestCopyTree(tests.TestCaseInTempDir):
 
1646
 
 
1647
    def test_copy_basic_tree(self):
 
1648
        self.build_tree(['source/', 'source/a', 'source/b/', 'source/b/c'])
 
1649
        osutils.copy_tree('source', 'target')
 
1650
        self.assertEqual(['a', 'b'], sorted(os.listdir('target')))
 
1651
        self.assertEqual(['c'], os.listdir('target/b'))
 
1652
 
 
1653
    def test_copy_tree_target_exists(self):
 
1654
        self.build_tree(['source/', 'source/a', 'source/b/', 'source/b/c',
 
1655
                         'target/'])
 
1656
        osutils.copy_tree('source', 'target')
 
1657
        self.assertEqual(['a', 'b'], sorted(os.listdir('target')))
 
1658
        self.assertEqual(['c'], os.listdir('target/b'))
 
1659
 
 
1660
    def test_copy_tree_symlinks(self):
 
1661
        self.requireFeature(features.SymlinkFeature)
 
1662
        self.build_tree(['source/'])
 
1663
        os.symlink('a/generic/path', 'source/lnk')
 
1664
        osutils.copy_tree('source', 'target')
 
1665
        self.assertEqual(['lnk'], os.listdir('target'))
 
1666
        self.assertEqual('a/generic/path', os.readlink('target/lnk'))
 
1667
 
 
1668
    def test_copy_tree_handlers(self):
 
1669
        processed_files = []
 
1670
        processed_links = []
 
1671
 
 
1672
        def file_handler(from_path, to_path):
 
1673
            processed_files.append(('f', from_path, to_path))
 
1674
 
 
1675
        def dir_handler(from_path, to_path):
 
1676
            processed_files.append(('d', from_path, to_path))
 
1677
 
 
1678
        def link_handler(from_path, to_path):
 
1679
            processed_links.append((from_path, to_path))
 
1680
        handlers = {'file': file_handler,
 
1681
                    'directory': dir_handler,
 
1682
                    'symlink': link_handler,
 
1683
                    }
 
1684
 
 
1685
        self.build_tree(['source/', 'source/a', 'source/b/', 'source/b/c'])
 
1686
        if osutils.has_symlinks():
 
1687
            os.symlink('a/generic/path', 'source/lnk')
 
1688
        osutils.copy_tree('source', 'target', handlers=handlers)
 
1689
 
 
1690
        self.assertEqual([('d', 'source', 'target'),
 
1691
                          ('f', 'source/a', 'target/a'),
 
1692
                          ('d', 'source/b', 'target/b'),
 
1693
                          ('f', 'source/b/c', 'target/b/c'),
 
1694
                          ], processed_files)
 
1695
        self.assertPathDoesNotExist('target')
 
1696
        if osutils.has_symlinks():
 
1697
            self.assertEqual([('source/lnk', 'target/lnk')], processed_links)
 
1698
 
 
1699
 
 
1700
class TestSetUnsetEnv(tests.TestCase):
 
1701
    """Test updating the environment"""
 
1702
 
 
1703
    def setUp(self):
 
1704
        super(TestSetUnsetEnv, self).setUp()
 
1705
 
 
1706
        self.assertEqual(None, os.environ.get('BRZ_TEST_ENV_VAR'),
 
1707
                         'Environment was not cleaned up properly.'
 
1708
                         ' Variable BRZ_TEST_ENV_VAR should not exist.')
 
1709
 
 
1710
        def cleanup():
 
1711
            if 'BRZ_TEST_ENV_VAR' in os.environ:
 
1712
                del os.environ['BRZ_TEST_ENV_VAR']
 
1713
        self.addCleanup(cleanup)
 
1714
 
 
1715
    def test_set(self):
 
1716
        """Test that we can set an env variable"""
 
1717
        old = osutils.set_or_unset_env('BRZ_TEST_ENV_VAR', 'foo')
 
1718
        self.assertEqual(None, old)
 
1719
        self.assertEqual('foo', os.environ.get('BRZ_TEST_ENV_VAR'))
 
1720
 
 
1721
    def test_double_set(self):
 
1722
        """Test that we get the old value out"""
 
1723
        osutils.set_or_unset_env('BRZ_TEST_ENV_VAR', 'foo')
 
1724
        old = osutils.set_or_unset_env('BRZ_TEST_ENV_VAR', 'bar')
 
1725
        self.assertEqual('foo', old)
 
1726
        self.assertEqual('bar', os.environ.get('BRZ_TEST_ENV_VAR'))
 
1727
 
 
1728
    def test_unicode(self):
 
1729
        """Environment can only contain plain strings
 
1730
 
 
1731
        So Unicode strings must be encoded.
 
1732
        """
 
1733
        uni_val, env_val = tests.probe_unicode_in_user_encoding()
 
1734
        if uni_val is None:
 
1735
            raise tests.TestSkipped(
 
1736
                'Cannot find a unicode character that works in encoding %s'
 
1737
                % (osutils.get_user_encoding(),))
 
1738
 
 
1739
        osutils.set_or_unset_env('BRZ_TEST_ENV_VAR', uni_val)
 
1740
        if PY3:
 
1741
            self.assertEqual(uni_val, os.environ.get('BRZ_TEST_ENV_VAR'))
 
1742
        else:
 
1743
            self.assertEqual(env_val, os.environ.get('BRZ_TEST_ENV_VAR'))
 
1744
 
 
1745
    def test_unset(self):
 
1746
        """Test that passing None will remove the env var"""
 
1747
        osutils.set_or_unset_env('BRZ_TEST_ENV_VAR', 'foo')
 
1748
        old = osutils.set_or_unset_env('BRZ_TEST_ENV_VAR', None)
 
1749
        self.assertEqual('foo', old)
 
1750
        self.assertEqual(None, os.environ.get('BRZ_TEST_ENV_VAR'))
 
1751
        self.assertNotIn('BRZ_TEST_ENV_VAR', os.environ)
 
1752
 
 
1753
 
 
1754
class TestSizeShaFile(tests.TestCaseInTempDir):
 
1755
 
 
1756
    def test_sha_empty(self):
 
1757
        self.build_tree_contents([('foo', b'')])
 
1758
        expected_sha = osutils.sha_string(b'')
 
1759
        f = open('foo')
 
1760
        self.addCleanup(f.close)
 
1761
        size, sha = osutils.size_sha_file(f)
 
1762
        self.assertEqual(0, size)
 
1763
        self.assertEqual(expected_sha, sha)
 
1764
 
 
1765
    def test_sha_mixed_endings(self):
 
1766
        text = b'test\r\nwith\nall\rpossible line endings\r\n'
 
1767
        self.build_tree_contents([('foo', text)])
 
1768
        expected_sha = osutils.sha_string(text)
 
1769
        f = open('foo', 'rb')
 
1770
        self.addCleanup(f.close)
 
1771
        size, sha = osutils.size_sha_file(f)
 
1772
        self.assertEqual(38, size)
 
1773
        self.assertEqual(expected_sha, sha)
 
1774
 
 
1775
 
 
1776
class TestShaFileByName(tests.TestCaseInTempDir):
 
1777
 
 
1778
    def test_sha_empty(self):
 
1779
        self.build_tree_contents([('foo', b'')])
 
1780
        expected_sha = osutils.sha_string(b'')
 
1781
        self.assertEqual(expected_sha, osutils.sha_file_by_name('foo'))
 
1782
 
 
1783
    def test_sha_mixed_endings(self):
 
1784
        text = b'test\r\nwith\nall\rpossible line endings\r\n'
 
1785
        self.build_tree_contents([('foo', text)])
 
1786
        expected_sha = osutils.sha_string(text)
 
1787
        self.assertEqual(expected_sha, osutils.sha_file_by_name('foo'))
 
1788
 
 
1789
 
 
1790
class TestResourceLoading(tests.TestCaseInTempDir):
 
1791
 
 
1792
    def test_resource_string(self):
 
1793
        # test resource in breezy
 
1794
        text = osutils.resource_string('breezy', 'debug.py')
 
1795
        self.assertContainsRe(text, "debug_flags = set()")
 
1796
        # test resource under breezy
 
1797
        text = osutils.resource_string('breezy.ui', 'text.py')
 
1798
        self.assertContainsRe(text, "class TextUIFactory")
 
1799
        # test unsupported package
 
1800
        self.assertRaises(errors.BzrError, osutils.resource_string, 'zzzz',
 
1801
                          'yyy.xx')
 
1802
        # test unknown resource
 
1803
        self.assertRaises(IOError, osutils.resource_string, 'breezy', 'yyy.xx')
 
1804
 
 
1805
 
 
1806
class TestDirReader(tests.TestCaseInTempDir):
 
1807
 
 
1808
    scenarios = dir_reader_scenarios()
 
1809
 
 
1810
    # Set by load_tests
 
1811
    _dir_reader_class = None
 
1812
    _native_to_unicode = None
 
1813
 
 
1814
    def setUp(self):
 
1815
        super(TestDirReader, self).setUp()
 
1816
        self.overrideAttr(osutils,
 
1817
                          '_selected_dir_reader', self._dir_reader_class())
 
1818
 
 
1819
    def _get_ascii_tree(self):
 
1820
        tree = [
 
1821
            '0file',
 
1822
            '1dir/',
 
1823
            '1dir/0file',
 
1824
            '1dir/1dir/',
 
1825
            '2file'
 
1826
            ]
 
1827
        expected_dirblocks = [
 
1828
            ((b'', '.'),
 
1829
             [(b'0file', b'0file', 'file', './0file'),
 
1830
              (b'1dir', b'1dir', 'directory', './1dir'),
 
1831
              (b'2file', b'2file', 'file', './2file'),
 
1832
              ]
 
1833
             ),
 
1834
            ((b'1dir', './1dir'),
 
1835
             [(b'1dir/0file', b'0file', 'file', './1dir/0file'),
 
1836
              (b'1dir/1dir', b'1dir', 'directory', './1dir/1dir'),
 
1837
              ]
 
1838
             ),
 
1839
            ((b'1dir/1dir', './1dir/1dir'),
 
1840
             [
 
1841
                ]
 
1842
             ),
 
1843
            ]
 
1844
        return tree, expected_dirblocks
 
1845
 
 
1846
    def test_walk_cur_dir(self):
 
1847
        tree, expected_dirblocks = self._get_ascii_tree()
 
1848
        self.build_tree(tree)
 
1849
        result = list(osutils._walkdirs_utf8('.'))
 
1850
        # Filter out stat and abspath
 
1851
        self.assertEqual(expected_dirblocks,
 
1852
                         self._filter_out(result))
 
1853
 
 
1854
    def test_walk_sub_dir(self):
 
1855
        tree, expected_dirblocks = self._get_ascii_tree()
 
1856
        self.build_tree(tree)
 
1857
        # you can search a subdir only, with a supplied prefix.
 
1858
        result = list(osutils._walkdirs_utf8(b'./1dir', b'1dir'))
 
1859
        # Filter out stat and abspath
 
1860
        self.assertEqual(expected_dirblocks[1:],
 
1861
                         self._filter_out(result))
 
1862
 
 
1863
    def _get_unicode_tree(self):
 
1864
        name0u = u'0file-\xb6'
 
1865
        name1u = u'1dir-\u062c\u0648'
 
1866
        name2u = u'2file-\u0633'
 
1867
        tree = [
 
1868
            name0u,
 
1869
            name1u + '/',
 
1870
            name1u + '/' + name0u,
 
1871
            name1u + '/' + name1u + '/',
 
1872
            name2u,
 
1873
            ]
 
1874
        name0 = name0u.encode('UTF-8')
 
1875
        name1 = name1u.encode('UTF-8')
 
1876
        name2 = name2u.encode('UTF-8')
 
1877
        expected_dirblocks = [
 
1878
            ((b'', '.'),
 
1879
             [(name0, name0, 'file', './' + name0u),
 
1880
              (name1, name1, 'directory', './' + name1u),
 
1881
              (name2, name2, 'file', './' + name2u),
 
1882
              ]
 
1883
             ),
 
1884
            ((name1, './' + name1u),
 
1885
             [(name1 + b'/' + name0, name0, 'file', './' + name1u
 
1886
               + '/' + name0u),
 
1887
              (name1 + b'/' + name1, name1, 'directory', './' + name1u
 
1888
               + '/' + name1u),
 
1889
              ]
 
1890
             ),
 
1891
            ((name1 + b'/' + name1, './' + name1u + '/' + name1u),
 
1892
             [
 
1893
                ]
 
1894
             ),
 
1895
            ]
 
1896
        return tree, expected_dirblocks
 
1897
 
 
1898
    def _filter_out(self, raw_dirblocks):
 
1899
        """Filter out a walkdirs_utf8 result.
 
1900
 
 
1901
        stat field is removed, all native paths are converted to unicode
 
1902
        """
 
1903
        filtered_dirblocks = []
 
1904
        for dirinfo, block in raw_dirblocks:
 
1905
            dirinfo = (dirinfo[0], self._native_to_unicode(dirinfo[1]))
 
1906
            details = []
 
1907
            for line in block:
 
1908
                details.append(
 
1909
                    line[0:3] + (self._native_to_unicode(line[4]), ))
 
1910
            filtered_dirblocks.append((dirinfo, details))
 
1911
        return filtered_dirblocks
 
1912
 
 
1913
    def test_walk_unicode_tree(self):
 
1914
        self.requireFeature(features.UnicodeFilenameFeature)
 
1915
        tree, expected_dirblocks = self._get_unicode_tree()
 
1916
        self.build_tree(tree)
 
1917
        result = list(osutils._walkdirs_utf8('.'))
 
1918
        self.assertEqual(expected_dirblocks, self._filter_out(result))
 
1919
 
 
1920
    def test_symlink(self):
 
1921
        self.requireFeature(features.SymlinkFeature)
 
1922
        self.requireFeature(features.UnicodeFilenameFeature)
 
1923
        target = u'target\N{Euro Sign}'
 
1924
        link_name = u'l\N{Euro Sign}nk'
 
1925
        os.symlink(target, link_name)
 
1926
        link_name_utf8 = link_name.encode('UTF-8')
 
1927
        expected_dirblocks = [
 
1928
            ((b'', '.'),
 
1929
             [(link_name_utf8, link_name_utf8,
 
1930
               'symlink', './' + link_name), ],
 
1931
             )]
 
1932
        result = list(osutils._walkdirs_utf8('.'))
 
1933
        self.assertEqual(expected_dirblocks, self._filter_out(result))
 
1934
 
 
1935
 
 
1936
class TestReadLink(tests.TestCaseInTempDir):
 
1937
    """Exposes os.readlink() problems and the osutils solution.
 
1938
 
 
1939
    The only guarantee offered by os.readlink(), starting with 2.6, is that a
 
1940
    unicode string will be returned if a unicode string is passed.
 
1941
 
 
1942
    But prior python versions failed to properly encode the passed unicode
 
1943
    string.
 
1944
    """
 
1945
    _test_needs_features = [features.SymlinkFeature,
 
1946
                            features.UnicodeFilenameFeature]
 
1947
 
 
1948
    def setUp(self):
 
1949
        super(tests.TestCaseInTempDir, self).setUp()
 
1950
        self.link = u'l\N{Euro Sign}ink'
 
1951
        self.target = u'targe\N{Euro Sign}t'
 
1952
        os.symlink(self.target, self.link)
 
1953
 
 
1954
    def test_os_readlink_link_encoding(self):
 
1955
        self.assertEqual(self.target, os.readlink(self.link))
 
1956
 
 
1957
    def test_os_readlink_link_decoding(self):
 
1958
        self.assertEqual(self.target.encode(osutils._fs_enc),
 
1959
                         os.readlink(self.link.encode(osutils._fs_enc)))
 
1960
 
 
1961
 
 
1962
class TestConcurrency(tests.TestCase):
 
1963
 
 
1964
    def setUp(self):
 
1965
        super(TestConcurrency, self).setUp()
 
1966
        self.overrideAttr(osutils, '_cached_local_concurrency')
 
1967
 
 
1968
    def test_local_concurrency(self):
 
1969
        concurrency = osutils.local_concurrency()
 
1970
        self.assertIsInstance(concurrency, int)
 
1971
 
 
1972
    def test_local_concurrency_environment_variable(self):
 
1973
        self.overrideEnv('BRZ_CONCURRENCY', '2')
 
1974
        self.assertEqual(2, osutils.local_concurrency(use_cache=False))
 
1975
        self.overrideEnv('BRZ_CONCURRENCY', '3')
 
1976
        self.assertEqual(3, osutils.local_concurrency(use_cache=False))
 
1977
        self.overrideEnv('BRZ_CONCURRENCY', 'foo')
 
1978
        self.assertEqual(1, osutils.local_concurrency(use_cache=False))
 
1979
 
 
1980
    def test_option_concurrency(self):
 
1981
        self.overrideEnv('BRZ_CONCURRENCY', '1')
 
1982
        self.run_bzr('rocks --concurrency 42')
 
1983
        # Command line overrides environment variable
 
1984
        self.assertEqual('42', os.environ['BRZ_CONCURRENCY'])
 
1985
        self.assertEqual(42, osutils.local_concurrency(use_cache=False))
 
1986
 
 
1987
 
 
1988
class TestFailedToLoadExtension(tests.TestCase):
 
1989
 
 
1990
    def _try_loading(self):
 
1991
        try:
 
1992
            import breezy._fictional_extension_py  # noqa: F401
 
1993
        except ImportError as e:
 
1994
            osutils.failed_to_load_extension(e)
 
1995
            return True
 
1996
 
 
1997
    def setUp(self):
 
1998
        super(TestFailedToLoadExtension, self).setUp()
 
1999
        self.overrideAttr(osutils, '_extension_load_failures', [])
 
2000
 
 
2001
    def test_failure_to_load(self):
 
2002
        self._try_loading()
 
2003
        self.assertLength(1, osutils._extension_load_failures)
 
2004
        if PY3:
 
2005
            self.assertEqual(
 
2006
                osutils._extension_load_failures[0],
 
2007
                "No module named 'breezy._fictional_extension_py'")
 
2008
        else:
 
2009
            self.assertEqual(osutils._extension_load_failures[0],
 
2010
                             "No module named _fictional_extension_py")
 
2011
 
 
2012
    def test_report_extension_load_failures_no_warning(self):
 
2013
        self.assertTrue(self._try_loading())
 
2014
        warnings, result = self.callCatchWarnings(
 
2015
            osutils.report_extension_load_failures)
 
2016
        # it used to give a Python warning; it no longer does
 
2017
        self.assertLength(0, warnings)
 
2018
 
 
2019
    def test_report_extension_load_failures_message(self):
 
2020
        log = BytesIO()
 
2021
        trace.push_log_file(log)
 
2022
        self.assertTrue(self._try_loading())
 
2023
        osutils.report_extension_load_failures()
 
2024
        self.assertContainsRe(
 
2025
            log.getvalue(),
 
2026
            br"brz: warning: some compiled extensions could not be loaded; "
 
2027
            b"see ``brz help missing-extensions``\n"
 
2028
            )
 
2029
 
 
2030
 
 
2031
class TestTerminalWidth(tests.TestCase):
 
2032
 
 
2033
    def setUp(self):
 
2034
        super(TestTerminalWidth, self).setUp()
 
2035
        self._orig_terminal_size_state = osutils._terminal_size_state
 
2036
        self._orig_first_terminal_size = osutils._first_terminal_size
 
2037
        self.addCleanup(self.restore_osutils_globals)
 
2038
        osutils._terminal_size_state = 'no_data'
 
2039
        osutils._first_terminal_size = None
 
2040
 
 
2041
    def restore_osutils_globals(self):
 
2042
        osutils._terminal_size_state = self._orig_terminal_size_state
 
2043
        osutils._first_terminal_size = self._orig_first_terminal_size
 
2044
 
 
2045
    def replace_stdout(self, new):
 
2046
        self.overrideAttr(sys, 'stdout', new)
 
2047
 
 
2048
    def replace__terminal_size(self, new):
 
2049
        self.overrideAttr(osutils, '_terminal_size', new)
 
2050
 
 
2051
    def set_fake_tty(self):
 
2052
 
 
2053
        class I_am_a_tty(object):
 
2054
            def isatty(self):
 
2055
                return True
 
2056
 
 
2057
        self.replace_stdout(I_am_a_tty())
 
2058
 
 
2059
    def test_default_values(self):
 
2060
        self.assertEqual(80, osutils.default_terminal_width)
 
2061
 
 
2062
    def test_defaults_to_BRZ_COLUMNS(self):
 
2063
        # BRZ_COLUMNS is set by the test framework
 
2064
        self.assertNotEqual('12', os.environ['BRZ_COLUMNS'])
 
2065
        self.overrideEnv('BRZ_COLUMNS', '12')
 
2066
        self.assertEqual(12, osutils.terminal_width())
 
2067
 
 
2068
    def test_BRZ_COLUMNS_0_no_limit(self):
 
2069
        self.overrideEnv('BRZ_COLUMNS', '0')
 
2070
        self.assertEqual(None, osutils.terminal_width())
 
2071
 
 
2072
    def test_falls_back_to_COLUMNS(self):
 
2073
        self.overrideEnv('BRZ_COLUMNS', None)
 
2074
        self.assertNotEqual('42', os.environ['COLUMNS'])
 
2075
        self.set_fake_tty()
 
2076
        self.overrideEnv('COLUMNS', '42')
 
2077
        self.assertEqual(42, osutils.terminal_width())
 
2078
 
 
2079
    def test_tty_default_without_columns(self):
 
2080
        self.overrideEnv('BRZ_COLUMNS', None)
 
2081
        self.overrideEnv('COLUMNS', None)
 
2082
 
 
2083
        def terminal_size(w, h):
 
2084
            return 42, 42
 
2085
 
 
2086
        self.set_fake_tty()
 
2087
        # We need to override the osutils definition as it depends on the
 
2088
        # running environment that we can't control (PQM running without a
 
2089
        # controlling terminal is one example).
 
2090
        self.replace__terminal_size(terminal_size)
 
2091
        self.assertEqual(42, osutils.terminal_width())
 
2092
 
 
2093
    def test_non_tty_default_without_columns(self):
 
2094
        self.overrideEnv('BRZ_COLUMNS', None)
 
2095
        self.overrideEnv('COLUMNS', None)
 
2096
        self.replace_stdout(None)
 
2097
        self.assertEqual(None, osutils.terminal_width())
 
2098
 
 
2099
    def test_no_TIOCGWINSZ(self):
 
2100
        self.requireFeature(term_ios_feature)
 
2101
        termios = term_ios_feature.module
 
2102
        # bug 63539 is about a termios without TIOCGWINSZ attribute
 
2103
        try:
 
2104
            termios.TIOCGWINSZ
 
2105
        except AttributeError:
 
2106
            # We won't remove TIOCGWINSZ, because it doesn't exist anyway :)
 
2107
            pass
 
2108
        else:
 
2109
            self.overrideAttr(termios, 'TIOCGWINSZ')
 
2110
            del termios.TIOCGWINSZ
 
2111
        self.overrideEnv('BRZ_COLUMNS', None)
 
2112
        self.overrideEnv('COLUMNS', None)
 
2113
        # Whatever the result is, if we don't raise an exception, it's ok.
 
2114
        osutils.terminal_width()
 
2115
 
 
2116
 
 
2117
class TestCreationOps(tests.TestCaseInTempDir):
 
2118
    _test_needs_features = [features.chown_feature]
 
2119
 
 
2120
    def setUp(self):
 
2121
        super(TestCreationOps, self).setUp()
 
2122
        self.overrideAttr(os, 'chown', self._dummy_chown)
 
2123
 
 
2124
        # params set by call to _dummy_chown
 
2125
        self.path = self.uid = self.gid = None
 
2126
 
 
2127
    def _dummy_chown(self, path, uid, gid):
 
2128
        self.path, self.uid, self.gid = path, uid, gid
 
2129
 
 
2130
    def test_copy_ownership_from_path(self):
 
2131
        """copy_ownership_from_path test with specified src."""
 
2132
        ownsrc = '/'
 
2133
        open('test_file', 'wt').close()
 
2134
        osutils.copy_ownership_from_path('test_file', ownsrc)
 
2135
 
 
2136
        s = os.stat(ownsrc)
 
2137
        self.assertEqual(self.path, 'test_file')
 
2138
        self.assertEqual(self.uid, s.st_uid)
 
2139
        self.assertEqual(self.gid, s.st_gid)
 
2140
 
 
2141
    def test_copy_ownership_nonesrc(self):
 
2142
        """copy_ownership_from_path test with src=None."""
 
2143
        open('test_file', 'wt').close()
 
2144
        # should use parent dir for permissions
 
2145
        osutils.copy_ownership_from_path('test_file')
 
2146
 
 
2147
        s = os.stat('..')
 
2148
        self.assertEqual(self.path, 'test_file')
 
2149
        self.assertEqual(self.uid, s.st_uid)
 
2150
        self.assertEqual(self.gid, s.st_gid)
 
2151
 
 
2152
 
 
2153
class TestPathFromEnviron(tests.TestCase):
 
2154
 
 
2155
    def test_is_unicode(self):
 
2156
        self.overrideEnv('BRZ_TEST_PATH', './anywhere at all/')
 
2157
        path = osutils.path_from_environ('BRZ_TEST_PATH')
 
2158
        self.assertIsInstance(path, text_type)
 
2159
        self.assertEqual(u'./anywhere at all/', path)
 
2160
 
 
2161
    def test_posix_path_env_ascii(self):
 
2162
        self.overrideEnv('BRZ_TEST_PATH', '/tmp')
 
2163
        home = osutils._posix_path_from_environ('BRZ_TEST_PATH')
 
2164
        self.assertIsInstance(home, text_type)
 
2165
        self.assertEqual(u'/tmp', home)
 
2166
 
 
2167
    def test_posix_path_env_unicode(self):
 
2168
        self.requireFeature(features.ByteStringNamedFilesystem)
 
2169
        self.overrideEnv('BRZ_TEST_PATH', '/home/\xa7test')
 
2170
        self.overrideAttr(osutils, "_fs_enc", "iso8859-1")
 
2171
        self.assertEqual(u'/home/\xa7test',
 
2172
                         osutils._posix_path_from_environ('BRZ_TEST_PATH'))
 
2173
        osutils._fs_enc = "iso8859-5"
 
2174
        if PY3:
 
2175
            # In Python 3, os.environ returns unicode.
 
2176
            self.assertEqual(u'/home/\xa7test',
 
2177
                             osutils._posix_path_from_environ('BRZ_TEST_PATH'))
 
2178
        else:
 
2179
            self.assertEqual(u'/home/\u0407test',
 
2180
                             osutils._posix_path_from_environ('BRZ_TEST_PATH'))
 
2181
            osutils._fs_enc = "utf-8"
 
2182
            self.assertRaises(
 
2183
                errors.BadFilenameEncoding,
 
2184
                osutils._posix_path_from_environ, 'BRZ_TEST_PATH')
 
2185
 
 
2186
 
 
2187
class TestGetHomeDir(tests.TestCase):
 
2188
 
 
2189
    def test_is_unicode(self):
 
2190
        home = osutils._get_home_dir()
 
2191
        self.assertIsInstance(home, text_type)
 
2192
 
 
2193
    def test_posix_homeless(self):
 
2194
        self.overrideEnv('HOME', None)
 
2195
        home = osutils._get_home_dir()
 
2196
        self.assertIsInstance(home, text_type)
 
2197
 
 
2198
    def test_posix_home_ascii(self):
 
2199
        self.overrideEnv('HOME', '/home/test')
 
2200
        home = osutils._posix_get_home_dir()
 
2201
        self.assertIsInstance(home, text_type)
 
2202
        self.assertEqual(u'/home/test', home)
 
2203
 
 
2204
    def test_posix_home_unicode(self):
 
2205
        self.requireFeature(features.ByteStringNamedFilesystem)
 
2206
        self.overrideEnv('HOME', '/home/\xa7test')
 
2207
        self.overrideAttr(osutils, "_fs_enc", "iso8859-1")
 
2208
        self.assertEqual(u'/home/\xa7test', osutils._posix_get_home_dir())
 
2209
        osutils._fs_enc = "iso8859-5"
 
2210
        if PY3:
 
2211
            # In python 3, os.environ returns unicode
 
2212
            self.assertEqual(u'/home/\xa7test', osutils._posix_get_home_dir())
 
2213
        else:
 
2214
            self.assertEqual(u'/home/\u0407test',
 
2215
                             osutils._posix_get_home_dir())
 
2216
            osutils._fs_enc = "utf-8"
 
2217
            self.assertRaises(errors.BadFilenameEncoding,
 
2218
                              osutils._posix_get_home_dir)
 
2219
 
 
2220
 
 
2221
class TestGetuserUnicode(tests.TestCase):
 
2222
 
 
2223
    def test_is_unicode(self):
 
2224
        user = osutils.getuser_unicode()
 
2225
        self.assertIsInstance(user, text_type)
 
2226
 
 
2227
    def envvar_to_override(self):
 
2228
        if sys.platform == "win32":
 
2229
            # Disable use of platform calls on windows so envvar is used
 
2230
            self.overrideAttr(win32utils, 'has_ctypes', False)
 
2231
            return 'USERNAME'  # only variable used on windows
 
2232
        return 'LOGNAME'  # first variable checked by getpass.getuser()
 
2233
 
 
2234
    def test_ascii_user(self):
 
2235
        self.overrideEnv(self.envvar_to_override(), 'jrandom')
 
2236
        self.assertEqual(u'jrandom', osutils.getuser_unicode())
 
2237
 
 
2238
    def test_unicode_user(self):
 
2239
        ue = osutils.get_user_encoding()
 
2240
        uni_val, env_val = tests.probe_unicode_in_user_encoding()
 
2241
        if uni_val is None:
 
2242
            raise tests.TestSkipped(
 
2243
                'Cannot find a unicode character that works in encoding %s'
 
2244
                % (osutils.get_user_encoding(),))
 
2245
        uni_username = u'jrandom' + uni_val
 
2246
        encoded_username = uni_username.encode(ue)
 
2247
        if PY3:
 
2248
            self.overrideEnv(self.envvar_to_override(), uni_username)
 
2249
        else:
 
2250
            self.overrideEnv(self.envvar_to_override(), encoded_username)
 
2251
        self.assertEqual(uni_username, osutils.getuser_unicode())
 
2252
 
 
2253
 
 
2254
class TestBackupNames(tests.TestCase):
 
2255
 
 
2256
    def setUp(self):
 
2257
        super(TestBackupNames, self).setUp()
 
2258
        self.backups = []
 
2259
 
 
2260
    def backup_exists(self, name):
 
2261
        return name in self.backups
 
2262
 
 
2263
    def available_backup_name(self, name):
 
2264
        backup_name = osutils.available_backup_name(name, self.backup_exists)
 
2265
        self.backups.append(backup_name)
 
2266
        return backup_name
 
2267
 
 
2268
    def assertBackupName(self, expected, name):
 
2269
        self.assertEqual(expected, self.available_backup_name(name))
 
2270
 
 
2271
    def test_empty(self):
 
2272
        self.assertBackupName('file.~1~', 'file')
 
2273
 
 
2274
    def test_existing(self):
 
2275
        self.available_backup_name('file')
 
2276
        self.available_backup_name('file')
 
2277
        self.assertBackupName('file.~3~', 'file')
 
2278
        # Empty slots are found, this is not a strict requirement and may be
 
2279
        # revisited if we test against all implementations.
 
2280
        self.backups.remove('file.~2~')
 
2281
        self.assertBackupName('file.~2~', 'file')
 
2282
 
 
2283
 
 
2284
class TestFindExecutableInPath(tests.TestCase):
 
2285
 
 
2286
    def test_windows(self):
 
2287
        if sys.platform != 'win32':
 
2288
            raise tests.TestSkipped('test requires win32')
 
2289
        self.assertTrue(osutils.find_executable_on_path(
 
2290
            'explorer') is not None)
 
2291
        self.assertTrue(
 
2292
            osutils.find_executable_on_path('explorer.exe') is not None)
 
2293
        self.assertTrue(
 
2294
            osutils.find_executable_on_path('EXPLORER.EXE') is not None)
 
2295
        self.assertTrue(
 
2296
            osutils.find_executable_on_path('THIS SHOULD NOT EXIST') is None)
 
2297
        self.assertTrue(osutils.find_executable_on_path('file.txt') is None)
 
2298
 
 
2299
    def test_windows_app_path(self):
 
2300
        if sys.platform != 'win32':
 
2301
            raise tests.TestSkipped('test requires win32')
 
2302
        # Override PATH env var so that exe can only be found on App Path
 
2303
        self.overrideEnv('PATH', '')
 
2304
        # Internt Explorer is always registered in the App Path
 
2305
        self.assertTrue(osutils.find_executable_on_path(
 
2306
            'iexplore') is not None)
 
2307
 
 
2308
    def test_other(self):
 
2309
        if sys.platform == 'win32':
 
2310
            raise tests.TestSkipped('test requires non-win32')
 
2311
        self.assertTrue(osutils.find_executable_on_path('sh') is not None)
 
2312
        self.assertTrue(
 
2313
            osutils.find_executable_on_path('THIS SHOULD NOT EXIST') is None)
 
2314
 
 
2315
 
 
2316
class TestEnvironmentErrors(tests.TestCase):
 
2317
    """Test handling of environmental errors"""
 
2318
 
 
2319
    def test_is_oserror(self):
 
2320
        self.assertTrue(osutils.is_environment_error(
 
2321
            OSError(errno.EINVAL, "Invalid parameter")))
 
2322
 
 
2323
    def test_is_ioerror(self):
 
2324
        self.assertTrue(osutils.is_environment_error(
 
2325
            IOError(errno.EINVAL, "Invalid parameter")))
 
2326
 
 
2327
    def test_is_socket_error(self):
 
2328
        self.assertTrue(osutils.is_environment_error(
 
2329
            socket.error(errno.EINVAL, "Invalid parameter")))
 
2330
 
 
2331
    def test_is_select_error(self):
 
2332
        self.assertTrue(osutils.is_environment_error(
 
2333
            select.error(errno.EINVAL, "Invalid parameter")))
 
2334
 
 
2335
    def test_is_pywintypes_error(self):
 
2336
        self.requireFeature(features.pywintypes)
 
2337
        import pywintypes
 
2338
        self.assertTrue(osutils.is_environment_error(
 
2339
            pywintypes.error(errno.EINVAL, "Invalid parameter", "Caller")))