/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/workingtree.py

  • Committer: John Arbash Meinel
  • Date: 2006-09-12 20:02:29 UTC
  • mto: This revision was merged to the branch mainline in revision 2071.
  • Revision ID: john@arbash-meinel.com-20060912200229-4a1c12aead0f0b30
Demandloading builtins.py drops our load time from 350ms to 291ms

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
"""WorkingTree object and friends.
 
18
 
 
19
A WorkingTree represents the editable working copy of a branch.
 
20
Operations which represent the WorkingTree are also done here, 
 
21
such as renaming or adding files.  The WorkingTree has an inventory 
 
22
which is updated by these operations.  A commit produces a 
 
23
new revision based on the workingtree and its inventory.
 
24
 
 
25
At the moment every WorkingTree has its own branch.  Remote
 
26
WorkingTrees aren't supported.
 
27
 
 
28
To get a WorkingTree, call bzrdir.open_workingtree() or
 
29
WorkingTree.open(dir).
 
30
"""
 
31
 
 
32
MERGE_MODIFIED_HEADER_1 = "BZR merge-modified list format 1"
 
33
CONFLICT_HEADER_1 = "BZR conflict list format 1"
 
34
 
 
35
# TODO: Give the workingtree sole responsibility for the working inventory;
 
36
# remove the variable and references to it from the branch.  This may require
 
37
# updating the commit code so as to update the inventory within the working
 
38
# copy, and making sure there's only one WorkingTree for any directory on disk.
 
39
# At the moment they may alias the inventory and have old copies of it in
 
40
# memory.  (Now done? -- mbp 20060309)
 
41
 
 
42
from binascii import hexlify
 
43
import collections
 
44
from copy import deepcopy
 
45
from cStringIO import StringIO
 
46
import errno
 
47
import fnmatch
 
48
import os
 
49
import re
 
50
import stat
 
51
from time import time
 
52
import warnings
 
53
 
 
54
import bzrlib
 
55
from bzrlib import bzrdir, errors, ignores, osutils, urlutils
 
56
from bzrlib.atomicfile import AtomicFile
 
57
import bzrlib.branch
 
58
from bzrlib.conflicts import Conflict, ConflictList, CONFLICT_SUFFIXES
 
59
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
60
from bzrlib.errors import (BzrCheckError,
 
61
                           BzrError,
 
62
                           ConflictFormatError,
 
63
                           WeaveRevisionNotPresent,
 
64
                           NotBranchError,
 
65
                           NoSuchFile,
 
66
                           NotVersionedError,
 
67
                           MergeModifiedFormatError,
 
68
                           UnsupportedOperation,
 
69
                           )
 
70
from bzrlib.inventory import InventoryEntry, Inventory
 
71
from bzrlib.lockable_files import LockableFiles, TransportLock
 
72
from bzrlib.lockdir import LockDir
 
73
from bzrlib.merge import merge_inner, transform_tree
 
74
from bzrlib.osutils import (
 
75
                            abspath,
 
76
                            compact_date,
 
77
                            file_kind,
 
78
                            isdir,
 
79
                            getcwd,
 
80
                            pathjoin,
 
81
                            pumpfile,
 
82
                            safe_unicode,
 
83
                            splitpath,
 
84
                            rand_chars,
 
85
                            normpath,
 
86
                            realpath,
 
87
                            relpath,
 
88
                            rename,
 
89
                            supports_executable,
 
90
                            )
 
91
from bzrlib.progress import DummyProgress, ProgressPhase
 
92
from bzrlib.revision import NULL_REVISION
 
93
from bzrlib.rio import RioReader, rio_file, Stanza
 
94
from bzrlib.symbol_versioning import (deprecated_passed,
 
95
        deprecated_method,
 
96
        deprecated_function,
 
97
        DEPRECATED_PARAMETER,
 
98
        zero_eight,
 
99
        zero_eleven,
 
100
        )
 
101
from bzrlib.trace import mutter, note
 
102
from bzrlib.transform import build_tree
 
103
from bzrlib.transport import get_transport
 
104
from bzrlib.transport.local import LocalTransport
 
105
from bzrlib.textui import show_status
 
106
import bzrlib.tree
 
107
import bzrlib.ui
 
108
import bzrlib.xml5
 
109
 
 
110
 
 
111
# the regex removes any weird characters; we don't escape them 
 
112
# but rather just pull them out
 
113
_gen_file_id_re = re.compile(r'[^\w.]')
 
114
_gen_id_suffix = None
 
115
_gen_id_serial = 0
 
116
 
 
117
 
 
118
def _next_id_suffix():
 
119
    """Create a new file id suffix that is reasonably unique.
 
120
    
 
121
    On the first call we combine the current time with 64 bits of randomness
 
122
    to give a highly probably globally unique number. Then each call in the same
 
123
    process adds 1 to a serial number we append to that unique value.
 
124
    """
 
125
    # XXX TODO: change bzrlib.add.smart_add to call workingtree.add() rather 
 
126
    # than having to move the id randomness out of the inner loop like this.
 
127
    # XXX TODO: for the global randomness this uses we should add the thread-id
 
128
    # before the serial #.
 
129
    global _gen_id_suffix, _gen_id_serial
 
130
    if _gen_id_suffix is None:
 
131
        _gen_id_suffix = "-%s-%s-" % (compact_date(time()), rand_chars(16))
 
132
    _gen_id_serial += 1
 
133
    return _gen_id_suffix + str(_gen_id_serial)
 
134
 
 
135
 
 
136
def gen_file_id(name):
 
137
    """Return new file id for the basename 'name'.
 
138
 
 
139
    The uniqueness is supplied from _next_id_suffix.
 
140
    """
 
141
    # The real randomness is in the _next_id_suffix, the
 
142
    # rest of the identifier is just to be nice.
 
143
    # So we:
 
144
    # 1) Remove non-ascii word characters to keep the ids portable
 
145
    # 2) squash to lowercase, so the file id doesn't have to
 
146
    #    be escaped (case insensitive filesystems would bork for ids
 
147
    #    that only differred in case without escaping).
 
148
    # 3) truncate the filename to 20 chars. Long filenames also bork on some
 
149
    #    filesystems
 
150
    # 4) Removing starting '.' characters to prevent the file ids from
 
151
    #    being considered hidden.
 
152
    ascii_word_only = _gen_file_id_re.sub('', name.lower())
 
153
    short_no_dots = ascii_word_only.lstrip('.')[:20]
 
154
    return short_no_dots + _next_id_suffix()
 
155
 
 
156
 
 
157
def gen_root_id():
 
158
    """Return a new tree-root file id."""
 
159
    return gen_file_id('TREE_ROOT')
 
160
 
 
161
 
 
162
class TreeEntry(object):
 
163
    """An entry that implements the minimum interface used by commands.
 
164
 
 
165
    This needs further inspection, it may be better to have 
 
166
    InventoryEntries without ids - though that seems wrong. For now,
 
167
    this is a parallel hierarchy to InventoryEntry, and needs to become
 
168
    one of several things: decorates to that hierarchy, children of, or
 
169
    parents of it.
 
170
    Another note is that these objects are currently only used when there is
 
171
    no InventoryEntry available - i.e. for unversioned objects.
 
172
    Perhaps they should be UnversionedEntry et al. ? - RBC 20051003
 
173
    """
 
174
 
 
175
    def __eq__(self, other):
 
176
        # yes, this us ugly, TODO: best practice __eq__ style.
 
177
        return (isinstance(other, TreeEntry)
 
178
                and other.__class__ == self.__class__)
 
179
 
 
180
    def kind_character(self):
 
181
        return "???"
 
182
 
 
183
 
 
184
class TreeDirectory(TreeEntry):
 
185
    """See TreeEntry. This is a directory in a working tree."""
 
186
 
 
187
    def __eq__(self, other):
 
188
        return (isinstance(other, TreeDirectory)
 
189
                and other.__class__ == self.__class__)
 
190
 
 
191
    def kind_character(self):
 
192
        return "/"
 
193
 
 
194
 
 
195
class TreeFile(TreeEntry):
 
196
    """See TreeEntry. This is a regular file in a working tree."""
 
197
 
 
198
    def __eq__(self, other):
 
199
        return (isinstance(other, TreeFile)
 
200
                and other.__class__ == self.__class__)
 
201
 
 
202
    def kind_character(self):
 
203
        return ''
 
204
 
 
205
 
 
206
class TreeLink(TreeEntry):
 
207
    """See TreeEntry. This is a symlink in a working tree."""
 
208
 
 
209
    def __eq__(self, other):
 
210
        return (isinstance(other, TreeLink)
 
211
                and other.__class__ == self.__class__)
 
212
 
 
213
    def kind_character(self):
 
214
        return ''
 
215
 
 
216
 
 
217
class WorkingTree(bzrlib.tree.Tree):
 
218
    """Working copy tree.
 
219
 
 
220
    The inventory is held in the `Branch` working-inventory, and the
 
221
    files are in a directory on disk.
 
222
 
 
223
    It is possible for a `WorkingTree` to have a filename which is
 
224
    not listed in the Inventory and vice versa.
 
225
    """
 
226
 
 
227
    def __init__(self, basedir='.',
 
228
                 branch=DEPRECATED_PARAMETER,
 
229
                 _inventory=None,
 
230
                 _control_files=None,
 
231
                 _internal=False,
 
232
                 _format=None,
 
233
                 _bzrdir=None):
 
234
        """Construct a WorkingTree for basedir.
 
235
 
 
236
        If the branch is not supplied, it is opened automatically.
 
237
        If the branch is supplied, it must be the branch for this basedir.
 
238
        (branch.base is not cross checked, because for remote branches that
 
239
        would be meaningless).
 
240
        """
 
241
        self._format = _format
 
242
        self.bzrdir = _bzrdir
 
243
        if not _internal:
 
244
            # not created via open etc.
 
245
            warnings.warn("WorkingTree() is deprecated as of bzr version 0.8. "
 
246
                 "Please use bzrdir.open_workingtree or WorkingTree.open().",
 
247
                 DeprecationWarning,
 
248
                 stacklevel=2)
 
249
            wt = WorkingTree.open(basedir)
 
250
            self._branch = wt.branch
 
251
            self.basedir = wt.basedir
 
252
            self._control_files = wt._control_files
 
253
            self._hashcache = wt._hashcache
 
254
            self._set_inventory(wt._inventory)
 
255
            self._format = wt._format
 
256
            self.bzrdir = wt.bzrdir
 
257
        from bzrlib.hashcache import HashCache
 
258
        from bzrlib.trace import note, mutter
 
259
        assert isinstance(basedir, basestring), \
 
260
            "base directory %r is not a string" % basedir
 
261
        basedir = safe_unicode(basedir)
 
262
        mutter("opening working tree %r", basedir)
 
263
        if deprecated_passed(branch):
 
264
            if not _internal:
 
265
                warnings.warn("WorkingTree(..., branch=XXX) is deprecated as of bzr 0.8."
 
266
                     " Please use bzrdir.open_workingtree() or"
 
267
                     " WorkingTree.open().",
 
268
                     DeprecationWarning,
 
269
                     stacklevel=2
 
270
                     )
 
271
            self._branch = branch
 
272
        else:
 
273
            self._branch = self.bzrdir.open_branch()
 
274
        self.basedir = realpath(basedir)
 
275
        # if branch is at our basedir and is a format 6 or less
 
276
        if isinstance(self._format, WorkingTreeFormat2):
 
277
            # share control object
 
278
            self._control_files = self.branch.control_files
 
279
        else:
 
280
            # assume all other formats have their own control files.
 
281
            assert isinstance(_control_files, LockableFiles), \
 
282
                    "_control_files must be a LockableFiles, not %r" \
 
283
                    % _control_files
 
284
            self._control_files = _control_files
 
285
        # update the whole cache up front and write to disk if anything changed;
 
286
        # in the future we might want to do this more selectively
 
287
        # two possible ways offer themselves : in self._unlock, write the cache
 
288
        # if needed, or, when the cache sees a change, append it to the hash
 
289
        # cache file, and have the parser take the most recent entry for a
 
290
        # given path only.
 
291
        cache_filename = self.bzrdir.get_workingtree_transport(None).local_abspath('stat-cache')
 
292
        hc = self._hashcache = HashCache(basedir, cache_filename, self._control_files._file_mode)
 
293
        hc.read()
 
294
        # is this scan needed ? it makes things kinda slow.
 
295
        #hc.scan()
 
296
 
 
297
        if hc.needs_write:
 
298
            mutter("write hc")
 
299
            hc.write()
 
300
 
 
301
        if _inventory is None:
 
302
            self._set_inventory(self.read_working_inventory())
 
303
        else:
 
304
            self._set_inventory(_inventory)
 
305
 
 
306
    branch = property(
 
307
        fget=lambda self: self._branch,
 
308
        doc="""The branch this WorkingTree is connected to.
 
309
 
 
310
            This cannot be set - it is reflective of the actual disk structure
 
311
            the working tree has been constructed from.
 
312
            """)
 
313
 
 
314
    def break_lock(self):
 
315
        """Break a lock if one is present from another instance.
 
316
 
 
317
        Uses the ui factory to ask for confirmation if the lock may be from
 
318
        an active process.
 
319
 
 
320
        This will probe the repository for its lock as well.
 
321
        """
 
322
        self._control_files.break_lock()
 
323
        self.branch.break_lock()
 
324
 
 
325
    def _set_inventory(self, inv):
 
326
        assert inv.root is not None
 
327
        self._inventory = inv
 
328
        self.path2id = self._inventory.path2id
 
329
 
 
330
    def is_control_filename(self, filename):
 
331
        """True if filename is the name of a control file in this tree.
 
332
        
 
333
        :param filename: A filename within the tree. This is a relative path
 
334
        from the root of this tree.
 
335
 
 
336
        This is true IF and ONLY IF the filename is part of the meta data
 
337
        that bzr controls in this tree. I.E. a random .bzr directory placed
 
338
        on disk will not be a control file for this tree.
 
339
        """
 
340
        return self.bzrdir.is_control_filename(filename)
 
341
 
 
342
    @staticmethod
 
343
    def open(path=None, _unsupported=False):
 
344
        """Open an existing working tree at path.
 
345
 
 
346
        """
 
347
        if path is None:
 
348
            path = os.path.getcwdu()
 
349
        control = bzrdir.BzrDir.open(path, _unsupported)
 
350
        return control.open_workingtree(_unsupported)
 
351
        
 
352
    @staticmethod
 
353
    def open_containing(path=None):
 
354
        """Open an existing working tree which has its root about path.
 
355
        
 
356
        This probes for a working tree at path and searches upwards from there.
 
357
 
 
358
        Basically we keep looking up until we find the control directory or
 
359
        run into /.  If there isn't one, raises NotBranchError.
 
360
        TODO: give this a new exception.
 
361
        If there is one, it is returned, along with the unused portion of path.
 
362
 
 
363
        :return: The WorkingTree that contains 'path', and the rest of path
 
364
        """
 
365
        if path is None:
 
366
            path = osutils.getcwd()
 
367
        control, relpath = bzrdir.BzrDir.open_containing(path)
 
368
 
 
369
        return control.open_workingtree(), relpath
 
370
 
 
371
    @staticmethod
 
372
    def open_downlevel(path=None):
 
373
        """Open an unsupported working tree.
 
374
 
 
375
        Only intended for advanced situations like upgrading part of a bzrdir.
 
376
        """
 
377
        return WorkingTree.open(path, _unsupported=True)
 
378
 
 
379
    def __iter__(self):
 
380
        """Iterate through file_ids for this tree.
 
381
 
 
382
        file_ids are in a WorkingTree if they are in the working inventory
 
383
        and the working file exists.
 
384
        """
 
385
        inv = self._inventory
 
386
        for path, ie in inv.iter_entries():
 
387
            if osutils.lexists(self.abspath(path)):
 
388
                yield ie.file_id
 
389
 
 
390
    def __repr__(self):
 
391
        return "<%s of %s>" % (self.__class__.__name__,
 
392
                               getattr(self, 'basedir', None))
 
393
 
 
394
    def abspath(self, filename):
 
395
        return pathjoin(self.basedir, filename)
 
396
    
 
397
    def basis_tree(self):
 
398
        """Return RevisionTree for the current last revision.
 
399
        
 
400
        If the left most parent is a ghost then the returned tree will be an
 
401
        empty tree - one obtained by calling repository.revision_tree(None).
 
402
        """
 
403
        try:
 
404
            revision_id = self.get_parent_ids()[0]
 
405
        except IndexError:
 
406
            # no parents, return an empty revision tree.
 
407
            # in the future this should return the tree for
 
408
            # 'empty:' - the implicit root empty tree.
 
409
            return self.branch.repository.revision_tree(None)
 
410
        else:
 
411
            try:
 
412
                xml = self.read_basis_inventory()
 
413
                inv = bzrlib.xml5.serializer_v5.read_inventory_from_string(xml)
 
414
                inv.root.revision = revision_id
 
415
            except NoSuchFile:
 
416
                inv = None
 
417
            if inv is not None and inv.revision_id == revision_id:
 
418
                return bzrlib.tree.RevisionTree(self.branch.repository, inv,
 
419
                                                revision_id)
 
420
        # No cached copy available, retrieve from the repository.
 
421
        # FIXME? RBC 20060403 should we cache the inventory locally
 
422
        # at this point ?
 
423
        try:
 
424
            return self.branch.repository.revision_tree(revision_id)
 
425
        except errors.RevisionNotPresent:
 
426
            # the basis tree *may* be a ghost or a low level error may have
 
427
            # occured. If the revision is present, its a problem, if its not
 
428
            # its a ghost.
 
429
            if self.branch.repository.has_revision(revision_id):
 
430
                raise
 
431
            # the basis tree is a ghost so return an empty tree.
 
432
            return self.branch.repository.revision_tree(None)
 
433
 
 
434
    @staticmethod
 
435
    @deprecated_method(zero_eight)
 
436
    def create(branch, directory):
 
437
        """Create a workingtree for branch at directory.
 
438
 
 
439
        If existing_directory already exists it must have a .bzr directory.
 
440
        If it does not exist, it will be created.
 
441
 
 
442
        This returns a new WorkingTree object for the new checkout.
 
443
 
 
444
        TODO FIXME RBC 20060124 when we have checkout formats in place this
 
445
        should accept an optional revisionid to checkout [and reject this if
 
446
        checking out into the same dir as a pre-checkout-aware branch format.]
 
447
 
 
448
        XXX: When BzrDir is present, these should be created through that 
 
449
        interface instead.
 
450
        """
 
451
        warnings.warn('delete WorkingTree.create', stacklevel=3)
 
452
        transport = get_transport(directory)
 
453
        if branch.bzrdir.root_transport.base == transport.base:
 
454
            # same dir 
 
455
            return branch.bzrdir.create_workingtree()
 
456
        # different directory, 
 
457
        # create a branch reference
 
458
        # and now a working tree.
 
459
        raise NotImplementedError
 
460
 
 
461
    @staticmethod
 
462
    @deprecated_method(zero_eight)
 
463
    def create_standalone(directory):
 
464
        """Create a checkout and a branch and a repo at directory.
 
465
 
 
466
        Directory must exist and be empty.
 
467
 
 
468
        please use BzrDir.create_standalone_workingtree
 
469
        """
 
470
        return bzrdir.BzrDir.create_standalone_workingtree(directory)
 
471
 
 
472
    def relpath(self, path):
 
473
        """Return the local path portion from a given path.
 
474
        
 
475
        The path may be absolute or relative. If its a relative path it is 
 
476
        interpreted relative to the python current working directory.
 
477
        """
 
478
        return relpath(self.basedir, path)
 
479
 
 
480
    def has_filename(self, filename):
 
481
        return osutils.lexists(self.abspath(filename))
 
482
 
 
483
    def get_file(self, file_id):
 
484
        return self.get_file_byname(self.id2path(file_id))
 
485
 
 
486
    def get_file_text(self, file_id):
 
487
        return self.get_file(file_id).read()
 
488
 
 
489
    def get_file_byname(self, filename):
 
490
        return file(self.abspath(filename), 'rb')
 
491
 
 
492
    def get_parent_ids(self):
 
493
        """See Tree.get_parent_ids.
 
494
        
 
495
        This implementation reads the pending merges list and last_revision
 
496
        value and uses that to decide what the parents list should be.
 
497
        """
 
498
        last_rev = self._last_revision()
 
499
        if last_rev is None:
 
500
            parents = []
 
501
        else:
 
502
            parents = [last_rev]
 
503
        try:
 
504
            merges_file = self._control_files.get_utf8('pending-merges')
 
505
        except NoSuchFile:
 
506
            pass
 
507
        else:
 
508
            for l in merges_file.readlines():
 
509
                parents.append(l.rstrip('\n'))
 
510
        return parents
 
511
 
 
512
    def get_root_id(self):
 
513
        """Return the id of this trees root"""
 
514
        inv = self.read_working_inventory()
 
515
        return inv.root.file_id
 
516
        
 
517
    def _get_store_filename(self, file_id):
 
518
        ## XXX: badly named; this is not in the store at all
 
519
        return self.abspath(self.id2path(file_id))
 
520
 
 
521
    @needs_read_lock
 
522
    def clone(self, to_bzrdir, revision_id=None, basis=None):
 
523
        """Duplicate this working tree into to_bzr, including all state.
 
524
        
 
525
        Specifically modified files are kept as modified, but
 
526
        ignored and unknown files are discarded.
 
527
 
 
528
        If you want to make a new line of development, see bzrdir.sprout()
 
529
 
 
530
        revision
 
531
            If not None, the cloned tree will have its last revision set to 
 
532
            revision, and and difference between the source trees last revision
 
533
            and this one merged in.
 
534
 
 
535
        basis
 
536
            If not None, a closer copy of a tree which may have some files in
 
537
            common, and which file content should be preferentially copied from.
 
538
        """
 
539
        # assumes the target bzr dir format is compatible.
 
540
        result = self._format.initialize(to_bzrdir)
 
541
        self.copy_content_into(result, revision_id)
 
542
        return result
 
543
 
 
544
    @needs_read_lock
 
545
    def copy_content_into(self, tree, revision_id=None):
 
546
        """Copy the current content and user files of this tree into tree."""
 
547
        if revision_id is None:
 
548
            transform_tree(tree, self)
 
549
        else:
 
550
            # TODO now merge from tree.last_revision to revision (to preserve
 
551
            # user local changes)
 
552
            transform_tree(tree, self)
 
553
            tree.set_parent_ids([revision_id])
 
554
 
 
555
    @needs_write_lock
 
556
    def commit(self, message=None, revprops=None, *args, **kwargs):
 
557
        # avoid circular imports
 
558
        from bzrlib.commit import Commit
 
559
        if revprops is None:
 
560
            revprops = {}
 
561
        if not 'branch-nick' in revprops:
 
562
            revprops['branch-nick'] = self.branch.nick
 
563
        # args for wt.commit start at message from the Commit.commit method,
 
564
        # but with branch a kwarg now, passing in args as is results in the
 
565
        #message being used for the branch
 
566
        args = (DEPRECATED_PARAMETER, message, ) + args
 
567
        committed_id = Commit().commit( working_tree=self, revprops=revprops,
 
568
            *args, **kwargs)
 
569
        return committed_id
 
570
 
 
571
    def id2abspath(self, file_id):
 
572
        return self.abspath(self.id2path(file_id))
 
573
 
 
574
    def has_id(self, file_id):
 
575
        # files that have been deleted are excluded
 
576
        inv = self._inventory
 
577
        if not inv.has_id(file_id):
 
578
            return False
 
579
        path = inv.id2path(file_id)
 
580
        return osutils.lexists(self.abspath(path))
 
581
 
 
582
    def has_or_had_id(self, file_id):
 
583
        if file_id == self.inventory.root.file_id:
 
584
            return True
 
585
        return self.inventory.has_id(file_id)
 
586
 
 
587
    __contains__ = has_id
 
588
 
 
589
    def get_file_size(self, file_id):
 
590
        return os.path.getsize(self.id2abspath(file_id))
 
591
 
 
592
    @needs_read_lock
 
593
    def get_file_sha1(self, file_id, path=None):
 
594
        if not path:
 
595
            path = self._inventory.id2path(file_id)
 
596
        return self._hashcache.get_sha1(path)
 
597
 
 
598
    def get_file_mtime(self, file_id, path=None):
 
599
        if not path:
 
600
            path = self._inventory.id2path(file_id)
 
601
        return os.lstat(self.abspath(path)).st_mtime
 
602
 
 
603
    if not supports_executable():
 
604
        def is_executable(self, file_id, path=None):
 
605
            return self._inventory[file_id].executable
 
606
    else:
 
607
        def is_executable(self, file_id, path=None):
 
608
            if not path:
 
609
                path = self._inventory.id2path(file_id)
 
610
            mode = os.lstat(self.abspath(path)).st_mode
 
611
            return bool(stat.S_ISREG(mode) and stat.S_IEXEC & mode)
 
612
 
 
613
    @needs_write_lock
 
614
    def add(self, files, ids=None):
 
615
        """Make files versioned.
 
616
 
 
617
        Note that the command line normally calls smart_add instead,
 
618
        which can automatically recurse.
 
619
 
 
620
        This adds the files to the inventory, so that they will be
 
621
        recorded by the next commit.
 
622
 
 
623
        files
 
624
            List of paths to add, relative to the base of the tree.
 
625
 
 
626
        ids
 
627
            If set, use these instead of automatically generated ids.
 
628
            Must be the same length as the list of files, but may
 
629
            contain None for ids that are to be autogenerated.
 
630
 
 
631
        TODO: Perhaps have an option to add the ids even if the files do
 
632
              not (yet) exist.
 
633
 
 
634
        TODO: Perhaps callback with the ids and paths as they're added.
 
635
        """
 
636
        # TODO: Re-adding a file that is removed in the working copy
 
637
        # should probably put it back with the previous ID.
 
638
        if isinstance(files, basestring):
 
639
            assert(ids is None or isinstance(ids, basestring))
 
640
            files = [files]
 
641
            if ids is not None:
 
642
                ids = [ids]
 
643
 
 
644
        if ids is None:
 
645
            ids = [None] * len(files)
 
646
        else:
 
647
            assert(len(ids) == len(files))
 
648
 
 
649
        inv = self.read_working_inventory()
 
650
        for f,file_id in zip(files, ids):
 
651
            if self.is_control_filename(f):
 
652
                raise errors.ForbiddenControlFileError(filename=f)
 
653
 
 
654
            fp = splitpath(f)
 
655
 
 
656
            if len(fp) == 0:
 
657
                raise BzrError("cannot add top-level %r" % f)
 
658
 
 
659
            fullpath = normpath(self.abspath(f))
 
660
            try:
 
661
                kind = file_kind(fullpath)
 
662
            except OSError, e:
 
663
                if e.errno == errno.ENOENT:
 
664
                    raise NoSuchFile(fullpath)
 
665
            if not InventoryEntry.versionable_kind(kind):
 
666
                raise errors.BadFileKindError(filename=f, kind=kind)
 
667
            if file_id is None:
 
668
                inv.add_path(f, kind=kind)
 
669
            else:
 
670
                inv.add_path(f, kind=kind, file_id=file_id)
 
671
 
 
672
        self._write_inventory(inv)
 
673
 
 
674
    @needs_write_lock
 
675
    def add_parent_tree_id(self, revision_id, allow_leftmost_as_ghost=False):
 
676
        """Add revision_id as a parent.
 
677
 
 
678
        This is equivalent to retrieving the current list of parent ids
 
679
        and setting the list to its value plus revision_id.
 
680
 
 
681
        :param revision_id: The revision id to add to the parent list. It may
 
682
        be a ghost revision as long as its not the first parent to be added,
 
683
        or the allow_leftmost_as_ghost parameter is set True.
 
684
        :param allow_leftmost_as_ghost: Allow the first parent to be a ghost.
 
685
        """
 
686
        parents = self.get_parent_ids() + [revision_id]
 
687
        self.set_parent_ids(parents,
 
688
            allow_leftmost_as_ghost=len(parents) > 1 or allow_leftmost_as_ghost)
 
689
 
 
690
    @needs_write_lock
 
691
    def add_parent_tree(self, parent_tuple, allow_leftmost_as_ghost=False):
 
692
        """Add revision_id, tree tuple as a parent.
 
693
 
 
694
        This is equivalent to retrieving the current list of parent trees
 
695
        and setting the list to its value plus parent_tuple. See also
 
696
        add_parent_tree_id - if you only have a parent id available it will be
 
697
        simpler to use that api. If you have the parent already available, using
 
698
        this api is preferred.
 
699
 
 
700
        :param parent_tuple: The (revision id, tree) to add to the parent list.
 
701
            If the revision_id is a ghost, pass None for the tree.
 
702
        :param allow_leftmost_as_ghost: Allow the first parent to be a ghost.
 
703
        """
 
704
        parent_ids = self.get_parent_ids() + [parent_tuple[0]]
 
705
        if len(parent_ids) > 1:
 
706
            # the leftmost may have already been a ghost, preserve that if it
 
707
            # was.
 
708
            allow_leftmost_as_ghost = True
 
709
        self.set_parent_ids(parent_ids,
 
710
            allow_leftmost_as_ghost=allow_leftmost_as_ghost)
 
711
 
 
712
    @needs_write_lock
 
713
    def add_pending_merge(self, *revision_ids):
 
714
        # TODO: Perhaps should check at this point that the
 
715
        # history of the revision is actually present?
 
716
        parents = self.get_parent_ids()
 
717
        updated = False
 
718
        for rev_id in revision_ids:
 
719
            if rev_id in parents:
 
720
                continue
 
721
            parents.append(rev_id)
 
722
            updated = True
 
723
        if updated:
 
724
            self.set_parent_ids(parents, allow_leftmost_as_ghost=True)
 
725
 
 
726
    @deprecated_method(zero_eleven)
 
727
    @needs_read_lock
 
728
    def pending_merges(self):
 
729
        """Return a list of pending merges.
 
730
 
 
731
        These are revisions that have been merged into the working
 
732
        directory but not yet committed.
 
733
 
 
734
        As of 0.11 this is deprecated. Please see WorkingTree.get_parent_ids()
 
735
        instead - which is available on all tree objects.
 
736
        """
 
737
        return self.get_parent_ids()[1:]
 
738
 
 
739
    @needs_write_lock
 
740
    def set_parent_ids(self, revision_ids, allow_leftmost_as_ghost=False):
 
741
        """Set the parent ids to revision_ids.
 
742
        
 
743
        See also set_parent_trees. This api will try to retrieve the tree data
 
744
        for each element of revision_ids from the trees repository. If you have
 
745
        tree data already available, it is more efficient to use
 
746
        set_parent_trees rather than set_parent_ids. set_parent_ids is however
 
747
        an easier API to use.
 
748
 
 
749
        :param revision_ids: The revision_ids to set as the parent ids of this
 
750
            working tree. Any of these may be ghosts.
 
751
        """
 
752
        if len(revision_ids) > 0:
 
753
            leftmost_id = revision_ids[0]
 
754
            if (not allow_leftmost_as_ghost and not
 
755
                self.branch.repository.has_revision(leftmost_id)):
 
756
                raise errors.GhostRevisionUnusableHere(leftmost_id)
 
757
            self.set_last_revision(leftmost_id)
 
758
        else:
 
759
            self.set_last_revision(None)
 
760
        merges = revision_ids[1:]
 
761
        self._control_files.put_utf8('pending-merges', '\n'.join(merges))
 
762
 
 
763
    @needs_write_lock
 
764
    def set_parent_trees(self, parents_list, allow_leftmost_as_ghost=False):
 
765
        """Set the parents of the working tree.
 
766
 
 
767
        :param parents_list: A list of (revision_id, tree) tuples. 
 
768
            If tree is None, then that element is treated as an unreachable
 
769
            parent tree - i.e. a ghost.
 
770
        """
 
771
        # parent trees are not used in current format trees, delegate to
 
772
        # set_parent_ids
 
773
        self.set_parent_ids([rev for (rev, tree) in parents_list],
 
774
            allow_leftmost_as_ghost=allow_leftmost_as_ghost)
 
775
 
 
776
    @needs_write_lock
 
777
    def set_pending_merges(self, rev_list):
 
778
        parents = self.get_parent_ids()
 
779
        leftmost = parents[:1]
 
780
        new_parents = leftmost + rev_list
 
781
        self.set_parent_ids(new_parents)
 
782
 
 
783
    @needs_write_lock
 
784
    def set_merge_modified(self, modified_hashes):
 
785
        def iter_stanzas():
 
786
            for file_id, hash in modified_hashes.iteritems():
 
787
                yield Stanza(file_id=file_id, hash=hash)
 
788
        self._put_rio('merge-hashes', iter_stanzas(), MERGE_MODIFIED_HEADER_1)
 
789
 
 
790
    @needs_write_lock
 
791
    def _put_rio(self, filename, stanzas, header):
 
792
        my_file = rio_file(stanzas, header)
 
793
        self._control_files.put(filename, my_file)
 
794
 
 
795
    @needs_write_lock
 
796
    def merge_from_branch(self, branch, to_revision=None):
 
797
        """Merge from a branch into this working tree.
 
798
 
 
799
        :param branch: The branch to merge from.
 
800
        :param to_revision: If non-None, the merge will merge to to_revision, but 
 
801
            not beyond it. to_revision does not need to be in the history of
 
802
            the branch when it is supplied. If None, to_revision defaults to
 
803
            branch.last_revision().
 
804
        """
 
805
        from bzrlib.merge import Merger, Merge3Merger
 
806
        pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
807
        try:
 
808
            merger = Merger(self.branch, this_tree=self, pb=pb)
 
809
            merger.pp = ProgressPhase("Merge phase", 5, pb)
 
810
            merger.pp.next_phase()
 
811
            # check that there are no
 
812
            # local alterations
 
813
            merger.check_basis(check_clean=True, require_commits=False)
 
814
            if to_revision is None:
 
815
                to_revision = branch.last_revision()
 
816
            merger.other_rev_id = to_revision
 
817
            if merger.other_rev_id is None:
 
818
                raise error.NoCommits(branch)
 
819
            self.branch.fetch(branch, last_revision=merger.other_rev_id)
 
820
            merger.other_basis = merger.other_rev_id
 
821
            merger.other_tree = self.branch.repository.revision_tree(
 
822
                merger.other_rev_id)
 
823
            merger.pp.next_phase()
 
824
            merger.find_base()
 
825
            if merger.base_rev_id == merger.other_rev_id:
 
826
                raise errors.PointlessMerge
 
827
            merger.backup_files = False
 
828
            merger.merge_type = Merge3Merger
 
829
            merger.set_interesting_files(None)
 
830
            merger.show_base = False
 
831
            merger.reprocess = False
 
832
            conflicts = merger.do_merge()
 
833
            merger.set_pending()
 
834
        finally:
 
835
            pb.finished()
 
836
        return conflicts
 
837
 
 
838
    @needs_read_lock
 
839
    def merge_modified(self):
 
840
        try:
 
841
            hashfile = self._control_files.get('merge-hashes')
 
842
        except NoSuchFile:
 
843
            return {}
 
844
        merge_hashes = {}
 
845
        try:
 
846
            if hashfile.next() != MERGE_MODIFIED_HEADER_1 + '\n':
 
847
                raise MergeModifiedFormatError()
 
848
        except StopIteration:
 
849
            raise MergeModifiedFormatError()
 
850
        for s in RioReader(hashfile):
 
851
            file_id = s.get("file_id")
 
852
            if file_id not in self.inventory:
 
853
                continue
 
854
            hash = s.get("hash")
 
855
            if hash == self.get_file_sha1(file_id):
 
856
                merge_hashes[file_id] = hash
 
857
        return merge_hashes
 
858
 
 
859
    def get_symlink_target(self, file_id):
 
860
        return os.readlink(self.id2abspath(file_id))
 
861
 
 
862
    def file_class(self, filename):
 
863
        if self.path2id(filename):
 
864
            return 'V'
 
865
        elif self.is_ignored(filename):
 
866
            return 'I'
 
867
        else:
 
868
            return '?'
 
869
 
 
870
    def list_files(self):
 
871
        """Recursively list all files as (path, class, kind, id, entry).
 
872
 
 
873
        Lists, but does not descend into unversioned directories.
 
874
 
 
875
        This does not include files that have been deleted in this
 
876
        tree.
 
877
 
 
878
        Skips the control directory.
 
879
        """
 
880
        inv = self._inventory
 
881
        # Convert these into local objects to save lookup times
 
882
        pathjoin = osutils.pathjoin
 
883
        file_kind = osutils.file_kind
 
884
 
 
885
        # transport.base ends in a slash, we want the piece
 
886
        # between the last two slashes
 
887
        transport_base_dir = self.bzrdir.transport.base.rsplit('/', 2)[1]
 
888
 
 
889
        fk_entries = {'directory':TreeDirectory, 'file':TreeFile, 'symlink':TreeLink}
 
890
 
 
891
        # directory file_id, relative path, absolute path, reverse sorted children
 
892
        children = os.listdir(self.basedir)
 
893
        children.sort()
 
894
        # jam 20060527 The kernel sized tree seems equivalent whether we 
 
895
        # use a deque and popleft to keep them sorted, or if we use a plain
 
896
        # list and just reverse() them.
 
897
        children = collections.deque(children)
 
898
        stack = [(inv.root.file_id, u'', self.basedir, children)]
 
899
        while stack:
 
900
            from_dir_id, from_dir_relpath, from_dir_abspath, children = stack[-1]
 
901
 
 
902
            while children:
 
903
                f = children.popleft()
 
904
                ## TODO: If we find a subdirectory with its own .bzr
 
905
                ## directory, then that is a separate tree and we
 
906
                ## should exclude it.
 
907
 
 
908
                # the bzrdir for this tree
 
909
                if transport_base_dir == f:
 
910
                    continue
 
911
 
 
912
                # we know that from_dir_relpath and from_dir_abspath never end in a slash
 
913
                # and 'f' doesn't begin with one, we can do a string op, rather
 
914
                # than the checks of pathjoin(), all relative paths will have an extra slash
 
915
                # at the beginning
 
916
                fp = from_dir_relpath + '/' + f
 
917
 
 
918
                # absolute path
 
919
                fap = from_dir_abspath + '/' + f
 
920
                
 
921
                f_ie = inv.get_child(from_dir_id, f)
 
922
                if f_ie:
 
923
                    c = 'V'
 
924
                elif self.is_ignored(fp[1:]):
 
925
                    c = 'I'
 
926
                else:
 
927
                    # we may not have found this file, because of a unicode issue
 
928
                    f_norm, can_access = osutils.normalized_filename(f)
 
929
                    if f == f_norm or not can_access:
 
930
                        # No change, so treat this file normally
 
931
                        c = '?'
 
932
                    else:
 
933
                        # this file can be accessed by a normalized path
 
934
                        # check again if it is versioned
 
935
                        # these lines are repeated here for performance
 
936
                        f = f_norm
 
937
                        fp = from_dir_relpath + '/' + f
 
938
                        fap = from_dir_abspath + '/' + f
 
939
                        f_ie = inv.get_child(from_dir_id, f)
 
940
                        if f_ie:
 
941
                            c = 'V'
 
942
                        elif self.is_ignored(fp[1:]):
 
943
                            c = 'I'
 
944
                        else:
 
945
                            c = '?'
 
946
 
 
947
                fk = file_kind(fap)
 
948
 
 
949
                if f_ie:
 
950
                    if f_ie.kind != fk:
 
951
                        raise BzrCheckError("file %r entered as kind %r id %r, "
 
952
                                            "now of kind %r"
 
953
                                            % (fap, f_ie.kind, f_ie.file_id, fk))
 
954
 
 
955
                # make a last minute entry
 
956
                if f_ie:
 
957
                    yield fp[1:], c, fk, f_ie.file_id, f_ie
 
958
                else:
 
959
                    try:
 
960
                        yield fp[1:], c, fk, None, fk_entries[fk]()
 
961
                    except KeyError:
 
962
                        yield fp[1:], c, fk, None, TreeEntry()
 
963
                    continue
 
964
                
 
965
                if fk != 'directory':
 
966
                    continue
 
967
 
 
968
                # But do this child first
 
969
                new_children = os.listdir(fap)
 
970
                new_children.sort()
 
971
                new_children = collections.deque(new_children)
 
972
                stack.append((f_ie.file_id, fp, fap, new_children))
 
973
                # Break out of inner loop, so that we start outer loop with child
 
974
                break
 
975
            else:
 
976
                # if we finished all children, pop it off the stack
 
977
                stack.pop()
 
978
 
 
979
 
 
980
    @needs_write_lock
 
981
    def move(self, from_paths, to_name):
 
982
        """Rename files.
 
983
 
 
984
        to_name must exist in the inventory.
 
985
 
 
986
        If to_name exists and is a directory, the files are moved into
 
987
        it, keeping their old names.  
 
988
 
 
989
        Note that to_name is only the last component of the new name;
 
990
        this doesn't change the directory.
 
991
 
 
992
        This returns a list of (from_path, to_path) pairs for each
 
993
        entry that is moved.
 
994
        """
 
995
        result = []
 
996
        ## TODO: Option to move IDs only
 
997
        assert not isinstance(from_paths, basestring)
 
998
        inv = self.inventory
 
999
        to_abs = self.abspath(to_name)
 
1000
        if not isdir(to_abs):
 
1001
            raise BzrError("destination %r is not a directory" % to_abs)
 
1002
        if not self.has_filename(to_name):
 
1003
            raise BzrError("destination %r not in working directory" % to_abs)
 
1004
        to_dir_id = inv.path2id(to_name)
 
1005
        if to_dir_id is None and to_name != '':
 
1006
            raise BzrError("destination %r is not a versioned directory" % to_name)
 
1007
        to_dir_ie = inv[to_dir_id]
 
1008
        if to_dir_ie.kind != 'directory':
 
1009
            raise BzrError("destination %r is not a directory" % to_abs)
 
1010
 
 
1011
        to_idpath = inv.get_idpath(to_dir_id)
 
1012
 
 
1013
        for f in from_paths:
 
1014
            if not self.has_filename(f):
 
1015
                raise BzrError("%r does not exist in working tree" % f)
 
1016
            f_id = inv.path2id(f)
 
1017
            if f_id is None:
 
1018
                raise BzrError("%r is not versioned" % f)
 
1019
            name_tail = splitpath(f)[-1]
 
1020
            dest_path = pathjoin(to_name, name_tail)
 
1021
            if self.has_filename(dest_path):
 
1022
                raise BzrError("destination %r already exists" % dest_path)
 
1023
            if f_id in to_idpath:
 
1024
                raise BzrError("can't move %r to a subdirectory of itself" % f)
 
1025
 
 
1026
        # OK, so there's a race here, it's possible that someone will
 
1027
        # create a file in this interval and then the rename might be
 
1028
        # left half-done.  But we should have caught most problems.
 
1029
        orig_inv = deepcopy(self.inventory)
 
1030
        try:
 
1031
            for f in from_paths:
 
1032
                name_tail = splitpath(f)[-1]
 
1033
                dest_path = pathjoin(to_name, name_tail)
 
1034
                result.append((f, dest_path))
 
1035
                inv.rename(inv.path2id(f), to_dir_id, name_tail)
 
1036
                try:
 
1037
                    rename(self.abspath(f), self.abspath(dest_path))
 
1038
                except OSError, e:
 
1039
                    raise BzrError("failed to rename %r to %r: %s" %
 
1040
                                   (f, dest_path, e[1]),
 
1041
                            ["rename rolled back"])
 
1042
        except:
 
1043
            # restore the inventory on error
 
1044
            self._set_inventory(orig_inv)
 
1045
            raise
 
1046
        self._write_inventory(inv)
 
1047
        return result
 
1048
 
 
1049
    @needs_write_lock
 
1050
    def rename_one(self, from_rel, to_rel):
 
1051
        """Rename one file.
 
1052
 
 
1053
        This can change the directory or the filename or both.
 
1054
        """
 
1055
        inv = self.inventory
 
1056
        if not self.has_filename(from_rel):
 
1057
            raise BzrError("can't rename: old working file %r does not exist" % from_rel)
 
1058
        if self.has_filename(to_rel):
 
1059
            raise BzrError("can't rename: new working file %r already exists" % to_rel)
 
1060
 
 
1061
        file_id = inv.path2id(from_rel)
 
1062
        if file_id is None:
 
1063
            raise BzrError("can't rename: old name %r is not versioned" % from_rel)
 
1064
 
 
1065
        entry = inv[file_id]
 
1066
        from_parent = entry.parent_id
 
1067
        from_name = entry.name
 
1068
        
 
1069
        if inv.path2id(to_rel):
 
1070
            raise BzrError("can't rename: new name %r is already versioned" % to_rel)
 
1071
 
 
1072
        to_dir, to_tail = os.path.split(to_rel)
 
1073
        to_dir_id = inv.path2id(to_dir)
 
1074
        if to_dir_id is None and to_dir != '':
 
1075
            raise BzrError("can't determine destination directory id for %r" % to_dir)
 
1076
 
 
1077
        mutter("rename_one:")
 
1078
        mutter("  file_id    {%s}" % file_id)
 
1079
        mutter("  from_rel   %r" % from_rel)
 
1080
        mutter("  to_rel     %r" % to_rel)
 
1081
        mutter("  to_dir     %r" % to_dir)
 
1082
        mutter("  to_dir_id  {%s}" % to_dir_id)
 
1083
 
 
1084
        inv.rename(file_id, to_dir_id, to_tail)
 
1085
 
 
1086
        from_abs = self.abspath(from_rel)
 
1087
        to_abs = self.abspath(to_rel)
 
1088
        try:
 
1089
            rename(from_abs, to_abs)
 
1090
        except OSError, e:
 
1091
            inv.rename(file_id, from_parent, from_name)
 
1092
            raise BzrError("failed to rename %r to %r: %s"
 
1093
                    % (from_abs, to_abs, e[1]),
 
1094
                    ["rename rolled back"])
 
1095
        self._write_inventory(inv)
 
1096
 
 
1097
    @needs_read_lock
 
1098
    def unknowns(self):
 
1099
        """Return all unknown files.
 
1100
 
 
1101
        These are files in the working directory that are not versioned or
 
1102
        control files or ignored.
 
1103
        """
 
1104
        for subp in self.extras():
 
1105
            if not self.is_ignored(subp):
 
1106
                yield subp
 
1107
    
 
1108
    @needs_write_lock
 
1109
    def unversion(self, file_ids):
 
1110
        """Remove the file ids in file_ids from the current versioned set.
 
1111
 
 
1112
        When a file_id is unversioned, all of its children are automatically
 
1113
        unversioned.
 
1114
 
 
1115
        :param file_ids: The file ids to stop versioning.
 
1116
        :raises: NoSuchId if any fileid is not currently versioned.
 
1117
        """
 
1118
        for file_id in file_ids:
 
1119
            if self._inventory.has_id(file_id):
 
1120
                self._inventory.remove_recursive_id(file_id)
 
1121
            else:
 
1122
                raise errors.NoSuchId(self, file_id)
 
1123
        if len(file_ids):
 
1124
            # in the future this should just set a dirty bit to wait for the 
 
1125
            # final unlock. However, until all methods of workingtree start
 
1126
            # with the current in -memory inventory rather than triggering 
 
1127
            # a read, it is more complex - we need to teach read_inventory
 
1128
            # to know when to read, and when to not read first... and possibly
 
1129
            # to save first when the in memory one may be corrupted.
 
1130
            # so for now, we just only write it if it is indeed dirty.
 
1131
            # - RBC 20060907
 
1132
            self._write_inventory(self._inventory)
 
1133
    
 
1134
    @deprecated_method(zero_eight)
 
1135
    def iter_conflicts(self):
 
1136
        """List all files in the tree that have text or content conflicts.
 
1137
        DEPRECATED.  Use conflicts instead."""
 
1138
        return self._iter_conflicts()
 
1139
 
 
1140
    def _iter_conflicts(self):
 
1141
        conflicted = set()
 
1142
        for info in self.list_files():
 
1143
            path = info[0]
 
1144
            stem = get_conflicted_stem(path)
 
1145
            if stem is None:
 
1146
                continue
 
1147
            if stem not in conflicted:
 
1148
                conflicted.add(stem)
 
1149
                yield stem
 
1150
 
 
1151
    @needs_write_lock
 
1152
    def pull(self, source, overwrite=False, stop_revision=None):
 
1153
        top_pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
1154
        source.lock_read()
 
1155
        try:
 
1156
            pp = ProgressPhase("Pull phase", 2, top_pb)
 
1157
            pp.next_phase()
 
1158
            old_revision_history = self.branch.revision_history()
 
1159
            basis_tree = self.basis_tree()
 
1160
            count = self.branch.pull(source, overwrite, stop_revision)
 
1161
            new_revision_history = self.branch.revision_history()
 
1162
            if new_revision_history != old_revision_history:
 
1163
                pp.next_phase()
 
1164
                if len(old_revision_history):
 
1165
                    other_revision = old_revision_history[-1]
 
1166
                else:
 
1167
                    other_revision = None
 
1168
                repository = self.branch.repository
 
1169
                pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
1170
                try:
 
1171
                    new_basis_tree = self.branch.basis_tree()
 
1172
                    merge_inner(self.branch,
 
1173
                                new_basis_tree,
 
1174
                                basis_tree,
 
1175
                                this_tree=self,
 
1176
                                pb=pb)
 
1177
                finally:
 
1178
                    pb.finished()
 
1179
                # TODO - dedup parents list with things merged by pull ?
 
1180
                # reuse the revisiontree we merged against to set the new
 
1181
                # tree data.
 
1182
                parent_trees = [(self.branch.last_revision(), new_basis_tree)]
 
1183
                # we have to pull the merge trees out again, because 
 
1184
                # merge_inner has set the ids. - this corner is not yet 
 
1185
                # layered well enough to prevent double handling.
 
1186
                merges = self.get_parent_ids()[1:]
 
1187
                parent_trees.extend([
 
1188
                    (parent, repository.revision_tree(parent)) for
 
1189
                     parent in merges])
 
1190
                self.set_parent_trees(parent_trees)
 
1191
            return count
 
1192
        finally:
 
1193
            source.unlock()
 
1194
            top_pb.finished()
 
1195
 
 
1196
    def extras(self):
 
1197
        """Yield all unknown files in this WorkingTree.
 
1198
 
 
1199
        If there are any unknown directories then only the directory is
 
1200
        returned, not all its children.  But if there are unknown files
 
1201
        under a versioned subdirectory, they are returned.
 
1202
 
 
1203
        Currently returned depth-first, sorted by name within directories.
 
1204
        """
 
1205
        ## TODO: Work from given directory downwards
 
1206
        for path, dir_entry in self.inventory.directories():
 
1207
            # mutter("search for unknowns in %r", path)
 
1208
            dirabs = self.abspath(path)
 
1209
            if not isdir(dirabs):
 
1210
                # e.g. directory deleted
 
1211
                continue
 
1212
 
 
1213
            fl = []
 
1214
            for subf in os.listdir(dirabs):
 
1215
                if subf == '.bzr':
 
1216
                    continue
 
1217
                if subf not in dir_entry.children:
 
1218
                    subf_norm, can_access = osutils.normalized_filename(subf)
 
1219
                    if subf_norm != subf and can_access:
 
1220
                        if subf_norm not in dir_entry.children:
 
1221
                            fl.append(subf_norm)
 
1222
                    else:
 
1223
                        fl.append(subf)
 
1224
            
 
1225
            fl.sort()
 
1226
            for subf in fl:
 
1227
                subp = pathjoin(path, subf)
 
1228
                yield subp
 
1229
 
 
1230
    def _translate_ignore_rule(self, rule):
 
1231
        """Translate a single ignore rule to a regex.
 
1232
 
 
1233
        There are two types of ignore rules.  Those that do not contain a / are
 
1234
        matched against the tail of the filename (that is, they do not care
 
1235
        what directory the file is in.)  Rules which do contain a slash must
 
1236
        match the entire path.  As a special case, './' at the start of the
 
1237
        string counts as a slash in the string but is removed before matching
 
1238
        (e.g. ./foo.c, ./src/foo.c)
 
1239
 
 
1240
        :return: The translated regex.
 
1241
        """
 
1242
        if rule[:2] in ('./', '.\\'):
 
1243
            # rootdir rule
 
1244
            result = fnmatch.translate(rule[2:])
 
1245
        elif '/' in rule or '\\' in rule:
 
1246
            # path prefix 
 
1247
            result = fnmatch.translate(rule)
 
1248
        else:
 
1249
            # default rule style.
 
1250
            result = "(?:.*/)?(?!.*/)" + fnmatch.translate(rule)
 
1251
        assert result[-1] == '$', "fnmatch.translate did not add the expected $"
 
1252
        return "(" + result + ")"
 
1253
 
 
1254
    def _combine_ignore_rules(self, rules):
 
1255
        """Combine a list of ignore rules into a single regex object.
 
1256
 
 
1257
        Each individual rule is combined with | to form a big regex, which then
 
1258
        has $ added to it to form something like ()|()|()$. The group index for
 
1259
        each subregex's outermost group is placed in a dictionary mapping back 
 
1260
        to the rule. This allows quick identification of the matching rule that
 
1261
        triggered a match.
 
1262
        :return: a list of the compiled regex and the matching-group index 
 
1263
        dictionaries. We return a list because python complains if you try to 
 
1264
        combine more than 100 regexes.
 
1265
        """
 
1266
        result = []
 
1267
        groups = {}
 
1268
        next_group = 0
 
1269
        translated_rules = []
 
1270
        for rule in rules:
 
1271
            translated_rule = self._translate_ignore_rule(rule)
 
1272
            compiled_rule = re.compile(translated_rule)
 
1273
            groups[next_group] = rule
 
1274
            next_group += compiled_rule.groups
 
1275
            translated_rules.append(translated_rule)
 
1276
            if next_group == 99:
 
1277
                result.append((re.compile("|".join(translated_rules)), groups))
 
1278
                groups = {}
 
1279
                next_group = 0
 
1280
                translated_rules = []
 
1281
        if len(translated_rules):
 
1282
            result.append((re.compile("|".join(translated_rules)), groups))
 
1283
        return result
 
1284
 
 
1285
    def ignored_files(self):
 
1286
        """Yield list of PATH, IGNORE_PATTERN"""
 
1287
        for subp in self.extras():
 
1288
            pat = self.is_ignored(subp)
 
1289
            if pat is not None:
 
1290
                yield subp, pat
 
1291
 
 
1292
    def get_ignore_list(self):
 
1293
        """Return list of ignore patterns.
 
1294
 
 
1295
        Cached in the Tree object after the first call.
 
1296
        """
 
1297
        ignoreset = getattr(self, '_ignoreset', None)
 
1298
        if ignoreset is not None:
 
1299
            return ignoreset
 
1300
 
 
1301
        ignore_globs = set(bzrlib.DEFAULT_IGNORE)
 
1302
        ignore_globs.update(ignores.get_runtime_ignores())
 
1303
 
 
1304
        ignore_globs.update(ignores.get_user_ignores())
 
1305
 
 
1306
        if self.has_filename(bzrlib.IGNORE_FILENAME):
 
1307
            f = self.get_file_byname(bzrlib.IGNORE_FILENAME)
 
1308
            try:
 
1309
                ignore_globs.update(ignores.parse_ignore_file(f))
 
1310
            finally:
 
1311
                f.close()
 
1312
 
 
1313
        self._ignoreset = ignore_globs
 
1314
        self._ignore_regex = self._combine_ignore_rules(ignore_globs)
 
1315
        return ignore_globs
 
1316
 
 
1317
    def _get_ignore_rules_as_regex(self):
 
1318
        """Return a regex of the ignore rules and a mapping dict.
 
1319
 
 
1320
        :return: (ignore rules compiled regex, dictionary mapping rule group 
 
1321
        indices to original rule.)
 
1322
        """
 
1323
        if getattr(self, '_ignoreset', None) is None:
 
1324
            self.get_ignore_list()
 
1325
        return self._ignore_regex
 
1326
 
 
1327
    def is_ignored(self, filename):
 
1328
        r"""Check whether the filename matches an ignore pattern.
 
1329
 
 
1330
        Patterns containing '/' or '\' need to match the whole path;
 
1331
        others match against only the last component.
 
1332
 
 
1333
        If the file is ignored, returns the pattern which caused it to
 
1334
        be ignored, otherwise None.  So this can simply be used as a
 
1335
        boolean if desired."""
 
1336
 
 
1337
        # TODO: Use '**' to match directories, and other extended
 
1338
        # globbing stuff from cvs/rsync.
 
1339
 
 
1340
        # XXX: fnmatch is actually not quite what we want: it's only
 
1341
        # approximately the same as real Unix fnmatch, and doesn't
 
1342
        # treat dotfiles correctly and allows * to match /.
 
1343
        # Eventually it should be replaced with something more
 
1344
        # accurate.
 
1345
    
 
1346
        rules = self._get_ignore_rules_as_regex()
 
1347
        for regex, mapping in rules:
 
1348
            match = regex.match(filename)
 
1349
            if match is not None:
 
1350
                # one or more of the groups in mapping will have a non-None
 
1351
                # group match.
 
1352
                groups = match.groups()
 
1353
                rules = [mapping[group] for group in 
 
1354
                    mapping if groups[group] is not None]
 
1355
                return rules[0]
 
1356
        return None
 
1357
 
 
1358
    def kind(self, file_id):
 
1359
        return file_kind(self.id2abspath(file_id))
 
1360
 
 
1361
    def last_revision(self):
 
1362
        """Return the last revision id of this working tree.
 
1363
 
 
1364
        In early branch formats this was the same as the branch last_revision,
 
1365
        but that cannot be relied upon - for working tree operations,
 
1366
        always use tree.last_revision(). This returns the left most parent id,
 
1367
        or None if there are no parents.
 
1368
 
 
1369
        This was deprecated as of 0.11. Please use get_parent_ids instead.
 
1370
        """
 
1371
        return self._last_revision()
 
1372
 
 
1373
    @needs_read_lock
 
1374
    def _last_revision(self):
 
1375
        """helper for get_parent_ids."""
 
1376
        return self.branch.last_revision()
 
1377
 
 
1378
    def is_locked(self):
 
1379
        return self._control_files.is_locked()
 
1380
 
 
1381
    def lock_read(self):
 
1382
        """See Branch.lock_read, and WorkingTree.unlock."""
 
1383
        self.branch.lock_read()
 
1384
        try:
 
1385
            return self._control_files.lock_read()
 
1386
        except:
 
1387
            self.branch.unlock()
 
1388
            raise
 
1389
 
 
1390
    def lock_write(self):
 
1391
        """See Branch.lock_write, and WorkingTree.unlock."""
 
1392
        self.branch.lock_write()
 
1393
        try:
 
1394
            return self._control_files.lock_write()
 
1395
        except:
 
1396
            self.branch.unlock()
 
1397
            raise
 
1398
 
 
1399
    def get_physical_lock_status(self):
 
1400
        return self._control_files.get_physical_lock_status()
 
1401
 
 
1402
    def _basis_inventory_name(self):
 
1403
        return 'basis-inventory'
 
1404
 
 
1405
    @needs_write_lock
 
1406
    def set_last_revision(self, new_revision):
 
1407
        """Change the last revision in the working tree."""
 
1408
        if self._change_last_revision(new_revision):
 
1409
            self._cache_basis_inventory(new_revision)
 
1410
 
 
1411
    def _change_last_revision(self, new_revision):
 
1412
        """Template method part of set_last_revision to perform the change.
 
1413
        
 
1414
        This is used to allow WorkingTree3 instances to not affect branch
 
1415
        when their last revision is set.
 
1416
        """
 
1417
        if new_revision is None:
 
1418
            self.branch.set_revision_history([])
 
1419
            return False
 
1420
        try:
 
1421
            self.branch.generate_revision_history(new_revision)
 
1422
        except errors.NoSuchRevision:
 
1423
            # not present in the repo - dont try to set it deeper than the tip
 
1424
            self.branch.set_revision_history([new_revision])
 
1425
        return True
 
1426
 
 
1427
    def _cache_basis_inventory(self, new_revision):
 
1428
        """Cache new_revision as the basis inventory."""
 
1429
        # TODO: this should allow the ready-to-use inventory to be passed in,
 
1430
        # as commit already has that ready-to-use [while the format is the
 
1431
        # same, that is].
 
1432
        try:
 
1433
            # this double handles the inventory - unpack and repack - 
 
1434
            # but is easier to understand. We can/should put a conditional
 
1435
            # in here based on whether the inventory is in the latest format
 
1436
            # - perhaps we should repack all inventories on a repository
 
1437
            # upgrade ?
 
1438
            # the fast path is to copy the raw xml from the repository. If the
 
1439
            # xml contains 'revision_id="', then we assume the right 
 
1440
            # revision_id is set. We must check for this full string, because a
 
1441
            # root node id can legitimately look like 'revision_id' but cannot
 
1442
            # contain a '"'.
 
1443
            xml = self.branch.repository.get_inventory_xml(new_revision)
 
1444
            if not 'revision_id="' in xml.split('\n', 1)[0]:
 
1445
                inv = self.branch.repository.deserialise_inventory(
 
1446
                    new_revision, xml)
 
1447
                inv.revision_id = new_revision
 
1448
                xml = bzrlib.xml5.serializer_v5.write_inventory_to_string(inv)
 
1449
            assert isinstance(xml, str), 'serialised xml must be bytestring.'
 
1450
            path = self._basis_inventory_name()
 
1451
            sio = StringIO(xml)
 
1452
            self._control_files.put(path, sio)
 
1453
        except (errors.NoSuchRevision, errors.RevisionNotPresent):
 
1454
            pass
 
1455
 
 
1456
    def read_basis_inventory(self):
 
1457
        """Read the cached basis inventory."""
 
1458
        path = self._basis_inventory_name()
 
1459
        return self._control_files.get(path).read()
 
1460
        
 
1461
    @needs_read_lock
 
1462
    def read_working_inventory(self):
 
1463
        """Read the working inventory."""
 
1464
        # ElementTree does its own conversion from UTF-8, so open in
 
1465
        # binary.
 
1466
        result = bzrlib.xml5.serializer_v5.read_inventory(
 
1467
            self._control_files.get('inventory'))
 
1468
        self._set_inventory(result)
 
1469
        return result
 
1470
 
 
1471
    @needs_write_lock
 
1472
    def remove(self, files, verbose=False, to_file=None):
 
1473
        """Remove nominated files from the working inventory..
 
1474
 
 
1475
        This does not remove their text.  This does not run on XXX on what? RBC
 
1476
 
 
1477
        TODO: Refuse to remove modified files unless --force is given?
 
1478
 
 
1479
        TODO: Do something useful with directories.
 
1480
 
 
1481
        TODO: Should this remove the text or not?  Tough call; not
 
1482
        removing may be useful and the user can just use use rm, and
 
1483
        is the opposite of add.  Removing it is consistent with most
 
1484
        other tools.  Maybe an option.
 
1485
        """
 
1486
        ## TODO: Normalize names
 
1487
        ## TODO: Remove nested loops; better scalability
 
1488
        if isinstance(files, basestring):
 
1489
            files = [files]
 
1490
 
 
1491
        inv = self.inventory
 
1492
 
 
1493
        # do this before any modifications
 
1494
        for f in files:
 
1495
            fid = inv.path2id(f)
 
1496
            if not fid:
 
1497
                # TODO: Perhaps make this just a warning, and continue?
 
1498
                # This tends to happen when 
 
1499
                raise NotVersionedError(path=f)
 
1500
            if verbose:
 
1501
                # having remove it, it must be either ignored or unknown
 
1502
                if self.is_ignored(f):
 
1503
                    new_status = 'I'
 
1504
                else:
 
1505
                    new_status = '?'
 
1506
                show_status(new_status, inv[fid].kind, f, to_file=to_file)
 
1507
            del inv[fid]
 
1508
 
 
1509
        self._write_inventory(inv)
 
1510
 
 
1511
    @needs_write_lock
 
1512
    def revert(self, filenames, old_tree=None, backups=True, 
 
1513
               pb=DummyProgress()):
 
1514
        from transform import revert
 
1515
        from conflicts import resolve
 
1516
        if old_tree is None:
 
1517
            old_tree = self.basis_tree()
 
1518
        conflicts = revert(self, old_tree, filenames, backups, pb)
 
1519
        if not len(filenames):
 
1520
            self.set_parent_ids(self.get_parent_ids()[:1])
 
1521
            resolve(self)
 
1522
        else:
 
1523
            resolve(self, filenames, ignore_misses=True)
 
1524
        return conflicts
 
1525
 
 
1526
    # XXX: This method should be deprecated in favour of taking in a proper
 
1527
    # new Inventory object.
 
1528
    @needs_write_lock
 
1529
    def set_inventory(self, new_inventory_list):
 
1530
        from bzrlib.inventory import (Inventory,
 
1531
                                      InventoryDirectory,
 
1532
                                      InventoryEntry,
 
1533
                                      InventoryFile,
 
1534
                                      InventoryLink)
 
1535
        inv = Inventory(self.get_root_id())
 
1536
        for path, file_id, parent, kind in new_inventory_list:
 
1537
            name = os.path.basename(path)
 
1538
            if name == "":
 
1539
                continue
 
1540
            # fixme, there should be a factory function inv,add_?? 
 
1541
            if kind == 'directory':
 
1542
                inv.add(InventoryDirectory(file_id, name, parent))
 
1543
            elif kind == 'file':
 
1544
                inv.add(InventoryFile(file_id, name, parent))
 
1545
            elif kind == 'symlink':
 
1546
                inv.add(InventoryLink(file_id, name, parent))
 
1547
            else:
 
1548
                raise BzrError("unknown kind %r" % kind)
 
1549
        self._write_inventory(inv)
 
1550
 
 
1551
    @needs_write_lock
 
1552
    def set_root_id(self, file_id):
 
1553
        """Set the root id for this tree."""
 
1554
        inv = self.read_working_inventory()
 
1555
        orig_root_id = inv.root.file_id
 
1556
        del inv._byid[inv.root.file_id]
 
1557
        inv.root.file_id = file_id
 
1558
        inv._byid[inv.root.file_id] = inv.root
 
1559
        for fid in inv:
 
1560
            entry = inv[fid]
 
1561
            if entry.parent_id == orig_root_id:
 
1562
                entry.parent_id = inv.root.file_id
 
1563
        self._write_inventory(inv)
 
1564
 
 
1565
    def unlock(self):
 
1566
        """See Branch.unlock.
 
1567
        
 
1568
        WorkingTree locking just uses the Branch locking facilities.
 
1569
        This is current because all working trees have an embedded branch
 
1570
        within them. IF in the future, we were to make branch data shareable
 
1571
        between multiple working trees, i.e. via shared storage, then we 
 
1572
        would probably want to lock both the local tree, and the branch.
 
1573
        """
 
1574
        raise NotImplementedError(self.unlock)
 
1575
 
 
1576
    @needs_write_lock
 
1577
    def update(self):
 
1578
        """Update a working tree along its branch.
 
1579
 
 
1580
        This will update the branch if its bound too, which means we have multiple trees involved:
 
1581
        The new basis tree of the master.
 
1582
        The old basis tree of the branch.
 
1583
        The old basis tree of the working tree.
 
1584
        The current working tree state.
 
1585
        pathologically all three may be different, and non ancestors of each other.
 
1586
        Conceptually we want to:
 
1587
        Preserve the wt.basis->wt.state changes
 
1588
        Transform the wt.basis to the new master basis.
 
1589
        Apply a merge of the old branch basis to get any 'local' changes from it into the tree.
 
1590
        Restore the wt.basis->wt.state changes.
 
1591
 
 
1592
        There isn't a single operation at the moment to do that, so we:
 
1593
        Merge current state -> basis tree of the master w.r.t. the old tree basis.
 
1594
        Do a 'normal' merge of the old branch basis if it is relevant.
 
1595
        """
 
1596
        old_tip = self.branch.update()
 
1597
        # here if old_tip is not None, it is the old tip of the branch before
 
1598
        # it was updated from the master branch. This should become a pending
 
1599
        # merge in the working tree to preserve the user existing work.  we
 
1600
        # cant set that until we update the working trees last revision to be
 
1601
        # one from the new branch, because it will just get absorbed by the
 
1602
        # parent de-duplication logic.
 
1603
        # 
 
1604
        # We MUST save it even if an error occurs, because otherwise the users
 
1605
        # local work is unreferenced and will appear to have been lost.
 
1606
        # 
 
1607
        result = 0
 
1608
        try:
 
1609
            last_rev = self.get_parent_ids()[0]
 
1610
        except IndexError:
 
1611
            last_rev = None
 
1612
        if last_rev != self.branch.last_revision():
 
1613
            # merge tree state up to new branch tip.
 
1614
            basis = self.basis_tree()
 
1615
            to_tree = self.branch.basis_tree()
 
1616
            result += merge_inner(self.branch,
 
1617
                                  to_tree,
 
1618
                                  basis,
 
1619
                                  this_tree=self)
 
1620
            # TODO - dedup parents list with things merged by pull ?
 
1621
            # reuse the tree we've updated to to set the basis:
 
1622
            parent_trees = [(self.branch.last_revision(), to_tree)]
 
1623
            merges = self.get_parent_ids()[1:]
 
1624
            # Ideally we ask the tree for the trees here, that way the working
 
1625
            # tree can decide whether to give us teh entire tree or give us a
 
1626
            # lazy initialised tree. dirstate for instance will have the trees
 
1627
            # in ram already, whereas a last-revision + basis-inventory tree
 
1628
            # will not, but also does not need them when setting parents.
 
1629
            for parent in merges:
 
1630
                parent_trees.append(
 
1631
                    (parent, self.branch.repository.revision_tree(parent)))
 
1632
            if old_tip is not None:
 
1633
                parent_trees.append(
 
1634
                    (old_tip, self.branch.repository.revision_tree(old_tip)))
 
1635
            self.set_parent_trees(parent_trees)
 
1636
            last_rev = parent_trees[0][0]
 
1637
        else:
 
1638
            # the working tree had the same last-revision as the master
 
1639
            # branch did. We may still have pivot local work from the local
 
1640
            # branch into old_tip:
 
1641
            if old_tip is not None:
 
1642
                self.add_parent_tree_id(old_tip)
 
1643
        if old_tip and old_tip != last_rev:
 
1644
            # our last revision was not the prior branch last revision
 
1645
            # and we have converted that last revision to a pending merge.
 
1646
            # base is somewhere between the branch tip now
 
1647
            # and the now pending merge
 
1648
            from bzrlib.revision import common_ancestor
 
1649
            try:
 
1650
                base_rev_id = common_ancestor(self.branch.last_revision(),
 
1651
                                              old_tip,
 
1652
                                              self.branch.repository)
 
1653
            except errors.NoCommonAncestor:
 
1654
                base_rev_id = None
 
1655
            base_tree = self.branch.repository.revision_tree(base_rev_id)
 
1656
            other_tree = self.branch.repository.revision_tree(old_tip)
 
1657
            result += merge_inner(self.branch,
 
1658
                                  other_tree,
 
1659
                                  base_tree,
 
1660
                                  this_tree=self)
 
1661
        return result
 
1662
 
 
1663
    @needs_write_lock
 
1664
    def _write_inventory(self, inv):
 
1665
        """Write inventory as the current inventory."""
 
1666
        sio = StringIO()
 
1667
        bzrlib.xml5.serializer_v5.write_inventory(inv, sio)
 
1668
        sio.seek(0)
 
1669
        self._control_files.put('inventory', sio)
 
1670
        self._set_inventory(inv)
 
1671
        mutter('wrote working inventory')
 
1672
 
 
1673
    def set_conflicts(self, arg):
 
1674
        raise UnsupportedOperation(self.set_conflicts, self)
 
1675
 
 
1676
    def add_conflicts(self, arg):
 
1677
        raise UnsupportedOperation(self.add_conflicts, self)
 
1678
 
 
1679
    @needs_read_lock
 
1680
    def conflicts(self):
 
1681
        conflicts = ConflictList()
 
1682
        for conflicted in self._iter_conflicts():
 
1683
            text = True
 
1684
            try:
 
1685
                if file_kind(self.abspath(conflicted)) != "file":
 
1686
                    text = False
 
1687
            except errors.NoSuchFile:
 
1688
                text = False
 
1689
            if text is True:
 
1690
                for suffix in ('.THIS', '.OTHER'):
 
1691
                    try:
 
1692
                        kind = file_kind(self.abspath(conflicted+suffix))
 
1693
                        if kind != "file":
 
1694
                            text = False
 
1695
                    except errors.NoSuchFile:
 
1696
                        text = False
 
1697
                    if text == False:
 
1698
                        break
 
1699
            ctype = {True: 'text conflict', False: 'contents conflict'}[text]
 
1700
            conflicts.append(Conflict.factory(ctype, path=conflicted,
 
1701
                             file_id=self.path2id(conflicted)))
 
1702
        return conflicts
 
1703
 
 
1704
 
 
1705
class WorkingTree2(WorkingTree):
 
1706
    """This is the Format 2 working tree.
 
1707
 
 
1708
    This was the first weave based working tree. 
 
1709
     - uses os locks for locking.
 
1710
     - uses the branch last-revision.
 
1711
    """
 
1712
 
 
1713
    def unlock(self):
 
1714
        # we share control files:
 
1715
        if self._hashcache.needs_write and self._control_files._lock_count==3:
 
1716
            self._hashcache.write()
 
1717
        # reverse order of locking.
 
1718
        try:
 
1719
            return self._control_files.unlock()
 
1720
        finally:
 
1721
            self.branch.unlock()
 
1722
 
 
1723
 
 
1724
class WorkingTree3(WorkingTree):
 
1725
    """This is the Format 3 working tree.
 
1726
 
 
1727
    This differs from the base WorkingTree by:
 
1728
     - having its own file lock
 
1729
     - having its own last-revision property.
 
1730
 
 
1731
    This is new in bzr 0.8
 
1732
    """
 
1733
 
 
1734
    @needs_read_lock
 
1735
    def _last_revision(self):
 
1736
        """See WorkingTree._last_revision."""
 
1737
        try:
 
1738
            return self._control_files.get_utf8('last-revision').read()
 
1739
        except NoSuchFile:
 
1740
            return None
 
1741
 
 
1742
    def _change_last_revision(self, revision_id):
 
1743
        """See WorkingTree._change_last_revision."""
 
1744
        if revision_id is None or revision_id == NULL_REVISION:
 
1745
            try:
 
1746
                self._control_files._transport.delete('last-revision')
 
1747
            except errors.NoSuchFile:
 
1748
                pass
 
1749
            return False
 
1750
        else:
 
1751
            self._control_files.put_utf8('last-revision', revision_id)
 
1752
            return True
 
1753
 
 
1754
    @needs_write_lock
 
1755
    def set_conflicts(self, conflicts):
 
1756
        self._put_rio('conflicts', conflicts.to_stanzas(), 
 
1757
                      CONFLICT_HEADER_1)
 
1758
 
 
1759
    @needs_write_lock
 
1760
    def add_conflicts(self, new_conflicts):
 
1761
        conflict_set = set(self.conflicts())
 
1762
        conflict_set.update(set(list(new_conflicts)))
 
1763
        self.set_conflicts(ConflictList(sorted(conflict_set,
 
1764
                                               key=Conflict.sort_key)))
 
1765
 
 
1766
    @needs_read_lock
 
1767
    def conflicts(self):
 
1768
        try:
 
1769
            confile = self._control_files.get('conflicts')
 
1770
        except NoSuchFile:
 
1771
            return ConflictList()
 
1772
        try:
 
1773
            if confile.next() != CONFLICT_HEADER_1 + '\n':
 
1774
                raise ConflictFormatError()
 
1775
        except StopIteration:
 
1776
            raise ConflictFormatError()
 
1777
        return ConflictList.from_stanzas(RioReader(confile))
 
1778
 
 
1779
    def unlock(self):
 
1780
        if self._hashcache.needs_write and self._control_files._lock_count==1:
 
1781
            self._hashcache.write()
 
1782
        # reverse order of locking.
 
1783
        try:
 
1784
            return self._control_files.unlock()
 
1785
        finally:
 
1786
            self.branch.unlock()
 
1787
 
 
1788
 
 
1789
def get_conflicted_stem(path):
 
1790
    for suffix in CONFLICT_SUFFIXES:
 
1791
        if path.endswith(suffix):
 
1792
            return path[:-len(suffix)]
 
1793
 
 
1794
@deprecated_function(zero_eight)
 
1795
def is_control_file(filename):
 
1796
    """See WorkingTree.is_control_filename(filename)."""
 
1797
    ## FIXME: better check
 
1798
    filename = normpath(filename)
 
1799
    while filename != '':
 
1800
        head, tail = os.path.split(filename)
 
1801
        ## mutter('check %r for control file' % ((head, tail),))
 
1802
        if tail == '.bzr':
 
1803
            return True
 
1804
        if filename == head:
 
1805
            break
 
1806
        filename = head
 
1807
    return False
 
1808
 
 
1809
 
 
1810
class WorkingTreeFormat(object):
 
1811
    """An encapsulation of the initialization and open routines for a format.
 
1812
 
 
1813
    Formats provide three things:
 
1814
     * An initialization routine,
 
1815
     * a format string,
 
1816
     * an open routine.
 
1817
 
 
1818
    Formats are placed in an dict by their format string for reference 
 
1819
    during workingtree opening. Its not required that these be instances, they
 
1820
    can be classes themselves with class methods - it simply depends on 
 
1821
    whether state is needed for a given format or not.
 
1822
 
 
1823
    Once a format is deprecated, just deprecate the initialize and open
 
1824
    methods on the format class. Do not deprecate the object, as the 
 
1825
    object will be created every time regardless.
 
1826
    """
 
1827
 
 
1828
    _default_format = None
 
1829
    """The default format used for new trees."""
 
1830
 
 
1831
    _formats = {}
 
1832
    """The known formats."""
 
1833
 
 
1834
    @classmethod
 
1835
    def find_format(klass, a_bzrdir):
 
1836
        """Return the format for the working tree object in a_bzrdir."""
 
1837
        try:
 
1838
            transport = a_bzrdir.get_workingtree_transport(None)
 
1839
            format_string = transport.get("format").read()
 
1840
            return klass._formats[format_string]
 
1841
        except NoSuchFile:
 
1842
            raise errors.NoWorkingTree(base=transport.base)
 
1843
        except KeyError:
 
1844
            raise errors.UnknownFormatError(format=format_string)
 
1845
 
 
1846
    @classmethod
 
1847
    def get_default_format(klass):
 
1848
        """Return the current default format."""
 
1849
        return klass._default_format
 
1850
 
 
1851
    def get_format_string(self):
 
1852
        """Return the ASCII format string that identifies this format."""
 
1853
        raise NotImplementedError(self.get_format_string)
 
1854
 
 
1855
    def get_format_description(self):
 
1856
        """Return the short description for this format."""
 
1857
        raise NotImplementedError(self.get_format_description)
 
1858
 
 
1859
    def is_supported(self):
 
1860
        """Is this format supported?
 
1861
 
 
1862
        Supported formats can be initialized and opened.
 
1863
        Unsupported formats may not support initialization or committing or 
 
1864
        some other features depending on the reason for not being supported.
 
1865
        """
 
1866
        return True
 
1867
 
 
1868
    @classmethod
 
1869
    def register_format(klass, format):
 
1870
        klass._formats[format.get_format_string()] = format
 
1871
 
 
1872
    @classmethod
 
1873
    def set_default_format(klass, format):
 
1874
        klass._default_format = format
 
1875
 
 
1876
    @classmethod
 
1877
    def unregister_format(klass, format):
 
1878
        assert klass._formats[format.get_format_string()] is format
 
1879
        del klass._formats[format.get_format_string()]
 
1880
 
 
1881
 
 
1882
 
 
1883
class WorkingTreeFormat2(WorkingTreeFormat):
 
1884
    """The second working tree format. 
 
1885
 
 
1886
    This format modified the hash cache from the format 1 hash cache.
 
1887
    """
 
1888
 
 
1889
    def get_format_description(self):
 
1890
        """See WorkingTreeFormat.get_format_description()."""
 
1891
        return "Working tree format 2"
 
1892
 
 
1893
    def stub_initialize_remote(self, control_files):
 
1894
        """As a special workaround create critical control files for a remote working tree
 
1895
        
 
1896
        This ensures that it can later be updated and dealt with locally,
 
1897
        since BzrDirFormat6 and BzrDirFormat5 cannot represent dirs with 
 
1898
        no working tree.  (See bug #43064).
 
1899
        """
 
1900
        sio = StringIO()
 
1901
        inv = Inventory()
 
1902
        bzrlib.xml5.serializer_v5.write_inventory(inv, sio)
 
1903
        sio.seek(0)
 
1904
        control_files.put('inventory', sio)
 
1905
 
 
1906
        control_files.put_utf8('pending-merges', '')
 
1907
        
 
1908
 
 
1909
    def initialize(self, a_bzrdir, revision_id=None):
 
1910
        """See WorkingTreeFormat.initialize()."""
 
1911
        if not isinstance(a_bzrdir.transport, LocalTransport):
 
1912
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
 
1913
        branch = a_bzrdir.open_branch()
 
1914
        if revision_id is not None:
 
1915
            branch.lock_write()
 
1916
            try:
 
1917
                revision_history = branch.revision_history()
 
1918
                try:
 
1919
                    position = revision_history.index(revision_id)
 
1920
                except ValueError:
 
1921
                    raise errors.NoSuchRevision(branch, revision_id)
 
1922
                branch.set_revision_history(revision_history[:position + 1])
 
1923
            finally:
 
1924
                branch.unlock()
 
1925
        revision = branch.last_revision()
 
1926
        inv = Inventory()
 
1927
        wt = WorkingTree2(a_bzrdir.root_transport.local_abspath('.'),
 
1928
                         branch,
 
1929
                         inv,
 
1930
                         _internal=True,
 
1931
                         _format=self,
 
1932
                         _bzrdir=a_bzrdir)
 
1933
        wt._write_inventory(inv)
 
1934
        wt.set_root_id(inv.root.file_id)
 
1935
        basis_tree = branch.repository.revision_tree(revision)
 
1936
        wt.set_parent_trees([(revision, basis_tree)])
 
1937
        build_tree(basis_tree, wt)
 
1938
        return wt
 
1939
 
 
1940
    def __init__(self):
 
1941
        super(WorkingTreeFormat2, self).__init__()
 
1942
        self._matchingbzrdir = bzrdir.BzrDirFormat6()
 
1943
 
 
1944
    def open(self, a_bzrdir, _found=False):
 
1945
        """Return the WorkingTree object for a_bzrdir
 
1946
 
 
1947
        _found is a private parameter, do not use it. It is used to indicate
 
1948
               if format probing has already been done.
 
1949
        """
 
1950
        if not _found:
 
1951
            # we are being called directly and must probe.
 
1952
            raise NotImplementedError
 
1953
        if not isinstance(a_bzrdir.transport, LocalTransport):
 
1954
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
 
1955
        return WorkingTree2(a_bzrdir.root_transport.local_abspath('.'),
 
1956
                           _internal=True,
 
1957
                           _format=self,
 
1958
                           _bzrdir=a_bzrdir)
 
1959
 
 
1960
 
 
1961
class WorkingTreeFormat3(WorkingTreeFormat):
 
1962
    """The second working tree format updated to record a format marker.
 
1963
 
 
1964
    This format:
 
1965
        - exists within a metadir controlling .bzr
 
1966
        - includes an explicit version marker for the workingtree control
 
1967
          files, separate from the BzrDir format
 
1968
        - modifies the hash cache format
 
1969
        - is new in bzr 0.8
 
1970
        - uses a LockDir to guard access for writes.
 
1971
    """
 
1972
 
 
1973
    def get_format_string(self):
 
1974
        """See WorkingTreeFormat.get_format_string()."""
 
1975
        return "Bazaar-NG Working Tree format 3"
 
1976
 
 
1977
    def get_format_description(self):
 
1978
        """See WorkingTreeFormat.get_format_description()."""
 
1979
        return "Working tree format 3"
 
1980
 
 
1981
    _lock_file_name = 'lock'
 
1982
    _lock_class = LockDir
 
1983
 
 
1984
    def _open_control_files(self, a_bzrdir):
 
1985
        transport = a_bzrdir.get_workingtree_transport(None)
 
1986
        return LockableFiles(transport, self._lock_file_name, 
 
1987
                             self._lock_class)
 
1988
 
 
1989
    def initialize(self, a_bzrdir, revision_id=None):
 
1990
        """See WorkingTreeFormat.initialize().
 
1991
        
 
1992
        revision_id allows creating a working tree at a different
 
1993
        revision than the branch is at.
 
1994
        """
 
1995
        if not isinstance(a_bzrdir.transport, LocalTransport):
 
1996
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
 
1997
        transport = a_bzrdir.get_workingtree_transport(self)
 
1998
        control_files = self._open_control_files(a_bzrdir)
 
1999
        control_files.create_lock()
 
2000
        control_files.lock_write()
 
2001
        control_files.put_utf8('format', self.get_format_string())
 
2002
        branch = a_bzrdir.open_branch()
 
2003
        if revision_id is None:
 
2004
            revision_id = branch.last_revision()
 
2005
        inv = Inventory() 
 
2006
        wt = WorkingTree3(a_bzrdir.root_transport.local_abspath('.'),
 
2007
                         branch,
 
2008
                         inv,
 
2009
                         _internal=True,
 
2010
                         _format=self,
 
2011
                         _bzrdir=a_bzrdir,
 
2012
                         _control_files=control_files)
 
2013
        wt.lock_write()
 
2014
        try:
 
2015
            wt._write_inventory(inv)
 
2016
            wt.set_root_id(inv.root.file_id)
 
2017
            basis_tree = branch.repository.revision_tree(revision_id)
 
2018
            if revision_id == bzrlib.revision.NULL_REVISION:
 
2019
                wt.set_parent_trees([])
 
2020
            else:
 
2021
                wt.set_parent_trees([(revision_id, basis_tree)])
 
2022
            build_tree(basis_tree, wt)
 
2023
        finally:
 
2024
            wt.unlock()
 
2025
            control_files.unlock()
 
2026
        return wt
 
2027
 
 
2028
    def __init__(self):
 
2029
        super(WorkingTreeFormat3, self).__init__()
 
2030
        self._matchingbzrdir = bzrdir.BzrDirMetaFormat1()
 
2031
 
 
2032
    def open(self, a_bzrdir, _found=False):
 
2033
        """Return the WorkingTree object for a_bzrdir
 
2034
 
 
2035
        _found is a private parameter, do not use it. It is used to indicate
 
2036
               if format probing has already been done.
 
2037
        """
 
2038
        if not _found:
 
2039
            # we are being called directly and must probe.
 
2040
            raise NotImplementedError
 
2041
        if not isinstance(a_bzrdir.transport, LocalTransport):
 
2042
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
 
2043
        return self._open(a_bzrdir, self._open_control_files(a_bzrdir))
 
2044
 
 
2045
    def _open(self, a_bzrdir, control_files):
 
2046
        """Open the tree itself.
 
2047
        
 
2048
        :param a_bzrdir: the dir for the tree.
 
2049
        :param control_files: the control files for the tree.
 
2050
        """
 
2051
        return WorkingTree3(a_bzrdir.root_transport.local_abspath('.'),
 
2052
                           _internal=True,
 
2053
                           _format=self,
 
2054
                           _bzrdir=a_bzrdir,
 
2055
                           _control_files=control_files)
 
2056
 
 
2057
    def __str__(self):
 
2058
        return self.get_format_string()
 
2059
 
 
2060
 
 
2061
# formats which have no format string are not discoverable
 
2062
# and not independently creatable, so are not registered.
 
2063
__default_format = WorkingTreeFormat3()
 
2064
WorkingTreeFormat.register_format(__default_format)
 
2065
WorkingTreeFormat.set_default_format(__default_format)
 
2066
_legacy_formats = [WorkingTreeFormat2(),
 
2067
                   ]
 
2068
 
 
2069
 
 
2070
class WorkingTreeTestProviderAdapter(object):
 
2071
    """A tool to generate a suite testing multiple workingtree formats at once.
 
2072
 
 
2073
    This is done by copying the test once for each transport and injecting
 
2074
    the transport_server, transport_readonly_server, and workingtree_format
 
2075
    classes into each copy. Each copy is also given a new id() to make it
 
2076
    easy to identify.
 
2077
    """
 
2078
 
 
2079
    def __init__(self, transport_server, transport_readonly_server, formats):
 
2080
        self._transport_server = transport_server
 
2081
        self._transport_readonly_server = transport_readonly_server
 
2082
        self._formats = formats
 
2083
    
 
2084
    def _clone_test(self, test, bzrdir_format, workingtree_format, variation):
 
2085
        """Clone test for adaption."""
 
2086
        new_test = deepcopy(test)
 
2087
        new_test.transport_server = self._transport_server
 
2088
        new_test.transport_readonly_server = self._transport_readonly_server
 
2089
        new_test.bzrdir_format = bzrdir_format
 
2090
        new_test.workingtree_format = workingtree_format
 
2091
        def make_new_test_id():
 
2092
            new_id = "%s(%s)" % (test.id(), variation)
 
2093
            return lambda: new_id
 
2094
        new_test.id = make_new_test_id()
 
2095
        return new_test
 
2096
    
 
2097
    def adapt(self, test):
 
2098
        from bzrlib.tests import TestSuite
 
2099
        result = TestSuite()
 
2100
        for workingtree_format, bzrdir_format in self._formats:
 
2101
            new_test = self._clone_test(
 
2102
                test,
 
2103
                bzrdir_format,
 
2104
                workingtree_format, workingtree_format.__class__.__name__)
 
2105
            result.addTest(new_test)
 
2106
        return result