/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/workingtree.py

  • Committer: Robert Collins
  • Date: 2006-09-05 08:14:23 UTC
  • mto: (1852.16.2 Tree.walkdirs)
  • mto: This revision was merged to the branch mainline in revision 1993.
  • Revision ID: robertc@robertcollins.net-20060905081423-b1bc9b092a9f8597
DeprecateĀ WorkingTree.last_revision.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
"""WorkingTree object and friends.
 
18
 
 
19
A WorkingTree represents the editable working copy of a branch.
 
20
Operations which represent the WorkingTree are also done here, 
 
21
such as renaming or adding files.  The WorkingTree has an inventory 
 
22
which is updated by these operations.  A commit produces a 
 
23
new revision based on the workingtree and its inventory.
 
24
 
 
25
At the moment every WorkingTree has its own branch.  Remote
 
26
WorkingTrees aren't supported.
 
27
 
 
28
To get a WorkingTree, call bzrdir.open_workingtree() or
 
29
WorkingTree.open(dir).
 
30
"""
 
31
 
 
32
MERGE_MODIFIED_HEADER_1 = "BZR merge-modified list format 1"
 
33
CONFLICT_HEADER_1 = "BZR conflict list format 1"
 
34
 
 
35
# TODO: Give the workingtree sole responsibility for the working inventory;
 
36
# remove the variable and references to it from the branch.  This may require
 
37
# updating the commit code so as to update the inventory within the working
 
38
# copy, and making sure there's only one WorkingTree for any directory on disk.
 
39
# At the moment they may alias the inventory and have old copies of it in
 
40
# memory.  (Now done? -- mbp 20060309)
 
41
 
 
42
from binascii import hexlify
 
43
import collections
 
44
from copy import deepcopy
 
45
from cStringIO import StringIO
 
46
import errno
 
47
import fnmatch
 
48
import os
 
49
import re
 
50
import stat
 
51
from time import time
 
52
import warnings
 
53
 
 
54
import bzrlib
 
55
from bzrlib import bzrdir, errors, ignores, osutils, urlutils
 
56
from bzrlib.atomicfile import AtomicFile
 
57
import bzrlib.branch
 
58
from bzrlib.conflicts import Conflict, ConflictList, CONFLICT_SUFFIXES
 
59
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
60
from bzrlib.errors import (BzrCheckError,
 
61
                           BzrError,
 
62
                           ConflictFormatError,
 
63
                           WeaveRevisionNotPresent,
 
64
                           NotBranchError,
 
65
                           NoSuchFile,
 
66
                           NotVersionedError,
 
67
                           MergeModifiedFormatError,
 
68
                           UnsupportedOperation,
 
69
                           )
 
70
from bzrlib.inventory import InventoryEntry, Inventory
 
71
from bzrlib.lockable_files import LockableFiles, TransportLock
 
72
from bzrlib.lockdir import LockDir
 
73
from bzrlib.merge import merge_inner, transform_tree
 
74
from bzrlib.osutils import (
 
75
                            abspath,
 
76
                            compact_date,
 
77
                            file_kind,
 
78
                            isdir,
 
79
                            getcwd,
 
80
                            pathjoin,
 
81
                            pumpfile,
 
82
                            safe_unicode,
 
83
                            splitpath,
 
84
                            rand_chars,
 
85
                            normpath,
 
86
                            realpath,
 
87
                            relpath,
 
88
                            rename,
 
89
                            supports_executable,
 
90
                            )
 
91
from bzrlib.progress import DummyProgress, ProgressPhase
 
92
from bzrlib.revision import NULL_REVISION
 
93
from bzrlib.rio import RioReader, rio_file, Stanza
 
94
from bzrlib.symbol_versioning import (deprecated_passed,
 
95
        deprecated_method,
 
96
        deprecated_function,
 
97
        DEPRECATED_PARAMETER,
 
98
        zero_eight,
 
99
        zero_eleven,
 
100
        )
 
101
from bzrlib.trace import mutter, note
 
102
from bzrlib.transform import build_tree
 
103
from bzrlib.transport import get_transport
 
104
from bzrlib.transport.local import LocalTransport
 
105
from bzrlib.textui import show_status
 
106
import bzrlib.tree
 
107
import bzrlib.ui
 
108
import bzrlib.xml5
 
109
 
 
110
 
 
111
# the regex removes any weird characters; we don't escape them 
 
112
# but rather just pull them out
 
113
_gen_file_id_re = re.compile(r'[^\w.]')
 
114
_gen_id_suffix = None
 
115
_gen_id_serial = 0
 
116
 
 
117
 
 
118
def _next_id_suffix():
 
119
    """Create a new file id suffix that is reasonably unique.
 
120
    
 
121
    On the first call we combine the current time with 64 bits of randomness
 
122
    to give a highly probably globally unique number. Then each call in the same
 
123
    process adds 1 to a serial number we append to that unique value.
 
124
    """
 
125
    # XXX TODO: change bzrlib.add.smart_add to call workingtree.add() rather 
 
126
    # than having to move the id randomness out of the inner loop like this.
 
127
    # XXX TODO: for the global randomness this uses we should add the thread-id
 
128
    # before the serial #.
 
129
    global _gen_id_suffix, _gen_id_serial
 
130
    if _gen_id_suffix is None:
 
131
        _gen_id_suffix = "-%s-%s-" % (compact_date(time()), rand_chars(16))
 
132
    _gen_id_serial += 1
 
133
    return _gen_id_suffix + str(_gen_id_serial)
 
134
 
 
135
 
 
136
def gen_file_id(name):
 
137
    """Return new file id for the basename 'name'.
 
138
 
 
139
    The uniqueness is supplied from _next_id_suffix.
 
140
    """
 
141
    # The real randomness is in the _next_id_suffix, the
 
142
    # rest of the identifier is just to be nice.
 
143
    # So we:
 
144
    # 1) Remove non-ascii word characters to keep the ids portable
 
145
    # 2) squash to lowercase, so the file id doesn't have to
 
146
    #    be escaped (case insensitive filesystems would bork for ids
 
147
    #    that only differred in case without escaping).
 
148
    # 3) truncate the filename to 20 chars. Long filenames also bork on some
 
149
    #    filesystems
 
150
    # 4) Removing starting '.' characters to prevent the file ids from
 
151
    #    being considered hidden.
 
152
    ascii_word_only = _gen_file_id_re.sub('', name.lower())
 
153
    short_no_dots = ascii_word_only.lstrip('.')[:20]
 
154
    return short_no_dots + _next_id_suffix()
 
155
 
 
156
 
 
157
def gen_root_id():
 
158
    """Return a new tree-root file id."""
 
159
    return gen_file_id('TREE_ROOT')
 
160
 
 
161
 
 
162
class TreeEntry(object):
 
163
    """An entry that implements the minimum interface used by commands.
 
164
 
 
165
    This needs further inspection, it may be better to have 
 
166
    InventoryEntries without ids - though that seems wrong. For now,
 
167
    this is a parallel hierarchy to InventoryEntry, and needs to become
 
168
    one of several things: decorates to that hierarchy, children of, or
 
169
    parents of it.
 
170
    Another note is that these objects are currently only used when there is
 
171
    no InventoryEntry available - i.e. for unversioned objects.
 
172
    Perhaps they should be UnversionedEntry et al. ? - RBC 20051003
 
173
    """
 
174
 
 
175
    def __eq__(self, other):
 
176
        # yes, this us ugly, TODO: best practice __eq__ style.
 
177
        return (isinstance(other, TreeEntry)
 
178
                and other.__class__ == self.__class__)
 
179
 
 
180
    def kind_character(self):
 
181
        return "???"
 
182
 
 
183
 
 
184
class TreeDirectory(TreeEntry):
 
185
    """See TreeEntry. This is a directory in a working tree."""
 
186
 
 
187
    def __eq__(self, other):
 
188
        return (isinstance(other, TreeDirectory)
 
189
                and other.__class__ == self.__class__)
 
190
 
 
191
    def kind_character(self):
 
192
        return "/"
 
193
 
 
194
 
 
195
class TreeFile(TreeEntry):
 
196
    """See TreeEntry. This is a regular file in a working tree."""
 
197
 
 
198
    def __eq__(self, other):
 
199
        return (isinstance(other, TreeFile)
 
200
                and other.__class__ == self.__class__)
 
201
 
 
202
    def kind_character(self):
 
203
        return ''
 
204
 
 
205
 
 
206
class TreeLink(TreeEntry):
 
207
    """See TreeEntry. This is a symlink in a working tree."""
 
208
 
 
209
    def __eq__(self, other):
 
210
        return (isinstance(other, TreeLink)
 
211
                and other.__class__ == self.__class__)
 
212
 
 
213
    def kind_character(self):
 
214
        return ''
 
215
 
 
216
 
 
217
class WorkingTree(bzrlib.tree.Tree):
 
218
    """Working copy tree.
 
219
 
 
220
    The inventory is held in the `Branch` working-inventory, and the
 
221
    files are in a directory on disk.
 
222
 
 
223
    It is possible for a `WorkingTree` to have a filename which is
 
224
    not listed in the Inventory and vice versa.
 
225
    """
 
226
 
 
227
    def __init__(self, basedir='.',
 
228
                 branch=DEPRECATED_PARAMETER,
 
229
                 _inventory=None,
 
230
                 _control_files=None,
 
231
                 _internal=False,
 
232
                 _format=None,
 
233
                 _bzrdir=None):
 
234
        """Construct a WorkingTree for basedir.
 
235
 
 
236
        If the branch is not supplied, it is opened automatically.
 
237
        If the branch is supplied, it must be the branch for this basedir.
 
238
        (branch.base is not cross checked, because for remote branches that
 
239
        would be meaningless).
 
240
        """
 
241
        self._format = _format
 
242
        self.bzrdir = _bzrdir
 
243
        if not _internal:
 
244
            # not created via open etc.
 
245
            warnings.warn("WorkingTree() is deprecated as of bzr version 0.8. "
 
246
                 "Please use bzrdir.open_workingtree or WorkingTree.open().",
 
247
                 DeprecationWarning,
 
248
                 stacklevel=2)
 
249
            wt = WorkingTree.open(basedir)
 
250
            self._branch = wt.branch
 
251
            self.basedir = wt.basedir
 
252
            self._control_files = wt._control_files
 
253
            self._hashcache = wt._hashcache
 
254
            self._set_inventory(wt._inventory)
 
255
            self._format = wt._format
 
256
            self.bzrdir = wt.bzrdir
 
257
        from bzrlib.hashcache import HashCache
 
258
        from bzrlib.trace import note, mutter
 
259
        assert isinstance(basedir, basestring), \
 
260
            "base directory %r is not a string" % basedir
 
261
        basedir = safe_unicode(basedir)
 
262
        mutter("opening working tree %r", basedir)
 
263
        if deprecated_passed(branch):
 
264
            if not _internal:
 
265
                warnings.warn("WorkingTree(..., branch=XXX) is deprecated as of bzr 0.8."
 
266
                     " Please use bzrdir.open_workingtree() or"
 
267
                     " WorkingTree.open().",
 
268
                     DeprecationWarning,
 
269
                     stacklevel=2
 
270
                     )
 
271
            self._branch = branch
 
272
        else:
 
273
            self._branch = self.bzrdir.open_branch()
 
274
        self.basedir = realpath(basedir)
 
275
        # if branch is at our basedir and is a format 6 or less
 
276
        if isinstance(self._format, WorkingTreeFormat2):
 
277
            # share control object
 
278
            self._control_files = self.branch.control_files
 
279
        else:
 
280
            # assume all other formats have their own control files.
 
281
            assert isinstance(_control_files, LockableFiles), \
 
282
                    "_control_files must be a LockableFiles, not %r" \
 
283
                    % _control_files
 
284
            self._control_files = _control_files
 
285
        # update the whole cache up front and write to disk if anything changed;
 
286
        # in the future we might want to do this more selectively
 
287
        # two possible ways offer themselves : in self._unlock, write the cache
 
288
        # if needed, or, when the cache sees a change, append it to the hash
 
289
        # cache file, and have the parser take the most recent entry for a
 
290
        # given path only.
 
291
        cache_filename = self.bzrdir.get_workingtree_transport(None).local_abspath('stat-cache')
 
292
        hc = self._hashcache = HashCache(basedir, cache_filename, self._control_files._file_mode)
 
293
        hc.read()
 
294
        # is this scan needed ? it makes things kinda slow.
 
295
        #hc.scan()
 
296
 
 
297
        if hc.needs_write:
 
298
            mutter("write hc")
 
299
            hc.write()
 
300
 
 
301
        if _inventory is None:
 
302
            self._set_inventory(self.read_working_inventory())
 
303
        else:
 
304
            self._set_inventory(_inventory)
 
305
 
 
306
    branch = property(
 
307
        fget=lambda self: self._branch,
 
308
        doc="""The branch this WorkingTree is connected to.
 
309
 
 
310
            This cannot be set - it is reflective of the actual disk structure
 
311
            the working tree has been constructed from.
 
312
            """)
 
313
 
 
314
    def break_lock(self):
 
315
        """Break a lock if one is present from another instance.
 
316
 
 
317
        Uses the ui factory to ask for confirmation if the lock may be from
 
318
        an active process.
 
319
 
 
320
        This will probe the repository for its lock as well.
 
321
        """
 
322
        self._control_files.break_lock()
 
323
        self.branch.break_lock()
 
324
 
 
325
    def _set_inventory(self, inv):
 
326
        assert inv.root is not None
 
327
        self._inventory = inv
 
328
        self.path2id = self._inventory.path2id
 
329
 
 
330
    def is_control_filename(self, filename):
 
331
        """True if filename is the name of a control file in this tree.
 
332
        
 
333
        :param filename: A filename within the tree. This is a relative path
 
334
        from the root of this tree.
 
335
 
 
336
        This is true IF and ONLY IF the filename is part of the meta data
 
337
        that bzr controls in this tree. I.E. a random .bzr directory placed
 
338
        on disk will not be a control file for this tree.
 
339
        """
 
340
        return self.bzrdir.is_control_filename(filename)
 
341
 
 
342
    @staticmethod
 
343
    def open(path=None, _unsupported=False):
 
344
        """Open an existing working tree at path.
 
345
 
 
346
        """
 
347
        if path is None:
 
348
            path = os.path.getcwdu()
 
349
        control = bzrdir.BzrDir.open(path, _unsupported)
 
350
        return control.open_workingtree(_unsupported)
 
351
        
 
352
    @staticmethod
 
353
    def open_containing(path=None):
 
354
        """Open an existing working tree which has its root about path.
 
355
        
 
356
        This probes for a working tree at path and searches upwards from there.
 
357
 
 
358
        Basically we keep looking up until we find the control directory or
 
359
        run into /.  If there isn't one, raises NotBranchError.
 
360
        TODO: give this a new exception.
 
361
        If there is one, it is returned, along with the unused portion of path.
 
362
 
 
363
        :return: The WorkingTree that contains 'path', and the rest of path
 
364
        """
 
365
        if path is None:
 
366
            path = osutils.getcwd()
 
367
        control, relpath = bzrdir.BzrDir.open_containing(path)
 
368
 
 
369
        return control.open_workingtree(), relpath
 
370
 
 
371
    @staticmethod
 
372
    def open_downlevel(path=None):
 
373
        """Open an unsupported working tree.
 
374
 
 
375
        Only intended for advanced situations like upgrading part of a bzrdir.
 
376
        """
 
377
        return WorkingTree.open(path, _unsupported=True)
 
378
 
 
379
    def __iter__(self):
 
380
        """Iterate through file_ids for this tree.
 
381
 
 
382
        file_ids are in a WorkingTree if they are in the working inventory
 
383
        and the working file exists.
 
384
        """
 
385
        inv = self._inventory
 
386
        for path, ie in inv.iter_entries():
 
387
            if osutils.lexists(self.abspath(path)):
 
388
                yield ie.file_id
 
389
 
 
390
    def __repr__(self):
 
391
        return "<%s of %s>" % (self.__class__.__name__,
 
392
                               getattr(self, 'basedir', None))
 
393
 
 
394
    def abspath(self, filename):
 
395
        return pathjoin(self.basedir, filename)
 
396
    
 
397
    def basis_tree(self):
 
398
        """Return RevisionTree for the current last revision.
 
399
        
 
400
        If the left most parent is a ghost then the returned tree will be an
 
401
        empty tree - one obtained by calling repository.revision_tree(None).
 
402
        """
 
403
        try:
 
404
            revision_id = self.get_parent_ids()[0]
 
405
        except IndexError:
 
406
            # no parents, return an empty revision tree.
 
407
            # in the future this should return the tree for
 
408
            # 'empty:' - the implicit root empty tree.
 
409
            return self.branch.repository.revision_tree(None)
 
410
        else:
 
411
            try:
 
412
                xml = self.read_basis_inventory()
 
413
                inv = bzrlib.xml5.serializer_v5.read_inventory_from_string(xml)
 
414
                inv.root.revision = revision_id
 
415
            except NoSuchFile:
 
416
                inv = None
 
417
            if inv is not None and inv.revision_id == revision_id:
 
418
                return bzrlib.tree.RevisionTree(self.branch.repository, inv,
 
419
                                                revision_id)
 
420
        # No cached copy available, retrieve from the repository.
 
421
        # FIXME? RBC 20060403 should we cache the inventory locally
 
422
        # at this point ?
 
423
        try:
 
424
            return self.branch.repository.revision_tree(revision_id)
 
425
        except errors.RevisionNotPresent:
 
426
            # the basis tree *may* be a ghost or a low level error may have
 
427
            # occured. If the revision is present, its a problem, if its not
 
428
            # its a ghost.
 
429
            if self.branch.repository.has_revision(revision_id):
 
430
                raise
 
431
            # the basis tree is a ghost so return an empty tree.
 
432
            return self.branch.repository.revision_tree(None)
 
433
 
 
434
    @staticmethod
 
435
    @deprecated_method(zero_eight)
 
436
    def create(branch, directory):
 
437
        """Create a workingtree for branch at directory.
 
438
 
 
439
        If existing_directory already exists it must have a .bzr directory.
 
440
        If it does not exist, it will be created.
 
441
 
 
442
        This returns a new WorkingTree object for the new checkout.
 
443
 
 
444
        TODO FIXME RBC 20060124 when we have checkout formats in place this
 
445
        should accept an optional revisionid to checkout [and reject this if
 
446
        checking out into the same dir as a pre-checkout-aware branch format.]
 
447
 
 
448
        XXX: When BzrDir is present, these should be created through that 
 
449
        interface instead.
 
450
        """
 
451
        warnings.warn('delete WorkingTree.create', stacklevel=3)
 
452
        transport = get_transport(directory)
 
453
        if branch.bzrdir.root_transport.base == transport.base:
 
454
            # same dir 
 
455
            return branch.bzrdir.create_workingtree()
 
456
        # different directory, 
 
457
        # create a branch reference
 
458
        # and now a working tree.
 
459
        raise NotImplementedError
 
460
 
 
461
    @staticmethod
 
462
    @deprecated_method(zero_eight)
 
463
    def create_standalone(directory):
 
464
        """Create a checkout and a branch and a repo at directory.
 
465
 
 
466
        Directory must exist and be empty.
 
467
 
 
468
        please use BzrDir.create_standalone_workingtree
 
469
        """
 
470
        return bzrdir.BzrDir.create_standalone_workingtree(directory)
 
471
 
 
472
    def relpath(self, path):
 
473
        """Return the local path portion from a given path.
 
474
        
 
475
        The path may be absolute or relative. If its a relative path it is 
 
476
        interpreted relative to the python current working directory.
 
477
        """
 
478
        return relpath(self.basedir, path)
 
479
 
 
480
    def has_filename(self, filename):
 
481
        return osutils.lexists(self.abspath(filename))
 
482
 
 
483
    def get_file(self, file_id):
 
484
        return self.get_file_byname(self.id2path(file_id))
 
485
 
 
486
    def get_file_text(self, file_id):
 
487
        return self.get_file(file_id).read()
 
488
 
 
489
    def get_file_byname(self, filename):
 
490
        return file(self.abspath(filename), 'rb')
 
491
 
 
492
    def get_parent_ids(self):
 
493
        """See Tree.get_parent_ids.
 
494
        
 
495
        This implementation reads the pending merges list and last_revision
 
496
        value and uses that to decide what the parents list should be.
 
497
        """
 
498
        last_rev = self._last_revision()
 
499
        if last_rev is None:
 
500
            parents = []
 
501
        else:
 
502
            parents = [last_rev]
 
503
        try:
 
504
            merges_file = self._control_files.get_utf8('pending-merges')
 
505
        except NoSuchFile:
 
506
            pass
 
507
        else:
 
508
            for l in merges_file.readlines():
 
509
                parents.append(l.rstrip('\n'))
 
510
        return parents
 
511
 
 
512
    def get_root_id(self):
 
513
        """Return the id of this trees root"""
 
514
        inv = self.read_working_inventory()
 
515
        return inv.root.file_id
 
516
        
 
517
    def _get_store_filename(self, file_id):
 
518
        ## XXX: badly named; this is not in the store at all
 
519
        return self.abspath(self.id2path(file_id))
 
520
 
 
521
    @needs_read_lock
 
522
    def clone(self, to_bzrdir, revision_id=None, basis=None):
 
523
        """Duplicate this working tree into to_bzr, including all state.
 
524
        
 
525
        Specifically modified files are kept as modified, but
 
526
        ignored and unknown files are discarded.
 
527
 
 
528
        If you want to make a new line of development, see bzrdir.sprout()
 
529
 
 
530
        revision
 
531
            If not None, the cloned tree will have its last revision set to 
 
532
            revision, and and difference between the source trees last revision
 
533
            and this one merged in.
 
534
 
 
535
        basis
 
536
            If not None, a closer copy of a tree which may have some files in
 
537
            common, and which file content should be preferentially copied from.
 
538
        """
 
539
        # assumes the target bzr dir format is compatible.
 
540
        result = self._format.initialize(to_bzrdir)
 
541
        self.copy_content_into(result, revision_id)
 
542
        return result
 
543
 
 
544
    @needs_read_lock
 
545
    def copy_content_into(self, tree, revision_id=None):
 
546
        """Copy the current content and user files of this tree into tree."""
 
547
        if revision_id is None:
 
548
            transform_tree(tree, self)
 
549
        else:
 
550
            # TODO now merge from tree.last_revision to revision (to preserve
 
551
            # user local changes)
 
552
            transform_tree(tree, self)
 
553
            tree.set_parent_ids([revision_id])
 
554
 
 
555
    @needs_write_lock
 
556
    def commit(self, message=None, revprops=None, *args, **kwargs):
 
557
        # avoid circular imports
 
558
        from bzrlib.commit import Commit
 
559
        if revprops is None:
 
560
            revprops = {}
 
561
        if not 'branch-nick' in revprops:
 
562
            revprops['branch-nick'] = self.branch.nick
 
563
        # args for wt.commit start at message from the Commit.commit method,
 
564
        # but with branch a kwarg now, passing in args as is results in the
 
565
        #message being used for the branch
 
566
        args = (DEPRECATED_PARAMETER, message, ) + args
 
567
        committed_id = Commit().commit( working_tree=self, revprops=revprops,
 
568
            *args, **kwargs)
 
569
        self._set_inventory(self.read_working_inventory())
 
570
        return committed_id
 
571
 
 
572
    def id2abspath(self, file_id):
 
573
        return self.abspath(self.id2path(file_id))
 
574
 
 
575
    def has_id(self, file_id):
 
576
        # files that have been deleted are excluded
 
577
        inv = self._inventory
 
578
        if not inv.has_id(file_id):
 
579
            return False
 
580
        path = inv.id2path(file_id)
 
581
        return osutils.lexists(self.abspath(path))
 
582
 
 
583
    def has_or_had_id(self, file_id):
 
584
        if file_id == self.inventory.root.file_id:
 
585
            return True
 
586
        return self.inventory.has_id(file_id)
 
587
 
 
588
    __contains__ = has_id
 
589
 
 
590
    def get_file_size(self, file_id):
 
591
        return os.path.getsize(self.id2abspath(file_id))
 
592
 
 
593
    @needs_read_lock
 
594
    def get_file_sha1(self, file_id, path=None):
 
595
        if not path:
 
596
            path = self._inventory.id2path(file_id)
 
597
        return self._hashcache.get_sha1(path)
 
598
 
 
599
    def get_file_mtime(self, file_id, path=None):
 
600
        if not path:
 
601
            path = self._inventory.id2path(file_id)
 
602
        return os.lstat(self.abspath(path)).st_mtime
 
603
 
 
604
    if not supports_executable():
 
605
        def is_executable(self, file_id, path=None):
 
606
            return self._inventory[file_id].executable
 
607
    else:
 
608
        def is_executable(self, file_id, path=None):
 
609
            if not path:
 
610
                path = self._inventory.id2path(file_id)
 
611
            mode = os.lstat(self.abspath(path)).st_mode
 
612
            return bool(stat.S_ISREG(mode) and stat.S_IEXEC & mode)
 
613
 
 
614
    @needs_write_lock
 
615
    def add(self, files, ids=None):
 
616
        """Make files versioned.
 
617
 
 
618
        Note that the command line normally calls smart_add instead,
 
619
        which can automatically recurse.
 
620
 
 
621
        This adds the files to the inventory, so that they will be
 
622
        recorded by the next commit.
 
623
 
 
624
        files
 
625
            List of paths to add, relative to the base of the tree.
 
626
 
 
627
        ids
 
628
            If set, use these instead of automatically generated ids.
 
629
            Must be the same length as the list of files, but may
 
630
            contain None for ids that are to be autogenerated.
 
631
 
 
632
        TODO: Perhaps have an option to add the ids even if the files do
 
633
              not (yet) exist.
 
634
 
 
635
        TODO: Perhaps callback with the ids and paths as they're added.
 
636
        """
 
637
        # TODO: Re-adding a file that is removed in the working copy
 
638
        # should probably put it back with the previous ID.
 
639
        if isinstance(files, basestring):
 
640
            assert(ids is None or isinstance(ids, basestring))
 
641
            files = [files]
 
642
            if ids is not None:
 
643
                ids = [ids]
 
644
 
 
645
        if ids is None:
 
646
            ids = [None] * len(files)
 
647
        else:
 
648
            assert(len(ids) == len(files))
 
649
 
 
650
        inv = self.read_working_inventory()
 
651
        for f,file_id in zip(files, ids):
 
652
            if self.is_control_filename(f):
 
653
                raise errors.ForbiddenControlFileError(filename=f)
 
654
 
 
655
            fp = splitpath(f)
 
656
 
 
657
            if len(fp) == 0:
 
658
                raise BzrError("cannot add top-level %r" % f)
 
659
 
 
660
            fullpath = normpath(self.abspath(f))
 
661
            try:
 
662
                kind = file_kind(fullpath)
 
663
            except OSError, e:
 
664
                if e.errno == errno.ENOENT:
 
665
                    raise NoSuchFile(fullpath)
 
666
            if not InventoryEntry.versionable_kind(kind):
 
667
                raise errors.BadFileKindError(filename=f, kind=kind)
 
668
            if file_id is None:
 
669
                inv.add_path(f, kind=kind)
 
670
            else:
 
671
                inv.add_path(f, kind=kind, file_id=file_id)
 
672
 
 
673
        self._write_inventory(inv)
 
674
 
 
675
    @needs_write_lock
 
676
    def add_parent_tree_id(self, revision_id, allow_leftmost_as_ghost=False):
 
677
        """Add revision_id as a parent.
 
678
 
 
679
        This is equivalent to retrieving the current list of parent ids
 
680
        and setting the list to its value plus revision_id.
 
681
 
 
682
        :param revision_id: The revision id to add to the parent list. It may
 
683
        be a ghost revision as long as its not the first parent to be added,
 
684
        or the allow_leftmost_as_ghost parameter is set True.
 
685
        :param allow_leftmost_as_ghost: Allow the first parent to be a ghost.
 
686
        """
 
687
        parents = self.get_parent_ids() + [revision_id]
 
688
        self.set_parent_ids(parents,
 
689
            allow_leftmost_as_ghost=len(parents) > 1 or allow_leftmost_as_ghost)
 
690
 
 
691
    @needs_write_lock
 
692
    def add_parent_tree(self, parent_tuple, allow_leftmost_as_ghost=False):
 
693
        """Add revision_id, tree tuple as a parent.
 
694
 
 
695
        This is equivalent to retrieving the current list of parent trees
 
696
        and setting the list to its value plus parent_tuple. See also
 
697
        add_parent_tree_id - if you only have a parent id available it will be
 
698
        simpler to use that api. If you have the parent already available, using
 
699
        this api is preferred.
 
700
 
 
701
        :param parent_tuple: The (revision id, tree) to add to the parent list.
 
702
            If the revision_id is a ghost, pass None for the tree.
 
703
        :param allow_leftmost_as_ghost: Allow the first parent to be a ghost.
 
704
        """
 
705
        parent_ids = self.get_parent_ids() + [parent_tuple[0]]
 
706
        if len(parent_ids) > 1:
 
707
            # the leftmost may have already been a ghost, preserve that if it
 
708
            # was.
 
709
            allow_leftmost_as_ghost = True
 
710
        self.set_parent_ids(parent_ids,
 
711
            allow_leftmost_as_ghost=allow_leftmost_as_ghost)
 
712
 
 
713
    @needs_write_lock
 
714
    def add_pending_merge(self, *revision_ids):
 
715
        # TODO: Perhaps should check at this point that the
 
716
        # history of the revision is actually present?
 
717
        parents = self.get_parent_ids()
 
718
        updated = False
 
719
        for rev_id in revision_ids:
 
720
            if rev_id in parents:
 
721
                continue
 
722
            parents.append(rev_id)
 
723
            updated = True
 
724
        if updated:
 
725
            self.set_parent_ids(parents, allow_leftmost_as_ghost=True)
 
726
 
 
727
    @needs_read_lock
 
728
    def pending_merges(self):
 
729
        """Return a list of pending merges.
 
730
 
 
731
        These are revisions that have been merged into the working
 
732
        directory but not yet committed.
 
733
        """
 
734
        return self.get_parent_ids()[1:]
 
735
 
 
736
    @needs_write_lock
 
737
    def set_parent_ids(self, revision_ids, allow_leftmost_as_ghost=False):
 
738
        """Set the parent ids to revision_ids.
 
739
        
 
740
        See also set_parent_trees. This api will try to retrieve the tree data
 
741
        for each element of revision_ids from the trees repository. If you have
 
742
        tree data already available, it is more efficient to use
 
743
        set_parent_trees rather than set_parent_ids. set_parent_ids is however
 
744
        an easier API to use.
 
745
 
 
746
        :param revision_ids: The revision_ids to set as the parent ids of this
 
747
            working tree. Any of these may be ghosts.
 
748
        """
 
749
        if len(revision_ids) > 0:
 
750
            leftmost_id = revision_ids[0]
 
751
            if (not allow_leftmost_as_ghost and not
 
752
                self.branch.repository.has_revision(leftmost_id)):
 
753
                raise errors.GhostRevisionUnusableHere(leftmost_id)
 
754
            self.set_last_revision(leftmost_id)
 
755
        else:
 
756
            self.set_last_revision(None)
 
757
        merges = revision_ids[1:]
 
758
        self._control_files.put_utf8('pending-merges', '\n'.join(merges))
 
759
 
 
760
    @needs_write_lock
 
761
    def set_parent_trees(self, parents_list, allow_leftmost_as_ghost=False):
 
762
        """Set the parents of the working tree.
 
763
 
 
764
        :param parents_list: A list of (revision_id, tree) tuples. 
 
765
            If tree is None, then that element is treated as an unreachable
 
766
            parent tree - i.e. a ghost.
 
767
        """
 
768
        # parent trees are not used in current format trees, delegate to
 
769
        # set_parent_ids
 
770
        self.set_parent_ids([rev for (rev, tree) in parents_list],
 
771
            allow_leftmost_as_ghost=allow_leftmost_as_ghost)
 
772
 
 
773
    @needs_write_lock
 
774
    def set_pending_merges(self, rev_list):
 
775
        parents = self.get_parent_ids()
 
776
        leftmost = parents[:1]
 
777
        new_parents = leftmost + rev_list
 
778
        self.set_parent_ids(new_parents)
 
779
 
 
780
    @needs_write_lock
 
781
    def set_merge_modified(self, modified_hashes):
 
782
        def iter_stanzas():
 
783
            for file_id, hash in modified_hashes.iteritems():
 
784
                yield Stanza(file_id=file_id, hash=hash)
 
785
        self._put_rio('merge-hashes', iter_stanzas(), MERGE_MODIFIED_HEADER_1)
 
786
 
 
787
    @needs_write_lock
 
788
    def _put_rio(self, filename, stanzas, header):
 
789
        my_file = rio_file(stanzas, header)
 
790
        self._control_files.put(filename, my_file)
 
791
 
 
792
    @needs_write_lock
 
793
    def merge_from_branch(self, branch, to_revision=None):
 
794
        """Merge from a branch into this working tree.
 
795
 
 
796
        :param branch: The branch to merge from.
 
797
        :param to_revision: If non-None, the merge will merge to to_revision, but 
 
798
            not beyond it. to_revision does not need to be in the history of
 
799
            the branch when it is supplied. If None, to_revision defaults to
 
800
            branch.last_revision().
 
801
        """
 
802
        from bzrlib.merge import Merger, Merge3Merger
 
803
        pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
804
        try:
 
805
            merger = Merger(self.branch, this_tree=self, pb=pb)
 
806
            merger.pp = ProgressPhase("Merge phase", 5, pb)
 
807
            merger.pp.next_phase()
 
808
            # check that there are no
 
809
            # local alterations
 
810
            merger.check_basis(check_clean=True, require_commits=False)
 
811
            if to_revision is None:
 
812
                to_revision = branch.last_revision()
 
813
            merger.other_rev_id = to_revision
 
814
            if merger.other_rev_id is None:
 
815
                raise error.NoCommits(branch)
 
816
            self.branch.fetch(branch, last_revision=merger.other_rev_id)
 
817
            merger.other_basis = merger.other_rev_id
 
818
            merger.other_tree = self.branch.repository.revision_tree(
 
819
                merger.other_rev_id)
 
820
            merger.pp.next_phase()
 
821
            merger.find_base()
 
822
            if merger.base_rev_id == merger.other_rev_id:
 
823
                raise errors.PointlessMerge
 
824
            merger.backup_files = False
 
825
            merger.merge_type = Merge3Merger
 
826
            merger.set_interesting_files(None)
 
827
            merger.show_base = False
 
828
            merger.reprocess = False
 
829
            conflicts = merger.do_merge()
 
830
            merger.set_pending()
 
831
        finally:
 
832
            pb.finished()
 
833
        return conflicts
 
834
 
 
835
    @needs_read_lock
 
836
    def merge_modified(self):
 
837
        try:
 
838
            hashfile = self._control_files.get('merge-hashes')
 
839
        except NoSuchFile:
 
840
            return {}
 
841
        merge_hashes = {}
 
842
        try:
 
843
            if hashfile.next() != MERGE_MODIFIED_HEADER_1 + '\n':
 
844
                raise MergeModifiedFormatError()
 
845
        except StopIteration:
 
846
            raise MergeModifiedFormatError()
 
847
        for s in RioReader(hashfile):
 
848
            file_id = s.get("file_id")
 
849
            if file_id not in self.inventory:
 
850
                continue
 
851
            hash = s.get("hash")
 
852
            if hash == self.get_file_sha1(file_id):
 
853
                merge_hashes[file_id] = hash
 
854
        return merge_hashes
 
855
 
 
856
    def get_symlink_target(self, file_id):
 
857
        return os.readlink(self.id2abspath(file_id))
 
858
 
 
859
    def file_class(self, filename):
 
860
        if self.path2id(filename):
 
861
            return 'V'
 
862
        elif self.is_ignored(filename):
 
863
            return 'I'
 
864
        else:
 
865
            return '?'
 
866
 
 
867
    def list_files(self):
 
868
        """Recursively list all files as (path, class, kind, id, entry).
 
869
 
 
870
        Lists, but does not descend into unversioned directories.
 
871
 
 
872
        This does not include files that have been deleted in this
 
873
        tree.
 
874
 
 
875
        Skips the control directory.
 
876
        """
 
877
        inv = self._inventory
 
878
        # Convert these into local objects to save lookup times
 
879
        pathjoin = osutils.pathjoin
 
880
        file_kind = osutils.file_kind
 
881
 
 
882
        # transport.base ends in a slash, we want the piece
 
883
        # between the last two slashes
 
884
        transport_base_dir = self.bzrdir.transport.base.rsplit('/', 2)[1]
 
885
 
 
886
        fk_entries = {'directory':TreeDirectory, 'file':TreeFile, 'symlink':TreeLink}
 
887
 
 
888
        # directory file_id, relative path, absolute path, reverse sorted children
 
889
        children = os.listdir(self.basedir)
 
890
        children.sort()
 
891
        # jam 20060527 The kernel sized tree seems equivalent whether we 
 
892
        # use a deque and popleft to keep them sorted, or if we use a plain
 
893
        # list and just reverse() them.
 
894
        children = collections.deque(children)
 
895
        stack = [(inv.root.file_id, u'', self.basedir, children)]
 
896
        while stack:
 
897
            from_dir_id, from_dir_relpath, from_dir_abspath, children = stack[-1]
 
898
 
 
899
            while children:
 
900
                f = children.popleft()
 
901
                ## TODO: If we find a subdirectory with its own .bzr
 
902
                ## directory, then that is a separate tree and we
 
903
                ## should exclude it.
 
904
 
 
905
                # the bzrdir for this tree
 
906
                if transport_base_dir == f:
 
907
                    continue
 
908
 
 
909
                # we know that from_dir_relpath and from_dir_abspath never end in a slash
 
910
                # and 'f' doesn't begin with one, we can do a string op, rather
 
911
                # than the checks of pathjoin(), all relative paths will have an extra slash
 
912
                # at the beginning
 
913
                fp = from_dir_relpath + '/' + f
 
914
 
 
915
                # absolute path
 
916
                fap = from_dir_abspath + '/' + f
 
917
                
 
918
                f_ie = inv.get_child(from_dir_id, f)
 
919
                if f_ie:
 
920
                    c = 'V'
 
921
                elif self.is_ignored(fp[1:]):
 
922
                    c = 'I'
 
923
                else:
 
924
                    # we may not have found this file, because of a unicode issue
 
925
                    f_norm, can_access = osutils.normalized_filename(f)
 
926
                    if f == f_norm or not can_access:
 
927
                        # No change, so treat this file normally
 
928
                        c = '?'
 
929
                    else:
 
930
                        # this file can be accessed by a normalized path
 
931
                        # check again if it is versioned
 
932
                        # these lines are repeated here for performance
 
933
                        f = f_norm
 
934
                        fp = from_dir_relpath + '/' + f
 
935
                        fap = from_dir_abspath + '/' + f
 
936
                        f_ie = inv.get_child(from_dir_id, f)
 
937
                        if f_ie:
 
938
                            c = 'V'
 
939
                        elif self.is_ignored(fp[1:]):
 
940
                            c = 'I'
 
941
                        else:
 
942
                            c = '?'
 
943
 
 
944
                fk = file_kind(fap)
 
945
 
 
946
                if f_ie:
 
947
                    if f_ie.kind != fk:
 
948
                        raise BzrCheckError("file %r entered as kind %r id %r, "
 
949
                                            "now of kind %r"
 
950
                                            % (fap, f_ie.kind, f_ie.file_id, fk))
 
951
 
 
952
                # make a last minute entry
 
953
                if f_ie:
 
954
                    yield fp[1:], c, fk, f_ie.file_id, f_ie
 
955
                else:
 
956
                    try:
 
957
                        yield fp[1:], c, fk, None, fk_entries[fk]()
 
958
                    except KeyError:
 
959
                        yield fp[1:], c, fk, None, TreeEntry()
 
960
                    continue
 
961
                
 
962
                if fk != 'directory':
 
963
                    continue
 
964
 
 
965
                # But do this child first
 
966
                new_children = os.listdir(fap)
 
967
                new_children.sort()
 
968
                new_children = collections.deque(new_children)
 
969
                stack.append((f_ie.file_id, fp, fap, new_children))
 
970
                # Break out of inner loop, so that we start outer loop with child
 
971
                break
 
972
            else:
 
973
                # if we finished all children, pop it off the stack
 
974
                stack.pop()
 
975
 
 
976
 
 
977
    @needs_write_lock
 
978
    def move(self, from_paths, to_name):
 
979
        """Rename files.
 
980
 
 
981
        to_name must exist in the inventory.
 
982
 
 
983
        If to_name exists and is a directory, the files are moved into
 
984
        it, keeping their old names.  
 
985
 
 
986
        Note that to_name is only the last component of the new name;
 
987
        this doesn't change the directory.
 
988
 
 
989
        This returns a list of (from_path, to_path) pairs for each
 
990
        entry that is moved.
 
991
        """
 
992
        result = []
 
993
        ## TODO: Option to move IDs only
 
994
        assert not isinstance(from_paths, basestring)
 
995
        inv = self.inventory
 
996
        to_abs = self.abspath(to_name)
 
997
        if not isdir(to_abs):
 
998
            raise BzrError("destination %r is not a directory" % to_abs)
 
999
        if not self.has_filename(to_name):
 
1000
            raise BzrError("destination %r not in working directory" % to_abs)
 
1001
        to_dir_id = inv.path2id(to_name)
 
1002
        if to_dir_id == None and to_name != '':
 
1003
            raise BzrError("destination %r is not a versioned directory" % to_name)
 
1004
        to_dir_ie = inv[to_dir_id]
 
1005
        if to_dir_ie.kind != 'directory':
 
1006
            raise BzrError("destination %r is not a directory" % to_abs)
 
1007
 
 
1008
        to_idpath = inv.get_idpath(to_dir_id)
 
1009
 
 
1010
        for f in from_paths:
 
1011
            if not self.has_filename(f):
 
1012
                raise BzrError("%r does not exist in working tree" % f)
 
1013
            f_id = inv.path2id(f)
 
1014
            if f_id == None:
 
1015
                raise BzrError("%r is not versioned" % f)
 
1016
            name_tail = splitpath(f)[-1]
 
1017
            dest_path = pathjoin(to_name, name_tail)
 
1018
            if self.has_filename(dest_path):
 
1019
                raise BzrError("destination %r already exists" % dest_path)
 
1020
            if f_id in to_idpath:
 
1021
                raise BzrError("can't move %r to a subdirectory of itself" % f)
 
1022
 
 
1023
        # OK, so there's a race here, it's possible that someone will
 
1024
        # create a file in this interval and then the rename might be
 
1025
        # left half-done.  But we should have caught most problems.
 
1026
        orig_inv = deepcopy(self.inventory)
 
1027
        try:
 
1028
            for f in from_paths:
 
1029
                name_tail = splitpath(f)[-1]
 
1030
                dest_path = pathjoin(to_name, name_tail)
 
1031
                result.append((f, dest_path))
 
1032
                inv.rename(inv.path2id(f), to_dir_id, name_tail)
 
1033
                try:
 
1034
                    rename(self.abspath(f), self.abspath(dest_path))
 
1035
                except OSError, e:
 
1036
                    raise BzrError("failed to rename %r to %r: %s" %
 
1037
                                   (f, dest_path, e[1]),
 
1038
                            ["rename rolled back"])
 
1039
        except:
 
1040
            # restore the inventory on error
 
1041
            self._set_inventory(orig_inv)
 
1042
            raise
 
1043
        self._write_inventory(inv)
 
1044
        return result
 
1045
 
 
1046
    @needs_write_lock
 
1047
    def rename_one(self, from_rel, to_rel):
 
1048
        """Rename one file.
 
1049
 
 
1050
        This can change the directory or the filename or both.
 
1051
        """
 
1052
        inv = self.inventory
 
1053
        if not self.has_filename(from_rel):
 
1054
            raise BzrError("can't rename: old working file %r does not exist" % from_rel)
 
1055
        if self.has_filename(to_rel):
 
1056
            raise BzrError("can't rename: new working file %r already exists" % to_rel)
 
1057
 
 
1058
        file_id = inv.path2id(from_rel)
 
1059
        if file_id == None:
 
1060
            raise BzrError("can't rename: old name %r is not versioned" % from_rel)
 
1061
 
 
1062
        entry = inv[file_id]
 
1063
        from_parent = entry.parent_id
 
1064
        from_name = entry.name
 
1065
        
 
1066
        if inv.path2id(to_rel):
 
1067
            raise BzrError("can't rename: new name %r is already versioned" % to_rel)
 
1068
 
 
1069
        to_dir, to_tail = os.path.split(to_rel)
 
1070
        to_dir_id = inv.path2id(to_dir)
 
1071
        if to_dir_id == None and to_dir != '':
 
1072
            raise BzrError("can't determine destination directory id for %r" % to_dir)
 
1073
 
 
1074
        mutter("rename_one:")
 
1075
        mutter("  file_id    {%s}" % file_id)
 
1076
        mutter("  from_rel   %r" % from_rel)
 
1077
        mutter("  to_rel     %r" % to_rel)
 
1078
        mutter("  to_dir     %r" % to_dir)
 
1079
        mutter("  to_dir_id  {%s}" % to_dir_id)
 
1080
 
 
1081
        inv.rename(file_id, to_dir_id, to_tail)
 
1082
 
 
1083
        from_abs = self.abspath(from_rel)
 
1084
        to_abs = self.abspath(to_rel)
 
1085
        try:
 
1086
            rename(from_abs, to_abs)
 
1087
        except OSError, e:
 
1088
            inv.rename(file_id, from_parent, from_name)
 
1089
            raise BzrError("failed to rename %r to %r: %s"
 
1090
                    % (from_abs, to_abs, e[1]),
 
1091
                    ["rename rolled back"])
 
1092
        self._write_inventory(inv)
 
1093
 
 
1094
    @needs_read_lock
 
1095
    def unknowns(self):
 
1096
        """Return all unknown files.
 
1097
 
 
1098
        These are files in the working directory that are not versioned or
 
1099
        control files or ignored.
 
1100
        """
 
1101
        for subp in self.extras():
 
1102
            if not self.is_ignored(subp):
 
1103
                yield subp
 
1104
 
 
1105
    @deprecated_method(zero_eight)
 
1106
    def iter_conflicts(self):
 
1107
        """List all files in the tree that have text or content conflicts.
 
1108
        DEPRECATED.  Use conflicts instead."""
 
1109
        return self._iter_conflicts()
 
1110
 
 
1111
    def _iter_conflicts(self):
 
1112
        conflicted = set()
 
1113
        for info in self.list_files():
 
1114
            path = info[0]
 
1115
            stem = get_conflicted_stem(path)
 
1116
            if stem is None:
 
1117
                continue
 
1118
            if stem not in conflicted:
 
1119
                conflicted.add(stem)
 
1120
                yield stem
 
1121
 
 
1122
    @needs_write_lock
 
1123
    def pull(self, source, overwrite=False, stop_revision=None):
 
1124
        top_pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
1125
        source.lock_read()
 
1126
        try:
 
1127
            pp = ProgressPhase("Pull phase", 2, top_pb)
 
1128
            pp.next_phase()
 
1129
            old_revision_history = self.branch.revision_history()
 
1130
            basis_tree = self.basis_tree()
 
1131
            count = self.branch.pull(source, overwrite, stop_revision)
 
1132
            new_revision_history = self.branch.revision_history()
 
1133
            if new_revision_history != old_revision_history:
 
1134
                pp.next_phase()
 
1135
                if len(old_revision_history):
 
1136
                    other_revision = old_revision_history[-1]
 
1137
                else:
 
1138
                    other_revision = None
 
1139
                repository = self.branch.repository
 
1140
                pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
1141
                try:
 
1142
                    new_basis_tree = self.branch.basis_tree()
 
1143
                    merge_inner(self.branch,
 
1144
                                new_basis_tree,
 
1145
                                basis_tree,
 
1146
                                this_tree=self,
 
1147
                                pb=pb)
 
1148
                finally:
 
1149
                    pb.finished()
 
1150
                # TODO - dedup parents list with things merged by pull ?
 
1151
                # reuse the revisiontree we merged against to set the new
 
1152
                # tree data.
 
1153
                parent_trees = [(self.branch.last_revision(), new_basis_tree)]
 
1154
                # we have to pull the merge trees out again, because 
 
1155
                # merge_inner has set the ids. - this corner is not yet 
 
1156
                # layered well enough to prevent double handling.
 
1157
                merges = self.get_parent_ids()[1:]
 
1158
                parent_trees.extend([
 
1159
                    (parent, repository.revision_tree(parent)) for
 
1160
                     parent in merges])
 
1161
                self.set_parent_trees(parent_trees)
 
1162
            return count
 
1163
        finally:
 
1164
            source.unlock()
 
1165
            top_pb.finished()
 
1166
 
 
1167
    def extras(self):
 
1168
        """Yield all unknown files in this WorkingTree.
 
1169
 
 
1170
        If there are any unknown directories then only the directory is
 
1171
        returned, not all its children.  But if there are unknown files
 
1172
        under a versioned subdirectory, they are returned.
 
1173
 
 
1174
        Currently returned depth-first, sorted by name within directories.
 
1175
        """
 
1176
        ## TODO: Work from given directory downwards
 
1177
        for path, dir_entry in self.inventory.directories():
 
1178
            # mutter("search for unknowns in %r", path)
 
1179
            dirabs = self.abspath(path)
 
1180
            if not isdir(dirabs):
 
1181
                # e.g. directory deleted
 
1182
                continue
 
1183
 
 
1184
            fl = []
 
1185
            for subf in os.listdir(dirabs):
 
1186
                if subf == '.bzr':
 
1187
                    continue
 
1188
                if subf not in dir_entry.children:
 
1189
                    subf_norm, can_access = osutils.normalized_filename(subf)
 
1190
                    if subf_norm != subf and can_access:
 
1191
                        if subf_norm not in dir_entry.children:
 
1192
                            fl.append(subf_norm)
 
1193
                    else:
 
1194
                        fl.append(subf)
 
1195
            
 
1196
            fl.sort()
 
1197
            for subf in fl:
 
1198
                subp = pathjoin(path, subf)
 
1199
                yield subp
 
1200
 
 
1201
    def _translate_ignore_rule(self, rule):
 
1202
        """Translate a single ignore rule to a regex.
 
1203
 
 
1204
        There are two types of ignore rules.  Those that do not contain a / are
 
1205
        matched against the tail of the filename (that is, they do not care
 
1206
        what directory the file is in.)  Rules which do contain a slash must
 
1207
        match the entire path.  As a special case, './' at the start of the
 
1208
        string counts as a slash in the string but is removed before matching
 
1209
        (e.g. ./foo.c, ./src/foo.c)
 
1210
 
 
1211
        :return: The translated regex.
 
1212
        """
 
1213
        if rule[:2] in ('./', '.\\'):
 
1214
            # rootdir rule
 
1215
            result = fnmatch.translate(rule[2:])
 
1216
        elif '/' in rule or '\\' in rule:
 
1217
            # path prefix 
 
1218
            result = fnmatch.translate(rule)
 
1219
        else:
 
1220
            # default rule style.
 
1221
            result = "(?:.*/)?(?!.*/)" + fnmatch.translate(rule)
 
1222
        assert result[-1] == '$', "fnmatch.translate did not add the expected $"
 
1223
        return "(" + result + ")"
 
1224
 
 
1225
    def _combine_ignore_rules(self, rules):
 
1226
        """Combine a list of ignore rules into a single regex object.
 
1227
 
 
1228
        Each individual rule is combined with | to form a big regex, which then
 
1229
        has $ added to it to form something like ()|()|()$. The group index for
 
1230
        each subregex's outermost group is placed in a dictionary mapping back 
 
1231
        to the rule. This allows quick identification of the matching rule that
 
1232
        triggered a match.
 
1233
        :return: a list of the compiled regex and the matching-group index 
 
1234
        dictionaries. We return a list because python complains if you try to 
 
1235
        combine more than 100 regexes.
 
1236
        """
 
1237
        result = []
 
1238
        groups = {}
 
1239
        next_group = 0
 
1240
        translated_rules = []
 
1241
        for rule in rules:
 
1242
            translated_rule = self._translate_ignore_rule(rule)
 
1243
            compiled_rule = re.compile(translated_rule)
 
1244
            groups[next_group] = rule
 
1245
            next_group += compiled_rule.groups
 
1246
            translated_rules.append(translated_rule)
 
1247
            if next_group == 99:
 
1248
                result.append((re.compile("|".join(translated_rules)), groups))
 
1249
                groups = {}
 
1250
                next_group = 0
 
1251
                translated_rules = []
 
1252
        if len(translated_rules):
 
1253
            result.append((re.compile("|".join(translated_rules)), groups))
 
1254
        return result
 
1255
 
 
1256
    def ignored_files(self):
 
1257
        """Yield list of PATH, IGNORE_PATTERN"""
 
1258
        for subp in self.extras():
 
1259
            pat = self.is_ignored(subp)
 
1260
            if pat != None:
 
1261
                yield subp, pat
 
1262
 
 
1263
    def get_ignore_list(self):
 
1264
        """Return list of ignore patterns.
 
1265
 
 
1266
        Cached in the Tree object after the first call.
 
1267
        """
 
1268
        ignoreset = getattr(self, '_ignoreset', None)
 
1269
        if ignoreset is not None:
 
1270
            return ignoreset
 
1271
 
 
1272
        ignore_globs = set(bzrlib.DEFAULT_IGNORE)
 
1273
        ignore_globs.update(ignores.get_runtime_ignores())
 
1274
 
 
1275
        ignore_globs.update(ignores.get_user_ignores())
 
1276
 
 
1277
        if self.has_filename(bzrlib.IGNORE_FILENAME):
 
1278
            f = self.get_file_byname(bzrlib.IGNORE_FILENAME)
 
1279
            try:
 
1280
                ignore_globs.update(ignores.parse_ignore_file(f))
 
1281
            finally:
 
1282
                f.close()
 
1283
 
 
1284
        self._ignoreset = ignore_globs
 
1285
        self._ignore_regex = self._combine_ignore_rules(ignore_globs)
 
1286
        return ignore_globs
 
1287
 
 
1288
    def _get_ignore_rules_as_regex(self):
 
1289
        """Return a regex of the ignore rules and a mapping dict.
 
1290
 
 
1291
        :return: (ignore rules compiled regex, dictionary mapping rule group 
 
1292
        indices to original rule.)
 
1293
        """
 
1294
        if getattr(self, '_ignoreset', None) is None:
 
1295
            self.get_ignore_list()
 
1296
        return self._ignore_regex
 
1297
 
 
1298
    def is_ignored(self, filename):
 
1299
        r"""Check whether the filename matches an ignore pattern.
 
1300
 
 
1301
        Patterns containing '/' or '\' need to match the whole path;
 
1302
        others match against only the last component.
 
1303
 
 
1304
        If the file is ignored, returns the pattern which caused it to
 
1305
        be ignored, otherwise None.  So this can simply be used as a
 
1306
        boolean if desired."""
 
1307
 
 
1308
        # TODO: Use '**' to match directories, and other extended
 
1309
        # globbing stuff from cvs/rsync.
 
1310
 
 
1311
        # XXX: fnmatch is actually not quite what we want: it's only
 
1312
        # approximately the same as real Unix fnmatch, and doesn't
 
1313
        # treat dotfiles correctly and allows * to match /.
 
1314
        # Eventually it should be replaced with something more
 
1315
        # accurate.
 
1316
    
 
1317
        rules = self._get_ignore_rules_as_regex()
 
1318
        for regex, mapping in rules:
 
1319
            match = regex.match(filename)
 
1320
            if match is not None:
 
1321
                # one or more of the groups in mapping will have a non-None
 
1322
                # group match.
 
1323
                groups = match.groups()
 
1324
                rules = [mapping[group] for group in 
 
1325
                    mapping if groups[group] is not None]
 
1326
                return rules[0]
 
1327
        return None
 
1328
 
 
1329
    def kind(self, file_id):
 
1330
        return file_kind(self.id2abspath(file_id))
 
1331
 
 
1332
    @deprecated_method(zero_eleven)
 
1333
    def last_revision(self):
 
1334
        """Return the last revision id of this working tree.
 
1335
 
 
1336
        In early branch formats this was the same as the branch last_revision,
 
1337
        but that cannot be relied upon - for working tree operations,
 
1338
        always use tree.last_revision(). This returns the left most parent id,
 
1339
        or None if there are no parents.
 
1340
 
 
1341
        This was deprecated as of 0.10. Please use get_parent_ids now.
 
1342
        """
 
1343
        return self._last_revision()
 
1344
 
 
1345
    @needs_read_lock
 
1346
    def _last_revision(self):
 
1347
        """helper for get_parent_ids."""
 
1348
        return self.branch.last_revision()
 
1349
 
 
1350
    def is_locked(self):
 
1351
        return self._control_files.is_locked()
 
1352
 
 
1353
    def lock_read(self):
 
1354
        """See Branch.lock_read, and WorkingTree.unlock."""
 
1355
        self.branch.lock_read()
 
1356
        try:
 
1357
            return self._control_files.lock_read()
 
1358
        except:
 
1359
            self.branch.unlock()
 
1360
            raise
 
1361
 
 
1362
    def lock_write(self):
 
1363
        """See Branch.lock_write, and WorkingTree.unlock."""
 
1364
        self.branch.lock_write()
 
1365
        try:
 
1366
            return self._control_files.lock_write()
 
1367
        except:
 
1368
            self.branch.unlock()
 
1369
            raise
 
1370
 
 
1371
    def get_physical_lock_status(self):
 
1372
        return self._control_files.get_physical_lock_status()
 
1373
 
 
1374
    def _basis_inventory_name(self):
 
1375
        return 'basis-inventory'
 
1376
 
 
1377
    @needs_write_lock
 
1378
    def set_last_revision(self, new_revision):
 
1379
        """Change the last revision in the working tree."""
 
1380
        if self._change_last_revision(new_revision):
 
1381
            self._cache_basis_inventory(new_revision)
 
1382
 
 
1383
    def _change_last_revision(self, new_revision):
 
1384
        """Template method part of set_last_revision to perform the change.
 
1385
        
 
1386
        This is used to allow WorkingTree3 instances to not affect branch
 
1387
        when their last revision is set.
 
1388
        """
 
1389
        if new_revision is None:
 
1390
            self.branch.set_revision_history([])
 
1391
            return False
 
1392
        try:
 
1393
            self.branch.generate_revision_history(new_revision)
 
1394
        except errors.NoSuchRevision:
 
1395
            # not present in the repo - dont try to set it deeper than the tip
 
1396
            self.branch.set_revision_history([new_revision])
 
1397
        return True
 
1398
 
 
1399
    def _cache_basis_inventory(self, new_revision):
 
1400
        """Cache new_revision as the basis inventory."""
 
1401
        # TODO: this should allow the ready-to-use inventory to be passed in,
 
1402
        # as commit already has that ready-to-use [while the format is the
 
1403
        # same, that is].
 
1404
        try:
 
1405
            # this double handles the inventory - unpack and repack - 
 
1406
            # but is easier to understand. We can/should put a conditional
 
1407
            # in here based on whether the inventory is in the latest format
 
1408
            # - perhaps we should repack all inventories on a repository
 
1409
            # upgrade ?
 
1410
            # the fast path is to copy the raw xml from the repository. If the
 
1411
            # xml contains 'revision_id="', then we assume the right 
 
1412
            # revision_id is set. We must check for this full string, because a
 
1413
            # root node id can legitimately look like 'revision_id' but cannot
 
1414
            # contain a '"'.
 
1415
            xml = self.branch.repository.get_inventory_xml(new_revision)
 
1416
            if not 'revision_id="' in xml.split('\n', 1)[0]:
 
1417
                inv = self.branch.repository.deserialise_inventory(
 
1418
                    new_revision, xml)
 
1419
                inv.revision_id = new_revision
 
1420
                xml = bzrlib.xml5.serializer_v5.write_inventory_to_string(inv)
 
1421
            assert isinstance(xml, str), 'serialised xml must be bytestring.'
 
1422
            path = self._basis_inventory_name()
 
1423
            sio = StringIO(xml)
 
1424
            self._control_files.put(path, sio)
 
1425
        except (errors.NoSuchRevision, errors.RevisionNotPresent):
 
1426
            pass
 
1427
 
 
1428
    def read_basis_inventory(self):
 
1429
        """Read the cached basis inventory."""
 
1430
        path = self._basis_inventory_name()
 
1431
        return self._control_files.get(path).read()
 
1432
        
 
1433
    @needs_read_lock
 
1434
    def read_working_inventory(self):
 
1435
        """Read the working inventory."""
 
1436
        # ElementTree does its own conversion from UTF-8, so open in
 
1437
        # binary.
 
1438
        result = bzrlib.xml5.serializer_v5.read_inventory(
 
1439
            self._control_files.get('inventory'))
 
1440
        self._set_inventory(result)
 
1441
        return result
 
1442
 
 
1443
    @needs_write_lock
 
1444
    def remove(self, files, verbose=False, to_file=None):
 
1445
        """Remove nominated files from the working inventory..
 
1446
 
 
1447
        This does not remove their text.  This does not run on XXX on what? RBC
 
1448
 
 
1449
        TODO: Refuse to remove modified files unless --force is given?
 
1450
 
 
1451
        TODO: Do something useful with directories.
 
1452
 
 
1453
        TODO: Should this remove the text or not?  Tough call; not
 
1454
        removing may be useful and the user can just use use rm, and
 
1455
        is the opposite of add.  Removing it is consistent with most
 
1456
        other tools.  Maybe an option.
 
1457
        """
 
1458
        ## TODO: Normalize names
 
1459
        ## TODO: Remove nested loops; better scalability
 
1460
        if isinstance(files, basestring):
 
1461
            files = [files]
 
1462
 
 
1463
        inv = self.inventory
 
1464
 
 
1465
        # do this before any modifications
 
1466
        for f in files:
 
1467
            fid = inv.path2id(f)
 
1468
            if not fid:
 
1469
                # TODO: Perhaps make this just a warning, and continue?
 
1470
                # This tends to happen when 
 
1471
                raise NotVersionedError(path=f)
 
1472
            if verbose:
 
1473
                # having remove it, it must be either ignored or unknown
 
1474
                if self.is_ignored(f):
 
1475
                    new_status = 'I'
 
1476
                else:
 
1477
                    new_status = '?'
 
1478
                show_status(new_status, inv[fid].kind, f, to_file=to_file)
 
1479
            del inv[fid]
 
1480
 
 
1481
        self._write_inventory(inv)
 
1482
 
 
1483
    @needs_write_lock
 
1484
    def revert(self, filenames, old_tree=None, backups=True, 
 
1485
               pb=DummyProgress()):
 
1486
        from transform import revert
 
1487
        from conflicts import resolve
 
1488
        if old_tree is None:
 
1489
            old_tree = self.basis_tree()
 
1490
        conflicts = revert(self, old_tree, filenames, backups, pb)
 
1491
        if not len(filenames):
 
1492
            self.set_parent_ids(self.get_parent_ids()[:1])
 
1493
            resolve(self)
 
1494
        else:
 
1495
            resolve(self, filenames, ignore_misses=True)
 
1496
        return conflicts
 
1497
 
 
1498
    # XXX: This method should be deprecated in favour of taking in a proper
 
1499
    # new Inventory object.
 
1500
    @needs_write_lock
 
1501
    def set_inventory(self, new_inventory_list):
 
1502
        from bzrlib.inventory import (Inventory,
 
1503
                                      InventoryDirectory,
 
1504
                                      InventoryEntry,
 
1505
                                      InventoryFile,
 
1506
                                      InventoryLink)
 
1507
        inv = Inventory(self.get_root_id())
 
1508
        for path, file_id, parent, kind in new_inventory_list:
 
1509
            name = os.path.basename(path)
 
1510
            if name == "":
 
1511
                continue
 
1512
            # fixme, there should be a factory function inv,add_?? 
 
1513
            if kind == 'directory':
 
1514
                inv.add(InventoryDirectory(file_id, name, parent))
 
1515
            elif kind == 'file':
 
1516
                inv.add(InventoryFile(file_id, name, parent))
 
1517
            elif kind == 'symlink':
 
1518
                inv.add(InventoryLink(file_id, name, parent))
 
1519
            else:
 
1520
                raise BzrError("unknown kind %r" % kind)
 
1521
        self._write_inventory(inv)
 
1522
 
 
1523
    @needs_write_lock
 
1524
    def set_root_id(self, file_id):
 
1525
        """Set the root id for this tree."""
 
1526
        inv = self.read_working_inventory()
 
1527
        orig_root_id = inv.root.file_id
 
1528
        del inv._byid[inv.root.file_id]
 
1529
        inv.root.file_id = file_id
 
1530
        inv._byid[inv.root.file_id] = inv.root
 
1531
        for fid in inv:
 
1532
            entry = inv[fid]
 
1533
            if entry.parent_id == orig_root_id:
 
1534
                entry.parent_id = inv.root.file_id
 
1535
        self._write_inventory(inv)
 
1536
 
 
1537
    def unlock(self):
 
1538
        """See Branch.unlock.
 
1539
        
 
1540
        WorkingTree locking just uses the Branch locking facilities.
 
1541
        This is current because all working trees have an embedded branch
 
1542
        within them. IF in the future, we were to make branch data shareable
 
1543
        between multiple working trees, i.e. via shared storage, then we 
 
1544
        would probably want to lock both the local tree, and the branch.
 
1545
        """
 
1546
        raise NotImplementedError(self.unlock)
 
1547
 
 
1548
    @needs_write_lock
 
1549
    def update(self):
 
1550
        """Update a working tree along its branch.
 
1551
 
 
1552
        This will update the branch if its bound too, which means we have multiple trees involved:
 
1553
        The new basis tree of the master.
 
1554
        The old basis tree of the branch.
 
1555
        The old basis tree of the working tree.
 
1556
        The current working tree state.
 
1557
        pathologically all three may be different, and non ancestors of each other.
 
1558
        Conceptually we want to:
 
1559
        Preserve the wt.basis->wt.state changes
 
1560
        Transform the wt.basis to the new master basis.
 
1561
        Apply a merge of the old branch basis to get any 'local' changes from it into the tree.
 
1562
        Restore the wt.basis->wt.state changes.
 
1563
 
 
1564
        There isn't a single operation at the moment to do that, so we:
 
1565
        Merge current state -> basis tree of the master w.r.t. the old tree basis.
 
1566
        Do a 'normal' merge of the old branch basis if it is relevant.
 
1567
        """
 
1568
        old_tip = self.branch.update()
 
1569
        # here if old_tip is not None, it is the old tip of the branch before
 
1570
        # it was updated from the master branch. This should become a pending
 
1571
        # merge in the working tree to preserve the user existing work.  we
 
1572
        # cant set that until we update the working trees last revision to be
 
1573
        # one from the new branch, because it will just get absorbed by the
 
1574
        # parent de-duplication logic.
 
1575
        # 
 
1576
        # We MUST save it even if an error occurs, because otherwise the users
 
1577
        # local work is unreferenced and will appear to have been lost.
 
1578
        # 
 
1579
        result = 0
 
1580
        try:
 
1581
            last_rev = self.get_parent_ids()[0]
 
1582
        except IndexError:
 
1583
            last_rev = None
 
1584
        if last_rev != self.branch.last_revision():
 
1585
            # merge tree state up to new branch tip.
 
1586
            basis = self.basis_tree()
 
1587
            to_tree = self.branch.basis_tree()
 
1588
            result += merge_inner(self.branch,
 
1589
                                  to_tree,
 
1590
                                  basis,
 
1591
                                  this_tree=self)
 
1592
            # TODO - dedup parents list with things merged by pull ?
 
1593
            # reuse the tree we've updated to to set the basis:
 
1594
            parent_trees = [(self.branch.last_revision(), to_tree)]
 
1595
            merges = self.get_parent_ids()[1:]
 
1596
            # Ideally we ask the tree for the trees here, that way the working
 
1597
            # tree can decide whether to give us teh entire tree or give us a
 
1598
            # lazy initialised tree. dirstate for instance will have the trees
 
1599
            # in ram already, whereas a last-revision + basis-inventory tree
 
1600
            # will not, but also does not need them when setting parents.
 
1601
            for parent in merges:
 
1602
                parent_trees.append(
 
1603
                    (parent, self.branch.repository.revision_tree(parent)))
 
1604
            if old_tip is not None:
 
1605
                parent_trees.append(
 
1606
                    (old_tip, self.branch.repository.revision_tree(old_tip)))
 
1607
            self.set_parent_trees(parent_trees)
 
1608
            last_rev = parent_trees[0][0]
 
1609
        else:
 
1610
            # the working tree had the same last-revision as the master
 
1611
            # branch did. We may still have pivot local work from the local
 
1612
            # branch into old_tip:
 
1613
            if old_tip is not None:
 
1614
                self.add_parent_tree_id(old_tip)
 
1615
        if old_tip and old_tip != last_rev:
 
1616
            # our last revision was not the prior branch last revision
 
1617
            # and we have converted that last revision to a pending merge.
 
1618
            # base is somewhere between the branch tip now
 
1619
            # and the now pending merge
 
1620
            from bzrlib.revision import common_ancestor
 
1621
            try:
 
1622
                base_rev_id = common_ancestor(self.branch.last_revision(),
 
1623
                                              old_tip,
 
1624
                                              self.branch.repository)
 
1625
            except errors.NoCommonAncestor:
 
1626
                base_rev_id = None
 
1627
            base_tree = self.branch.repository.revision_tree(base_rev_id)
 
1628
            other_tree = self.branch.repository.revision_tree(old_tip)
 
1629
            result += merge_inner(self.branch,
 
1630
                                  other_tree,
 
1631
                                  base_tree,
 
1632
                                  this_tree=self)
 
1633
        return result
 
1634
 
 
1635
    @needs_write_lock
 
1636
    def _write_inventory(self, inv):
 
1637
        """Write inventory as the current inventory."""
 
1638
        sio = StringIO()
 
1639
        bzrlib.xml5.serializer_v5.write_inventory(inv, sio)
 
1640
        sio.seek(0)
 
1641
        self._control_files.put('inventory', sio)
 
1642
        self._set_inventory(inv)
 
1643
        mutter('wrote working inventory')
 
1644
 
 
1645
    def set_conflicts(self, arg):
 
1646
        raise UnsupportedOperation(self.set_conflicts, self)
 
1647
 
 
1648
    def add_conflicts(self, arg):
 
1649
        raise UnsupportedOperation(self.add_conflicts, self)
 
1650
 
 
1651
    @needs_read_lock
 
1652
    def conflicts(self):
 
1653
        conflicts = ConflictList()
 
1654
        for conflicted in self._iter_conflicts():
 
1655
            text = True
 
1656
            try:
 
1657
                if file_kind(self.abspath(conflicted)) != "file":
 
1658
                    text = False
 
1659
            except errors.NoSuchFile:
 
1660
                text = False
 
1661
            if text is True:
 
1662
                for suffix in ('.THIS', '.OTHER'):
 
1663
                    try:
 
1664
                        kind = file_kind(self.abspath(conflicted+suffix))
 
1665
                        if kind != "file":
 
1666
                            text = False
 
1667
                    except errors.NoSuchFile:
 
1668
                        text = False
 
1669
                    if text == False:
 
1670
                        break
 
1671
            ctype = {True: 'text conflict', False: 'contents conflict'}[text]
 
1672
            conflicts.append(Conflict.factory(ctype, path=conflicted,
 
1673
                             file_id=self.path2id(conflicted)))
 
1674
        return conflicts
 
1675
 
 
1676
 
 
1677
class WorkingTree2(WorkingTree):
 
1678
    """This is the Format 2 working tree.
 
1679
 
 
1680
    This was the first weave based working tree. 
 
1681
     - uses os locks for locking.
 
1682
     - uses the branch last-revision.
 
1683
    """
 
1684
 
 
1685
    def unlock(self):
 
1686
        # we share control files:
 
1687
        if self._hashcache.needs_write and self._control_files._lock_count==3:
 
1688
            self._hashcache.write()
 
1689
        # reverse order of locking.
 
1690
        try:
 
1691
            return self._control_files.unlock()
 
1692
        finally:
 
1693
            self.branch.unlock()
 
1694
 
 
1695
 
 
1696
class WorkingTree3(WorkingTree):
 
1697
    """This is the Format 3 working tree.
 
1698
 
 
1699
    This differs from the base WorkingTree by:
 
1700
     - having its own file lock
 
1701
     - having its own last-revision property.
 
1702
 
 
1703
    This is new in bzr 0.8
 
1704
    """
 
1705
 
 
1706
    @needs_read_lock
 
1707
    def _last_revision(self):
 
1708
        """See WorkingTree._last_revision."""
 
1709
        try:
 
1710
            return self._control_files.get_utf8('last-revision').read()
 
1711
        except NoSuchFile:
 
1712
            return None
 
1713
 
 
1714
    def _change_last_revision(self, revision_id):
 
1715
        """See WorkingTree._change_last_revision."""
 
1716
        if revision_id is None or revision_id == NULL_REVISION:
 
1717
            try:
 
1718
                self._control_files._transport.delete('last-revision')
 
1719
            except errors.NoSuchFile:
 
1720
                pass
 
1721
            return False
 
1722
        else:
 
1723
            self._control_files.put_utf8('last-revision', revision_id)
 
1724
            return True
 
1725
 
 
1726
    @needs_write_lock
 
1727
    def set_conflicts(self, conflicts):
 
1728
        self._put_rio('conflicts', conflicts.to_stanzas(), 
 
1729
                      CONFLICT_HEADER_1)
 
1730
 
 
1731
    @needs_write_lock
 
1732
    def add_conflicts(self, new_conflicts):
 
1733
        conflict_set = set(self.conflicts())
 
1734
        conflict_set.update(set(list(new_conflicts)))
 
1735
        self.set_conflicts(ConflictList(sorted(conflict_set,
 
1736
                                               key=Conflict.sort_key)))
 
1737
 
 
1738
    @needs_read_lock
 
1739
    def conflicts(self):
 
1740
        try:
 
1741
            confile = self._control_files.get('conflicts')
 
1742
        except NoSuchFile:
 
1743
            return ConflictList()
 
1744
        try:
 
1745
            if confile.next() != CONFLICT_HEADER_1 + '\n':
 
1746
                raise ConflictFormatError()
 
1747
        except StopIteration:
 
1748
            raise ConflictFormatError()
 
1749
        return ConflictList.from_stanzas(RioReader(confile))
 
1750
 
 
1751
    def unlock(self):
 
1752
        if self._hashcache.needs_write and self._control_files._lock_count==1:
 
1753
            self._hashcache.write()
 
1754
        # reverse order of locking.
 
1755
        try:
 
1756
            return self._control_files.unlock()
 
1757
        finally:
 
1758
            self.branch.unlock()
 
1759
 
 
1760
 
 
1761
def get_conflicted_stem(path):
 
1762
    for suffix in CONFLICT_SUFFIXES:
 
1763
        if path.endswith(suffix):
 
1764
            return path[:-len(suffix)]
 
1765
 
 
1766
@deprecated_function(zero_eight)
 
1767
def is_control_file(filename):
 
1768
    """See WorkingTree.is_control_filename(filename)."""
 
1769
    ## FIXME: better check
 
1770
    filename = normpath(filename)
 
1771
    while filename != '':
 
1772
        head, tail = os.path.split(filename)
 
1773
        ## mutter('check %r for control file' % ((head, tail),))
 
1774
        if tail == '.bzr':
 
1775
            return True
 
1776
        if filename == head:
 
1777
            break
 
1778
        filename = head
 
1779
    return False
 
1780
 
 
1781
 
 
1782
class WorkingTreeFormat(object):
 
1783
    """An encapsulation of the initialization and open routines for a format.
 
1784
 
 
1785
    Formats provide three things:
 
1786
     * An initialization routine,
 
1787
     * a format string,
 
1788
     * an open routine.
 
1789
 
 
1790
    Formats are placed in an dict by their format string for reference 
 
1791
    during workingtree opening. Its not required that these be instances, they
 
1792
    can be classes themselves with class methods - it simply depends on 
 
1793
    whether state is needed for a given format or not.
 
1794
 
 
1795
    Once a format is deprecated, just deprecate the initialize and open
 
1796
    methods on the format class. Do not deprecate the object, as the 
 
1797
    object will be created every time regardless.
 
1798
    """
 
1799
 
 
1800
    _default_format = None
 
1801
    """The default format used for new trees."""
 
1802
 
 
1803
    _formats = {}
 
1804
    """The known formats."""
 
1805
 
 
1806
    @classmethod
 
1807
    def find_format(klass, a_bzrdir):
 
1808
        """Return the format for the working tree object in a_bzrdir."""
 
1809
        try:
 
1810
            transport = a_bzrdir.get_workingtree_transport(None)
 
1811
            format_string = transport.get("format").read()
 
1812
            return klass._formats[format_string]
 
1813
        except NoSuchFile:
 
1814
            raise errors.NoWorkingTree(base=transport.base)
 
1815
        except KeyError:
 
1816
            raise errors.UnknownFormatError(format=format_string)
 
1817
 
 
1818
    @classmethod
 
1819
    def get_default_format(klass):
 
1820
        """Return the current default format."""
 
1821
        return klass._default_format
 
1822
 
 
1823
    def get_format_string(self):
 
1824
        """Return the ASCII format string that identifies this format."""
 
1825
        raise NotImplementedError(self.get_format_string)
 
1826
 
 
1827
    def get_format_description(self):
 
1828
        """Return the short description for this format."""
 
1829
        raise NotImplementedError(self.get_format_description)
 
1830
 
 
1831
    def is_supported(self):
 
1832
        """Is this format supported?
 
1833
 
 
1834
        Supported formats can be initialized and opened.
 
1835
        Unsupported formats may not support initialization or committing or 
 
1836
        some other features depending on the reason for not being supported.
 
1837
        """
 
1838
        return True
 
1839
 
 
1840
    @classmethod
 
1841
    def register_format(klass, format):
 
1842
        klass._formats[format.get_format_string()] = format
 
1843
 
 
1844
    @classmethod
 
1845
    def set_default_format(klass, format):
 
1846
        klass._default_format = format
 
1847
 
 
1848
    @classmethod
 
1849
    def unregister_format(klass, format):
 
1850
        assert klass._formats[format.get_format_string()] is format
 
1851
        del klass._formats[format.get_format_string()]
 
1852
 
 
1853
 
 
1854
 
 
1855
class WorkingTreeFormat2(WorkingTreeFormat):
 
1856
    """The second working tree format. 
 
1857
 
 
1858
    This format modified the hash cache from the format 1 hash cache.
 
1859
    """
 
1860
 
 
1861
    def get_format_description(self):
 
1862
        """See WorkingTreeFormat.get_format_description()."""
 
1863
        return "Working tree format 2"
 
1864
 
 
1865
    def stub_initialize_remote(self, control_files):
 
1866
        """As a special workaround create critical control files for a remote working tree
 
1867
        
 
1868
        This ensures that it can later be updated and dealt with locally,
 
1869
        since BzrDirFormat6 and BzrDirFormat5 cannot represent dirs with 
 
1870
        no working tree.  (See bug #43064).
 
1871
        """
 
1872
        sio = StringIO()
 
1873
        inv = Inventory()
 
1874
        bzrlib.xml5.serializer_v5.write_inventory(inv, sio)
 
1875
        sio.seek(0)
 
1876
        control_files.put('inventory', sio)
 
1877
 
 
1878
        control_files.put_utf8('pending-merges', '')
 
1879
        
 
1880
 
 
1881
    def initialize(self, a_bzrdir, revision_id=None):
 
1882
        """See WorkingTreeFormat.initialize()."""
 
1883
        if not isinstance(a_bzrdir.transport, LocalTransport):
 
1884
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
 
1885
        branch = a_bzrdir.open_branch()
 
1886
        if revision_id is not None:
 
1887
            branch.lock_write()
 
1888
            try:
 
1889
                revision_history = branch.revision_history()
 
1890
                try:
 
1891
                    position = revision_history.index(revision_id)
 
1892
                except ValueError:
 
1893
                    raise errors.NoSuchRevision(branch, revision_id)
 
1894
                branch.set_revision_history(revision_history[:position + 1])
 
1895
            finally:
 
1896
                branch.unlock()
 
1897
        revision = branch.last_revision()
 
1898
        inv = Inventory()
 
1899
        wt = WorkingTree2(a_bzrdir.root_transport.local_abspath('.'),
 
1900
                         branch,
 
1901
                         inv,
 
1902
                         _internal=True,
 
1903
                         _format=self,
 
1904
                         _bzrdir=a_bzrdir)
 
1905
        wt._write_inventory(inv)
 
1906
        wt.set_root_id(inv.root.file_id)
 
1907
        basis_tree = branch.repository.revision_tree(revision)
 
1908
        wt.set_parent_trees([(revision, basis_tree)])
 
1909
        build_tree(basis_tree, wt)
 
1910
        return wt
 
1911
 
 
1912
    def __init__(self):
 
1913
        super(WorkingTreeFormat2, self).__init__()
 
1914
        self._matchingbzrdir = bzrdir.BzrDirFormat6()
 
1915
 
 
1916
    def open(self, a_bzrdir, _found=False):
 
1917
        """Return the WorkingTree object for a_bzrdir
 
1918
 
 
1919
        _found is a private parameter, do not use it. It is used to indicate
 
1920
               if format probing has already been done.
 
1921
        """
 
1922
        if not _found:
 
1923
            # we are being called directly and must probe.
 
1924
            raise NotImplementedError
 
1925
        if not isinstance(a_bzrdir.transport, LocalTransport):
 
1926
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
 
1927
        return WorkingTree2(a_bzrdir.root_transport.local_abspath('.'),
 
1928
                           _internal=True,
 
1929
                           _format=self,
 
1930
                           _bzrdir=a_bzrdir)
 
1931
 
 
1932
 
 
1933
class WorkingTreeFormat3(WorkingTreeFormat):
 
1934
    """The second working tree format updated to record a format marker.
 
1935
 
 
1936
    This format:
 
1937
        - exists within a metadir controlling .bzr
 
1938
        - includes an explicit version marker for the workingtree control
 
1939
          files, separate from the BzrDir format
 
1940
        - modifies the hash cache format
 
1941
        - is new in bzr 0.8
 
1942
        - uses a LockDir to guard access for writes.
 
1943
    """
 
1944
 
 
1945
    def get_format_string(self):
 
1946
        """See WorkingTreeFormat.get_format_string()."""
 
1947
        return "Bazaar-NG Working Tree format 3"
 
1948
 
 
1949
    def get_format_description(self):
 
1950
        """See WorkingTreeFormat.get_format_description()."""
 
1951
        return "Working tree format 3"
 
1952
 
 
1953
    _lock_file_name = 'lock'
 
1954
    _lock_class = LockDir
 
1955
 
 
1956
    def _open_control_files(self, a_bzrdir):
 
1957
        transport = a_bzrdir.get_workingtree_transport(None)
 
1958
        return LockableFiles(transport, self._lock_file_name, 
 
1959
                             self._lock_class)
 
1960
 
 
1961
    def initialize(self, a_bzrdir, revision_id=None):
 
1962
        """See WorkingTreeFormat.initialize().
 
1963
        
 
1964
        revision_id allows creating a working tree at a different
 
1965
        revision than the branch is at.
 
1966
        """
 
1967
        if not isinstance(a_bzrdir.transport, LocalTransport):
 
1968
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
 
1969
        transport = a_bzrdir.get_workingtree_transport(self)
 
1970
        control_files = self._open_control_files(a_bzrdir)
 
1971
        control_files.create_lock()
 
1972
        control_files.lock_write()
 
1973
        control_files.put_utf8('format', self.get_format_string())
 
1974
        branch = a_bzrdir.open_branch()
 
1975
        if revision_id is None:
 
1976
            revision_id = branch.last_revision()
 
1977
        inv = Inventory() 
 
1978
        wt = WorkingTree3(a_bzrdir.root_transport.local_abspath('.'),
 
1979
                         branch,
 
1980
                         inv,
 
1981
                         _internal=True,
 
1982
                         _format=self,
 
1983
                         _bzrdir=a_bzrdir,
 
1984
                         _control_files=control_files)
 
1985
        wt.lock_write()
 
1986
        try:
 
1987
            wt._write_inventory(inv)
 
1988
            wt.set_root_id(inv.root.file_id)
 
1989
            basis_tree = branch.repository.revision_tree(revision_id)
 
1990
            if revision_id == bzrlib.revision.NULL_REVISION:
 
1991
                wt.set_parent_trees([])
 
1992
            else:
 
1993
                wt.set_parent_trees([(revision_id, basis_tree)])
 
1994
            build_tree(basis_tree, wt)
 
1995
        finally:
 
1996
            wt.unlock()
 
1997
            control_files.unlock()
 
1998
        return wt
 
1999
 
 
2000
    def __init__(self):
 
2001
        super(WorkingTreeFormat3, self).__init__()
 
2002
        self._matchingbzrdir = bzrdir.BzrDirMetaFormat1()
 
2003
 
 
2004
    def open(self, a_bzrdir, _found=False):
 
2005
        """Return the WorkingTree object for a_bzrdir
 
2006
 
 
2007
        _found is a private parameter, do not use it. It is used to indicate
 
2008
               if format probing has already been done.
 
2009
        """
 
2010
        if not _found:
 
2011
            # we are being called directly and must probe.
 
2012
            raise NotImplementedError
 
2013
        if not isinstance(a_bzrdir.transport, LocalTransport):
 
2014
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
 
2015
        return self._open(a_bzrdir, self._open_control_files(a_bzrdir))
 
2016
 
 
2017
    def _open(self, a_bzrdir, control_files):
 
2018
        """Open the tree itself.
 
2019
        
 
2020
        :param a_bzrdir: the dir for the tree.
 
2021
        :param control_files: the control files for the tree.
 
2022
        """
 
2023
        return WorkingTree3(a_bzrdir.root_transport.local_abspath('.'),
 
2024
                           _internal=True,
 
2025
                           _format=self,
 
2026
                           _bzrdir=a_bzrdir,
 
2027
                           _control_files=control_files)
 
2028
 
 
2029
    def __str__(self):
 
2030
        return self.get_format_string()
 
2031
 
 
2032
 
 
2033
# formats which have no format string are not discoverable
 
2034
# and not independently creatable, so are not registered.
 
2035
__default_format = WorkingTreeFormat3()
 
2036
WorkingTreeFormat.register_format(__default_format)
 
2037
WorkingTreeFormat.set_default_format(__default_format)
 
2038
_legacy_formats = [WorkingTreeFormat2(),
 
2039
                   ]
 
2040
 
 
2041
 
 
2042
class WorkingTreeTestProviderAdapter(object):
 
2043
    """A tool to generate a suite testing multiple workingtree formats at once.
 
2044
 
 
2045
    This is done by copying the test once for each transport and injecting
 
2046
    the transport_server, transport_readonly_server, and workingtree_format
 
2047
    classes into each copy. Each copy is also given a new id() to make it
 
2048
    easy to identify.
 
2049
    """
 
2050
 
 
2051
    def __init__(self, transport_server, transport_readonly_server, formats):
 
2052
        self._transport_server = transport_server
 
2053
        self._transport_readonly_server = transport_readonly_server
 
2054
        self._formats = formats
 
2055
    
 
2056
    def _clone_test(self, test, bzrdir_format, workingtree_format, variation):
 
2057
        """Clone test for adaption."""
 
2058
        new_test = deepcopy(test)
 
2059
        new_test.transport_server = self._transport_server
 
2060
        new_test.transport_readonly_server = self._transport_readonly_server
 
2061
        new_test.bzrdir_format = bzrdir_format
 
2062
        new_test.workingtree_format = workingtree_format
 
2063
        def make_new_test_id():
 
2064
            new_id = "%s(%s)" % (test.id(), variation)
 
2065
            return lambda: new_id
 
2066
        new_test.id = make_new_test_id()
 
2067
        return new_test
 
2068
    
 
2069
    def adapt(self, test):
 
2070
        from bzrlib.tests import TestSuite
 
2071
        result = TestSuite()
 
2072
        for workingtree_format, bzrdir_format in self._formats:
 
2073
            new_test = self._clone_test(
 
2074
                test,
 
2075
                bzrdir_format,
 
2076
                workingtree_format, workingtree_format.__class__.__name__)
 
2077
            result.addTest(new_test)
 
2078
        return result