2
# -*- coding: UTF-8 -*-
 
 
4
# This program is free software; you can redistribute it and/or modify
 
 
5
# it under the terms of the GNU General Public License as published by
 
 
6
# the Free Software Foundation; either version 2 of the License, or
 
 
7
# (at your option) any later version.
 
 
9
# This program is distributed in the hope that it will be useful,
 
 
10
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
 
11
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
 
12
# GNU General Public License for more details.
 
 
14
# You should have received a copy of the GNU General Public License
 
 
15
# along with this program; if not, write to the Free Software
 
 
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
 
21
import sys, os, os.path, random, time, sha, sets, types, re, shutil, tempfile
 
 
22
import traceback, socket, fnmatch, difflib, time
 
 
23
from binascii import hexlify
 
 
26
from inventory import Inventory
 
 
27
from trace import mutter, note
 
 
28
from tree import Tree, EmptyTree, RevisionTree, WorkingTree
 
 
29
from inventory import InventoryEntry, Inventory
 
 
30
from osutils import isdir, quotefn, isfile, uuid, sha_file, username, chomp, \
 
 
31
     format_date, compact_date, pumpfile, user_email, rand_bytes, splitpath, \
 
 
32
     joinpath, sha_string, file_kind, local_time_offset
 
 
33
from store import ImmutableStore
 
 
34
from revision import Revision
 
 
35
from errors import bailout
 
 
36
from textui import show_status
 
 
37
from diff import diff_trees
 
 
39
BZR_BRANCH_FORMAT = "Bazaar-NG branch, format 0.0.4\n"
 
 
40
## TODO: Maybe include checks for common corruption of newlines, etc?
 
 
46
######################################################################
 
 
50
    """Branch holding a history of revisions.
 
 
52
    :todo: Perhaps use different stores for different classes of object,
 
 
53
           so that we can keep track of how much space each one uses,
 
 
54
           or garbage-collect them.
 
 
56
    :todo: Add a RemoteBranch subclass.  For the basic case of read-only
 
 
57
           HTTP access this should be very easy by, 
 
 
58
           just redirecting controlfile access into HTTP requests.
 
 
59
           We would need a RemoteStore working similarly.
 
 
61
    :todo: Keep the on-disk branch locked while the object exists.
 
 
63
    :todo: mkdir() method.
 
 
65
    def __init__(self, base, init=False):
 
 
66
        """Create new branch object at a particular location.
 
 
68
        :param base: Base directory for the branch.
 
 
70
        :param init: If True, create new control files in a previously
 
 
71
             unversioned directory.  If False, the branch must already
 
 
74
        In the test suite, creation of new trees is tested using the
 
 
75
        `ScratchBranch` class.
 
 
77
        self.base = os.path.realpath(base)
 
 
81
            if not isdir(self.controlfilename('.')):
 
 
82
                bailout("not a bzr branch: %s" % quotefn(base),
 
 
83
                        ['use "bzr init" to initialize a new working tree',
 
 
84
                         'current bzr can only operate from top-of-tree'])
 
 
87
        self.text_store = ImmutableStore(self.controlfilename('text-store'))
 
 
88
        self.revision_store = ImmutableStore(self.controlfilename('revision-store'))
 
 
89
        self.inventory_store = ImmutableStore(self.controlfilename('inventory-store'))
 
 
93
        return '%s(%r)' % (self.__class__.__name__, self.base)
 
 
100
        """Return filename relative to branch top"""
 
 
101
        return os.path.join(self.base, name)
 
 
104
    def controlfilename(self, file_or_path):
 
 
105
        """Return location relative to branch."""
 
 
106
        if isinstance(file_or_path, types.StringTypes):
 
 
107
            file_or_path = [file_or_path]
 
 
108
        return os.path.join(self.base, bzrlib.BZRDIR, *file_or_path)
 
 
111
    def controlfile(self, file_or_path, mode='r'):
 
 
112
        """Open a control file for this branch"""
 
 
113
        return file(self.controlfilename(file_or_path), mode)
 
 
116
    def _make_control(self):
 
 
117
        os.mkdir(self.controlfilename([]))
 
 
118
        self.controlfile('README', 'w').write(
 
 
119
            "This is a Bazaar-NG control directory.\n"
 
 
120
            "Do not change any files in this directory.")
 
 
121
        self.controlfile('branch-format', 'w').write(BZR_BRANCH_FORMAT)
 
 
122
        for d in ('text-store', 'inventory-store', 'revision-store'):
 
 
123
            os.mkdir(self.controlfilename(d))
 
 
124
        for f in ('revision-history', 'merged-patches',
 
 
125
                  'pending-merged-patches', 'branch-name'):
 
 
126
            self.controlfile(f, 'w').write('')
 
 
127
        mutter('created control directory in ' + self.base)
 
 
128
        Inventory().write_xml(self.controlfile('inventory','w'))
 
 
131
    def _check_format(self):
 
 
132
        """Check this branch format is supported.
 
 
134
        The current tool only supports the current unstable format.
 
 
136
        In the future, we might need different in-memory Branch
 
 
137
        classes to support downlevel branches.  But not yet.
 
 
139
        # read in binary mode to detect newline wierdness.
 
 
140
        fmt = self.controlfile('branch-format', 'rb').read()
 
 
141
        if fmt != BZR_BRANCH_FORMAT:
 
 
142
            bailout('sorry, branch format %r not supported' % fmt,
 
 
143
                    ['use a different bzr version',
 
 
144
                     'or remove the .bzr directory and "bzr init" again'])
 
 
147
    def read_working_inventory(self):
 
 
148
        """Read the working inventory."""
 
 
150
        inv = Inventory.read_xml(self.controlfile('inventory', 'r'))
 
 
151
        mutter("loaded inventory of %d items in %f"
 
 
152
               % (len(inv), time.time() - before))
 
 
156
    def _write_inventory(self, inv):
 
 
157
        """Update the working inventory.
 
 
159
        That is to say, the inventory describing changes underway, that
 
 
160
        will be committed to the next revision.
 
 
162
        inv.write_xml(self.controlfile('inventory', 'w'))
 
 
163
        mutter('wrote inventory to %s' % quotefn(self.controlfilename('inventory')))
 
 
166
    inventory = property(read_working_inventory, _write_inventory, None,
 
 
167
                         """Inventory for the working copy.""")
 
 
170
    def add(self, files, verbose=False):
 
 
171
        """Make files versioned.
 
 
173
        This puts the files in the Added state, so that they will be
 
 
174
        recorded by the next commit.
 
 
176
        :todo: Perhaps have an option to add the ids even if the files do
 
 
179
        :todo: Perhaps return the ids of the files?  But then again it
 
 
180
               is easy to retrieve them if they're needed.
 
 
182
        :todo: Option to specify file id.
 
 
184
        :todo: Adding a directory should optionally recurse down and
 
 
185
               add all non-ignored children.  Perhaps do that in a
 
 
188
        >>> b = ScratchBranch(files=['foo'])
 
 
189
        >>> 'foo' in b.unknowns()
 
 
194
        >>> 'foo' in b.unknowns()
 
 
196
        >>> bool(b.inventory.path2id('foo'))
 
 
202
        Traceback (most recent call last):
 
 
204
        BzrError: ('foo is already versioned', [])
 
 
206
        >>> b.add(['nothere'])
 
 
207
        Traceback (most recent call last):
 
 
208
        BzrError: ('cannot add: not a regular file or directory: nothere', [])
 
 
211
        # TODO: Re-adding a file that is removed in the working copy
 
 
212
        # should probably put it back with the previous ID.
 
 
213
        if isinstance(files, types.StringTypes):
 
 
216
        inv = self.read_working_inventory()
 
 
218
            if is_control_file(f):
 
 
219
                bailout("cannot add control file %s" % quotefn(f))
 
 
224
                bailout("cannot add top-level %r" % f)
 
 
226
            fullpath = os.path.normpath(self._rel(f))
 
 
230
            elif isdir(fullpath):
 
 
233
                bailout('cannot add: not a regular file or directory: %s' % quotefn(f))
 
 
236
                parent_name = joinpath(fp[:-1])
 
 
237
                mutter("lookup parent %r" % parent_name)
 
 
238
                parent_id = inv.path2id(parent_name)
 
 
239
                if parent_id == None:
 
 
240
                    bailout("cannot add: parent %r is not versioned"
 
 
245
            file_id = _gen_file_id(fp[-1])
 
 
246
            inv.add(InventoryEntry(file_id, fp[-1], kind=kind, parent_id=parent_id))
 
 
248
                show_status('A', kind, quotefn(f))
 
 
250
            mutter("add file %s file_id:{%s} kind=%r parent_id={%s}"
 
 
251
                   % (f, file_id, kind, parent_id))
 
 
252
        self._write_inventory(inv)
 
 
256
    def remove(self, files, verbose=False):
 
 
257
        """Mark nominated files for removal from the inventory.
 
 
259
        This does not remove their text.  This does not run on 
 
 
261
        :todo: Refuse to remove modified files unless --force is given?
 
 
263
        >>> b = ScratchBranch(files=['foo'])
 
 
265
        >>> b.inventory.has_filename('foo')
 
 
268
        >>> b.working_tree().has_filename('foo')
 
 
270
        >>> b.inventory.has_filename('foo')
 
 
273
        >>> b = ScratchBranch(files=['foo'])
 
 
278
        >>> b.inventory.has_filename('foo') 
 
 
280
        >>> b.basis_tree().has_filename('foo') 
 
 
282
        >>> b.working_tree().has_filename('foo') 
 
 
285
        :todo: Do something useful with directories.
 
 
287
        :todo: Should this remove the text or not?  Tough call; not
 
 
288
        removing may be useful and the user can just use use rm, and
 
 
289
        is the opposite of add.  Removing it is consistent with most
 
 
290
        other tools.  Maybe an option.
 
 
292
        ## TODO: Normalize names
 
 
293
        ## TODO: Remove nested loops; better scalability
 
 
295
        if isinstance(files, types.StringTypes):
 
 
298
        inv = self.read_working_inventory()
 
 
300
        # do this before any modifications
 
 
304
                bailout("cannot remove unversioned file %s" % quotefn(f))
 
 
305
            mutter("remove inventory entry %s {%s}" % (quotefn(f), fid))
 
 
307
                show_status('D', inv[fid].kind, quotefn(f))
 
 
310
        self._write_inventory(inv)
 
 
314
        """Return all unknown files.
 
 
316
        These are files in the working directory that are not versioned or
 
 
317
        control files or ignored.
 
 
319
        >>> b = ScratchBranch(files=['foo', 'foo~'])
 
 
320
        >>> list(b.unknowns())
 
 
323
        >>> list(b.unknowns())
 
 
326
        >>> list(b.unknowns())
 
 
329
        return self.working_tree().unknowns()
 
 
332
    def commit(self, message, timestamp=None, timezone=None,
 
 
335
        """Commit working copy as a new revision.
 
 
337
        The basic approach is to add all the file texts into the
 
 
338
        store, then the inventory, then make a new revision pointing
 
 
339
        to that inventory and store that.
 
 
341
        This is not quite safe if the working copy changes during the
 
 
342
        commit; for the moment that is simply not allowed.  A better
 
 
343
        approach is to make a temporary copy of the files before
 
 
344
        computing their hashes, and then add those hashes in turn to
 
 
345
        the inventory.  This should mean at least that there are no
 
 
346
        broken hash pointers.  There is no way we can get a snapshot
 
 
347
        of the whole directory at an instant.  This would also have to
 
 
348
        be robust against files disappearing, moving, etc.  So the
 
 
349
        whole thing is a bit hard.
 
 
351
        :param timestamp: if not None, seconds-since-epoch for a
 
 
352
             postdated/predated commit.
 
 
355
        ## TODO: Show branch names
 
 
357
        # TODO: Don't commit if there are no changes, unless forced?
 
 
359
        # First walk over the working inventory; and both update that
 
 
360
        # and also build a new revision inventory.  The revision
 
 
361
        # inventory needs to hold the text-id, sha1 and size of the
 
 
362
        # actual file versions committed in the revision.  (These are
 
 
363
        # not present in the working inventory.)  We also need to
 
 
364
        # detect missing/deleted files, and remove them from the
 
 
367
        work_inv = self.read_working_inventory()
 
 
369
        basis = self.basis_tree()
 
 
370
        basis_inv = basis.inventory
 
 
372
        for path, entry in work_inv.iter_entries():
 
 
373
            ## TODO: Cope with files that have gone missing.
 
 
375
            ## TODO: Check that the file kind has not changed from the previous
 
 
376
            ## revision of this file (if any).
 
 
381
            file_id = entry.file_id
 
 
382
            mutter('commit prep file %s, id %r ' % (p, file_id))
 
 
384
            if not os.path.exists(p):
 
 
385
                mutter("    file is missing, removing from inventory")
 
 
387
                    show_status('D', entry.kind, quotefn(path))
 
 
388
                missing_ids.append(file_id)
 
 
391
            # TODO: Handle files that have been deleted
 
 
393
            # TODO: Maybe a special case for empty files?  Seems a
 
 
394
            # waste to store them many times.
 
 
398
            if basis_inv.has_id(file_id):
 
 
399
                old_kind = basis_inv[file_id].kind
 
 
400
                if old_kind != entry.kind:
 
 
401
                    bailout("entry %r changed kind from %r to %r"
 
 
402
                            % (file_id, old_kind, entry.kind))
 
 
404
            if entry.kind == 'directory':
 
 
406
                    bailout("%s is entered as directory but not a directory" % quotefn(p))
 
 
407
            elif entry.kind == 'file':
 
 
409
                    bailout("%s is entered as file but is not a file" % quotefn(p))
 
 
411
                content = file(p, 'rb').read()
 
 
413
                entry.text_sha1 = sha_string(content)
 
 
414
                entry.text_size = len(content)
 
 
416
                old_ie = basis_inv.has_id(file_id) and basis_inv[file_id]
 
 
418
                    and (old_ie.text_size == entry.text_size)
 
 
419
                    and (old_ie.text_sha1 == entry.text_sha1)):
 
 
420
                    ## assert content == basis.get_file(file_id).read()
 
 
421
                    entry.text_id = basis_inv[file_id].text_id
 
 
422
                    mutter('    unchanged from previous text_id {%s}' %
 
 
426
                    entry.text_id = _gen_file_id(entry.name)
 
 
427
                    self.text_store.add(content, entry.text_id)
 
 
428
                    mutter('    stored with text_id {%s}' % entry.text_id)
 
 
432
                        elif (old_ie.name == entry.name
 
 
433
                              and old_ie.parent_id == entry.parent_id):
 
 
438
                        show_status(state, entry.kind, quotefn(path))
 
 
440
        for file_id in missing_ids:
 
 
441
            # have to do this later so we don't mess up the iterator.
 
 
442
            # since parents may be removed before their children we
 
 
445
            # FIXME: There's probably a better way to do this; perhaps
 
 
446
            # the workingtree should know how to filter itself.
 
 
447
            if work_inv.has_id(file_id):
 
 
448
                del work_inv[file_id]
 
 
451
        inv_id = rev_id = _gen_revision_id(time.time())
 
 
453
        inv_tmp = tempfile.TemporaryFile()
 
 
454
        inv.write_xml(inv_tmp)
 
 
456
        self.inventory_store.add(inv_tmp, inv_id)
 
 
457
        mutter('new inventory_id is {%s}' % inv_id)
 
 
459
        self._write_inventory(work_inv)
 
 
461
        if timestamp == None:
 
 
462
            timestamp = time.time()
 
 
464
        if committer == None:
 
 
465
            committer = username()
 
 
468
            timezone = local_time_offset()
 
 
470
        mutter("building commit log message")
 
 
471
        rev = Revision(timestamp=timestamp,
 
 
474
                       precursor = self.last_patch(),
 
 
479
        rev_tmp = tempfile.TemporaryFile()
 
 
480
        rev.write_xml(rev_tmp)
 
 
482
        self.revision_store.add(rev_tmp, rev_id)
 
 
483
        mutter("new revision_id is {%s}" % rev_id)
 
 
485
        ## XXX: Everything up to here can simply be orphaned if we abort
 
 
486
        ## the commit; it will leave junk files behind but that doesn't
 
 
489
        ## TODO: Read back the just-generated changeset, and make sure it
 
 
490
        ## applies and recreates the right state.
 
 
492
        ## TODO: Also calculate and store the inventory SHA1
 
 
493
        mutter("committing patch r%d" % (self.revno() + 1))
 
 
495
        mutter("append to revision-history")
 
 
496
        self.controlfile('revision-history', 'at').write(rev_id + '\n')
 
 
501
    def get_revision(self, revision_id):
 
 
502
        """Return the Revision object for a named revision"""
 
 
503
        r = Revision.read_xml(self.revision_store[revision_id])
 
 
504
        assert r.revision_id == revision_id
 
 
508
    def get_inventory(self, inventory_id):
 
 
509
        """Get Inventory object by hash.
 
 
511
        :todo: Perhaps for this and similar methods, take a revision
 
 
512
               parameter which can be either an integer revno or a
 
 
514
        i = Inventory.read_xml(self.inventory_store[inventory_id])
 
 
518
    def get_revision_inventory(self, revision_id):
 
 
519
        """Return inventory of a past revision."""
 
 
520
        if revision_id == None:
 
 
523
            return self.get_inventory(self.get_revision(revision_id).inventory_id)
 
 
526
    def revision_history(self):
 
 
527
        """Return sequence of revision hashes on to this branch.
 
 
529
        >>> ScratchBranch().revision_history()
 
 
532
        return [chomp(l) for l in self.controlfile('revision-history').readlines()]
 
 
536
        """Return current revision number for this branch.
 
 
538
        That is equivalent to the number of revisions committed to
 
 
541
        >>> b = ScratchBranch()
 
 
544
        >>> b.commit('no foo')
 
 
548
        return len(self.revision_history())
 
 
551
    def last_patch(self):
 
 
552
        """Return last patch hash, or None if no history.
 
 
554
        >>> ScratchBranch().last_patch() == None
 
 
557
        ph = self.revision_history()
 
 
562
    def lookup_revision(self, revno):
 
 
563
        """Return revision hash for revision number."""
 
 
568
            # list is 0-based; revisions are 1-based
 
 
569
            return self.revision_history()[revno-1]
 
 
571
            bailout("no such revision %s" % revno)
 
 
574
    def revision_tree(self, revision_id):
 
 
575
        """Return Tree for a revision on this branch.
 
 
577
        `revision_id` may be None for the null revision, in which case
 
 
578
        an `EmptyTree` is returned."""
 
 
580
        if revision_id == None:
 
 
583
            inv = self.get_revision_inventory(revision_id)
 
 
584
            return RevisionTree(self.text_store, inv)
 
 
587
    def working_tree(self):
 
 
588
        """Return a `Tree` for the working copy."""
 
 
589
        return WorkingTree(self.base, self.read_working_inventory())
 
 
592
    def basis_tree(self):
 
 
593
        """Return `Tree` object for last revision.
 
 
595
        If there are no revisions yet, return an `EmptyTree`.
 
 
597
        >>> b = ScratchBranch(files=['foo'])
 
 
598
        >>> b.basis_tree().has_filename('foo')
 
 
600
        >>> b.working_tree().has_filename('foo')
 
 
603
        >>> b.commit('add foo')
 
 
604
        >>> b.basis_tree().has_filename('foo')
 
 
607
        r = self.last_patch()
 
 
611
            return RevisionTree(self.text_store, self.get_revision_inventory(r))
 
 
615
    def write_log(self, utc=False):
 
 
616
        """Write out human-readable log of commits to this branch
 
 
618
        :param utc: If true, show dates in universal time, not local time."""
 
 
619
        ## TODO: Option to choose either original, utc or local timezone
 
 
622
        for p in self.revision_history():
 
 
624
            print 'revno:', revno
 
 
625
            ## TODO: Show hash if --id is given.
 
 
626
            ##print 'revision-hash:', p
 
 
627
            rev = self.get_revision(p)
 
 
628
            print 'committer:', rev.committer
 
 
629
            print 'timestamp: %s' % (format_date(rev.timestamp, rev.timezone or 0))
 
 
631
            ## opportunistic consistency check, same as check_patch_chaining
 
 
632
            if rev.precursor != precursor:
 
 
633
                bailout("mismatched precursor!")
 
 
637
                print '  (no message)'
 
 
639
                for l in rev.message.split('\n'):
 
 
647
    def show_status(branch, show_all=False):
 
 
648
        """Display single-line status for non-ignored working files.
 
 
650
        The list is show sorted in order by file name.
 
 
652
        >>> b = ScratchBranch(files=['foo', 'foo~'])
 
 
658
        >>> b.commit("add foo")
 
 
661
        :todo: Get state for single files.
 
 
663
        :todo: Perhaps show a slash at the end of directory names.        
 
 
667
        # We have to build everything into a list first so that it can
 
 
668
        # sorted by name, incorporating all the different sources.
 
 
670
        # FIXME: Rather than getting things in random order and then sorting,
 
 
671
        # just step through in order.
 
 
673
        # Interesting case: the old ID for a file has been removed,
 
 
674
        # but a new file has been created under that name.
 
 
676
        old = branch.basis_tree()
 
 
677
        old_inv = old.inventory
 
 
678
        new = branch.working_tree()
 
 
679
        new_inv = new.inventory
 
 
681
        for fs, fid, oldname, newname, kind in diff_trees(old, new):
 
 
683
                show_status(fs, kind,
 
 
684
                            oldname + ' => ' + newname)
 
 
685
            elif fs == 'A' or fs == 'M':
 
 
686
                show_status(fs, kind, newname)
 
 
688
                show_status(fs, kind, oldname)
 
 
691
                    show_status(fs, kind, newname)
 
 
694
                    show_status(fs, kind, newname)
 
 
696
                show_status(fs, kind, newname)
 
 
698
                bailout("wierd file state %r" % ((fs, fid),))
 
 
702
class ScratchBranch(Branch):
 
 
703
    """Special test class: a branch that cleans up after itself.
 
 
705
    >>> b = ScratchBranch()
 
 
713
    def __init__(self, files = []):
 
 
714
        """Make a test branch.
 
 
716
        This creates a temporary directory and runs init-tree in it.
 
 
718
        If any files are listed, they are created in the working copy.
 
 
720
        Branch.__init__(self, tempfile.mkdtemp(), init=True)
 
 
722
            file(os.path.join(self.base, f), 'w').write('content of %s' % f)
 
 
726
        """Destroy the test branch, removing the scratch directory."""
 
 
727
        shutil.rmtree(self.base)
 
 
731
######################################################################
 
 
735
def is_control_file(filename):
 
 
736
    ## FIXME: better check
 
 
737
    filename = os.path.normpath(filename)
 
 
738
    while filename != '':
 
 
739
        head, tail = os.path.split(filename)
 
 
740
        ## mutter('check %r for control file' % ((head, tail), ))
 
 
741
        if tail == bzrlib.BZRDIR:
 
 
748
def _gen_revision_id(when):
 
 
749
    """Return new revision-id."""
 
 
750
    s = '%s-%s-' % (user_email(), compact_date(when))
 
 
751
    s += hexlify(rand_bytes(8))
 
 
755
def _gen_file_id(name):
 
 
756
    """Return new file id.
 
 
758
    This should probably generate proper UUIDs, but for the moment we
 
 
759
    cope with just randomness because running uuidgen every time is
 
 
761
    assert '/' not in name
 
 
762
    while name[0] == '.':
 
 
764
    s = hexlify(rand_bytes(8))
 
 
765
    return '-'.join((name, compact_date(time.time()), s))