/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/commit.py

  • Committer: Carl Friedrich Bolz
  • Date: 2006-08-11 16:02:36 UTC
  • mto: (1908.3.5 bench_usecases)
  • mto: This revision was merged to the branch mainline in revision 2068.
  • Revision ID: cfbolz@gmx.de-20060811160236-0ce4b4864fbdb46a
(cfbolz, hpk): Add caching mechanism and add benchmark for bundle-reading.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Canonical Ltd
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
67
67
import re
68
68
import sys
69
69
import time
70
 
import pdb
 
70
import warnings
71
71
 
72
 
from binascii import hexlify
73
72
from cStringIO import StringIO
74
73
 
75
74
from bzrlib.atomicfile import AtomicFile
76
 
from bzrlib.osutils import (local_time_offset,
77
 
                            rand_bytes, compact_date,
78
 
                            kind_marker, is_inside_any, quotefn,
79
 
                            sha_file, isdir, isfile,
80
 
                            split_lines)
81
75
import bzrlib.config
82
76
import bzrlib.errors as errors
83
77
from bzrlib.errors import (BzrError, PointlessCommit,
84
 
                           HistoryMissing,
85
78
                           ConflictsInTree,
86
79
                           StrictCommitFailed
87
80
                           )
88
 
from bzrlib.revision import Revision
 
81
from bzrlib.osutils import (kind_marker, isdir,isfile, is_inside_any, 
 
82
                            is_inside_or_parent_of_any,
 
83
                            quotefn, sha_file, split_lines)
89
84
from bzrlib.testament import Testament
90
85
from bzrlib.trace import mutter, note, warning
91
86
from bzrlib.xml5 import serializer_v5
92
 
from bzrlib.inventory import Inventory, ROOT_ID
93
 
from bzrlib.symbol_versioning import *
 
87
from bzrlib.inventory import Inventory, ROOT_ID, InventoryEntry
 
88
from bzrlib.symbol_versioning import (deprecated_passed,
 
89
        deprecated_function,
 
90
        zero_seven,
 
91
        DEPRECATED_PARAMETER)
94
92
from bzrlib.workingtree import WorkingTree
95
93
 
96
94
 
102
100
 
103
101
    New code should use the Commit class instead.
104
102
    """
105
 
    ## XXX: Remove this in favor of Branch.commit?
 
103
    ## XXX: Remove this in favor of WorkingTree.commit?
106
104
    Commit().commit(*args, **kwargs)
107
105
 
108
106
 
124
122
    def missing(self, path):
125
123
        pass
126
124
 
 
125
    def renamed(self, change, old_path, new_path):
 
126
        pass
 
127
 
127
128
 
128
129
class ReportCommitToLog(NullCommitReporter):
129
130
 
 
131
    # this may be more useful if 'note' was replaced by an overridable
 
132
    # method on self, which would allow more trivial subclassing.
 
133
    # alternative, a callable could be passed in, allowing really trivial
 
134
    # reuse for some uis. RBC 20060511
 
135
 
130
136
    def snapshot_change(self, change, path):
131
137
        if change == 'unchanged':
132
138
            return
144
150
    def missing(self, path):
145
151
        note('missing %s', path)
146
152
 
 
153
    def renamed(self, change, old_path, new_path):
 
154
        note('%s %s => %s', change, old_path, new_path)
 
155
 
147
156
 
148
157
class Commit(object):
149
158
    """Task of committing a new revision.
214
223
        mutter('preparing to commit')
215
224
 
216
225
        if deprecated_passed(branch):
217
 
            warn("Commit.commit (branch, ...): The branch parameter is "
 
226
            warnings.warn("Commit.commit (branch, ...): The branch parameter is "
218
227
                 "deprecated as of bzr 0.8. Please use working_tree= instead.",
219
228
                 DeprecationWarning, stacklevel=2)
220
229
            self.branch = branch
227
236
        if message is None:
228
237
            raise BzrError("The message keyword parameter is required for commit().")
229
238
 
230
 
        self.weave_store = self.branch.repository.weave_store
231
239
        self.bound_branch = None
232
240
        self.local = local
233
241
        self.master_branch = None
234
242
        self.master_locked = False
235
 
        self.rev_id = rev_id
 
243
        self.rev_id = None
236
244
        self.specific_files = specific_files
237
245
        self.allow_pointless = allow_pointless
238
 
        self.revprops = {}
239
 
        if revprops is not None:
240
 
            self.revprops.update(revprops)
241
246
 
242
247
        if reporter is None and self.reporter is None:
243
248
            self.reporter = NullCommitReporter()
245
250
            self.reporter = reporter
246
251
 
247
252
        self.work_tree.lock_write()
 
253
        self.pb = bzrlib.ui.ui_factory.nested_progress_bar()
248
254
        try:
 
255
            # Cannot commit with conflicts present.
 
256
            if len(self.work_tree.conflicts())>0:
 
257
                raise ConflictsInTree
 
258
 
249
259
            # setup the bound branch variables as needed.
250
260
            self._check_bound_branch()
251
261
 
259
269
                # raise an exception as soon as we find a single unknown.
260
270
                for unknown in self.work_tree.unknowns():
261
271
                    raise StrictCommitFailed()
262
 
    
263
 
            if timestamp is None:
264
 
                self.timestamp = time.time()
265
 
            else:
266
 
                self.timestamp = long(timestamp)
267
 
                
 
272
                   
268
273
            if self.config is None:
269
 
                self.config = bzrlib.config.BranchConfig(self.branch)
270
 
    
271
 
            if rev_id is None:
272
 
                self.rev_id = _gen_revision_id(self.config, self.timestamp)
273
 
            else:
274
 
                self.rev_id = rev_id
275
 
    
276
 
            if committer is None:
277
 
                self.committer = self.config.username()
278
 
            else:
279
 
                assert isinstance(committer, basestring), type(committer)
280
 
                self.committer = committer
281
 
    
282
 
            if timezone is None:
283
 
                self.timezone = local_time_offset()
284
 
            else:
285
 
                self.timezone = int(timezone)
286
 
    
 
274
                self.config = self.branch.get_config()
 
275
      
287
276
            if isinstance(message, str):
288
277
                message = message.decode(bzrlib.user_encoding)
289
278
            assert isinstance(message, unicode), type(message)
293
282
            self.work_inv = self.work_tree.inventory
294
283
            self.basis_tree = self.work_tree.basis_tree()
295
284
            self.basis_inv = self.basis_tree.inventory
 
285
            # one to finish, one for rev and inventory, and one for each
 
286
            # inventory entry, and the same for the new inventory.
 
287
            # note that this estimate is too long when we do a partial tree
 
288
            # commit which excludes some new files from being considered.
 
289
            # The estimate is corrected when we populate the new inv.
 
290
            self.pb_total = len(self.work_inv) + 5
 
291
            self.pb_count = 0
296
292
 
297
293
            self._gather_parents()
298
294
            if len(self.parents) > 1 and self.specific_files:
299
 
                raise NotImplementedError('selected-file commit of merges is not supported yet')
 
295
                raise NotImplementedError('selected-file commit of merges is not supported yet: files %r',
 
296
                        self.specific_files)
300
297
            self._check_parents_present()
 
298
            self.builder = self.branch.get_commit_builder(self.parents, 
 
299
                self.config, timestamp, timezone, committer, revprops, rev_id)
301
300
            
302
301
            self._remove_deleted()
303
302
            self._populate_new_inv()
304
 
            self._store_snapshot()
305
303
            self._report_deletes()
306
304
 
307
305
            if not (self.allow_pointless
308
306
                    or len(self.parents) > 1
309
 
                    or self.new_inv != self.basis_inv):
 
307
                    or self.builder.new_inventory != self.basis_inv):
310
308
                raise PointlessCommit()
311
309
 
312
 
            if len(self.work_tree.conflicts())>0:
313
 
                raise ConflictsInTree
314
 
 
315
 
            self.inv_sha1 = self.branch.repository.add_inventory(
316
 
                self.rev_id,
317
 
                self.new_inv,
318
 
                self.present_parents
319
 
                )
320
 
            self._make_revision()
 
310
            self._emit_progress_update()
 
311
            # TODO: Now the new inventory is known, check for conflicts and prompt the 
 
312
            # user for a commit message.
 
313
            self.builder.finish_inventory()
 
314
            self._emit_progress_update()
 
315
            self.rev_id = self.builder.commit(self.message)
 
316
            self._emit_progress_update()
321
317
            # revision data is in the local branch now.
322
318
            
323
319
            # upload revision data to the master.
324
 
            # this will propogate merged revisions too if needed.
 
320
            # this will propagate merged revisions too if needed.
325
321
            if self.bound_branch:
326
322
                self.master_branch.repository.fetch(self.branch.repository,
327
323
                                                    revision_id=self.rev_id)
346
342
                                  {'branch':self.branch,
347
343
                                   'bzrlib':bzrlib,
348
344
                                   'rev_id':self.rev_id})
 
345
            self._emit_progress_update()
349
346
        finally:
350
 
            self._cleanup_bound_branch()
351
 
            self.work_tree.unlock()
 
347
            self._cleanup()
 
348
        return self.rev_id
352
349
 
353
350
    def _check_bound_branch(self):
354
351
        """Check to see if the local branch is bound.
391
388
        self.bound_branch = self.branch
392
389
        self.master_branch.lock_write()
393
390
        self.master_locked = True
394
 
####        
395
 
####        # Check to see if we have any pending merges. If we do
396
 
####        # those need to be pushed into the master branch
397
 
####        pending_merges = self.work_tree.pending_merges()
398
 
####        if pending_merges:
399
 
####            for revision_id in pending_merges:
400
 
####                self.master_branch.repository.fetch(self.bound_branch.repository,
401
 
####                                                    revision_id=revision_id)
 
391
 
 
392
    def _cleanup(self):
 
393
        """Cleanup any open locks, progress bars etc."""
 
394
        cleanups = [self._cleanup_bound_branch,
 
395
                    self.work_tree.unlock,
 
396
                    self.pb.finished]
 
397
        found_exception = None
 
398
        for cleanup in cleanups:
 
399
            try:
 
400
                cleanup()
 
401
            # we want every cleanup to run no matter what.
 
402
            # so we have a catchall here, but we will raise the
 
403
            # last encountered exception up the stack: and
 
404
            # typically this will be useful enough.
 
405
            except Exception, e:
 
406
                found_exception = e
 
407
        if found_exception is not None: 
 
408
            # don't do a plan raise, because the last exception may have been
 
409
            # trashed, e is our sure-to-work exception even though it loses the
 
410
            # full traceback. XXX: RBC 20060421 perhaps we could check the
 
411
            # exc_info and if its the same one do a plain raise otherwise 
 
412
            # 'raise e' as we do now.
 
413
            raise e
402
414
 
403
415
    def _cleanup_bound_branch(self):
404
416
        """Executed at the end of a try/finally to cleanup a bound branch.
414
426
 
415
427
    def _escape_commit_message(self):
416
428
        """Replace xml-incompatible control characters."""
 
429
        # FIXME: RBC 20060419 this should be done by the revision
 
430
        # serialiser not by commit. Then we can also add an unescaper
 
431
        # in the deserializer and start roundtripping revision messages
 
432
        # precisely. See repository_implementations/test_repository.py
 
433
        
417
434
        # Python strings can include characters that can't be
418
435
        # represented in well-formed XML; escape characters that
419
436
        # aren't listed in the XML specification
427
444
 
428
445
    def _gather_parents(self):
429
446
        """Record the parents of a merge for merge detection."""
430
 
        pending_merges = self.work_tree.pending_merges()
431
 
        self.parents = []
 
447
        # TODO: Make sure that this list doesn't contain duplicate 
 
448
        # entries and the order is preserved when doing this.
 
449
        self.parents = self.work_tree.get_parent_ids()
432
450
        self.parent_invs = []
433
 
        self.present_parents = []
434
 
        precursor_id = self.branch.last_revision()
435
 
        if precursor_id:
436
 
            self.parents.append(precursor_id)
437
 
        self.parents += pending_merges
438
451
        for revision in self.parents:
439
452
            if self.branch.repository.has_revision(revision):
440
453
                inventory = self.branch.repository.get_inventory(revision)
441
454
                self.parent_invs.append(inventory)
442
 
                self.present_parents.append(revision)
443
455
 
444
456
    def _check_parents_present(self):
445
457
        for parent_id in self.parents:
447
459
            if not self.branch.repository.has_revision(parent_id):
448
460
                if parent_id == self.branch.last_revision():
449
461
                    warning("parent is missing %r", parent_id)
450
 
                    raise HistoryMissing(self.branch, 'revision', parent_id)
451
 
                else:
452
 
                    mutter("commit will ghost revision %r", parent_id)
 
462
                    raise BzrCheckError("branch %s is missing revision {%s}"
 
463
                            % (self.branch, parent_id))
453
464
            
454
 
    def _make_revision(self):
455
 
        """Record a new revision object for this commit."""
456
 
        rev = Revision(timestamp=self.timestamp,
457
 
                       timezone=self.timezone,
458
 
                       committer=self.committer,
459
 
                       message=self.message,
460
 
                       inventory_sha1=self.inv_sha1,
461
 
                       revision_id=self.rev_id,
462
 
                       properties=self.revprops)
463
 
        rev.parent_ids = self.parents
464
 
        self.branch.repository.add_revision(self.rev_id, rev, self.new_inv, self.config)
465
 
 
466
465
    def _remove_deleted(self):
467
466
        """Remove deleted files from the working inventories.
468
467
 
488
487
                del self.work_inv[file_id]
489
488
            self.work_tree._write_inventory(self.work_inv)
490
489
 
491
 
    def _store_snapshot(self):
492
 
        """Pass over inventory and record a snapshot.
493
 
 
494
 
        Entries get a new revision when they are modified in 
495
 
        any way, which includes a merge with a new set of
496
 
        parents that have the same entry. 
497
 
        """
498
 
        # XXX: Need to think more here about when the user has
499
 
        # made a specific decision on a particular value -- c.f.
500
 
        # mark-merge.  
501
 
        for path, ie in self.new_inv.iter_entries():
502
 
            previous_entries = ie.find_previous_heads(
503
 
                self.parent_invs,
504
 
                self.weave_store,
505
 
                self.branch.repository.get_transaction())
506
 
            if ie.revision is None:
507
 
                change = ie.snapshot(self.rev_id, path, previous_entries,
508
 
                                     self.work_tree, self.weave_store,
509
 
                                     self.branch.get_transaction())
510
 
            else:
511
 
                change = "unchanged"
512
 
            self.reporter.snapshot_change(change, path)
513
 
 
514
490
    def _populate_new_inv(self):
515
491
        """Build revision inventory.
516
492
 
521
497
        None; inventory entries that are carried over untouched have their
522
498
        revision set to their prior value.
523
499
        """
 
500
        # ESEPARATIONOFCONCERNS: this function is diffing and using the diff
 
501
        # results to create a new inventory at the same time, which results
 
502
        # in bugs like #46635.  Any reason not to use/enhance Tree.changes_from?
 
503
        # ADHB 11-07-2006
524
504
        mutter("Selecting files for commit with filter %s", self.specific_files)
525
 
        self.new_inv = Inventory(revision_id=self.rev_id)
526
 
        for path, new_ie in self.work_inv.iter_entries():
 
505
        # at this point we dont copy the root entry:
 
506
        entries = self.work_inv.iter_entries()
 
507
        entries.next()
 
508
        self._emit_progress_update()
 
509
        for path, new_ie in entries:
 
510
            self._emit_progress_update()
527
511
            file_id = new_ie.file_id
528
 
            mutter('check %s {%s}', path, new_ie.file_id)
529
 
            if self.specific_files:
530
 
                if not is_inside_any(self.specific_files, path):
531
 
                    mutter('%s not selected for commit', path)
532
 
                    self._carry_entry(file_id)
 
512
            # mutter('check %s {%s}', path, file_id)
 
513
            if (not self.specific_files or 
 
514
                is_inside_or_parent_of_any(self.specific_files, path)):
 
515
                    # mutter('%s selected for commit', path)
 
516
                    ie = new_ie.copy()
 
517
                    ie.revision = None
 
518
            else:
 
519
                # mutter('%s not selected for commit', path)
 
520
                if self.basis_inv.has_id(file_id):
 
521
                    ie = self.basis_inv[file_id].copy()
 
522
                else:
 
523
                    # this entry is new and not being committed
533
524
                    continue
534
 
                else:
535
 
                    # this is selected, ensure its parents are too.
536
 
                    parent_id = new_ie.parent_id
537
 
                    while parent_id != ROOT_ID:
538
 
                        if not self.new_inv.has_id(parent_id):
539
 
                            ie = self._select_entry(self.work_inv[parent_id])
540
 
                            mutter('%s selected for commit because of %s',
541
 
                                   self.new_inv.id2path(parent_id), path)
542
 
 
543
 
                        ie = self.new_inv[parent_id]
544
 
                        if ie.revision is not None:
545
 
                            ie.revision = None
546
 
                            mutter('%s selected for commit because of %s',
547
 
                                   self.new_inv.id2path(parent_id), path)
548
 
                        parent_id = ie.parent_id
549
 
            mutter('%s selected for commit', path)
550
 
            self._select_entry(new_ie)
551
 
 
552
 
    def _select_entry(self, new_ie):
553
 
        """Make new_ie be considered for committing."""
554
 
        ie = new_ie.copy()
555
 
        ie.revision = None
556
 
        self.new_inv.add(ie)
557
 
        return ie
558
 
 
559
 
    def _carry_entry(self, file_id):
560
 
        """Carry the file unchanged from the basis revision."""
561
 
        if self.basis_inv.has_id(file_id):
562
 
            self.new_inv.add(self.basis_inv[file_id].copy())
 
525
 
 
526
            self.builder.record_entry_contents(ie, self.parent_invs, 
 
527
                path, self.work_tree)
 
528
            # describe the nature of the change that has occurred relative to
 
529
            # the basis inventory.
 
530
            if (self.basis_inv.has_id(ie.file_id)):
 
531
                basis_ie = self.basis_inv[ie.file_id]
 
532
            else:
 
533
                basis_ie = None
 
534
            change = ie.describe_change(basis_ie, ie)
 
535
            if change in (InventoryEntry.RENAMED, 
 
536
                InventoryEntry.MODIFIED_AND_RENAMED):
 
537
                old_path = self.basis_inv.id2path(ie.file_id)
 
538
                self.reporter.renamed(change, old_path, path)
 
539
            else:
 
540
                self.reporter.snapshot_change(change, path)
 
541
 
 
542
        if not self.specific_files:
 
543
            return
 
544
 
 
545
        # ignore removals that don't match filespec
 
546
        for path, new_ie in self.basis_inv.iter_entries():
 
547
            if new_ie.file_id in self.work_inv:
 
548
                continue
 
549
            if is_inside_any(self.specific_files, path):
 
550
                continue
 
551
            ie = new_ie.copy()
 
552
            ie.revision = None
 
553
            self.builder.record_entry_contents(ie, self.parent_invs, path,
 
554
                                               self.basis_tree)
 
555
 
 
556
    def _emit_progress_update(self):
 
557
        """Emit an update to the progress bar."""
 
558
        self.pb.update("Committing", self.pb_count, self.pb_total)
 
559
        self.pb_count += 1
563
560
 
564
561
    def _report_deletes(self):
565
 
        for file_id in self.basis_inv:
566
 
            if file_id not in self.new_inv:
567
 
                self.reporter.deleted(self.basis_inv.id2path(file_id))
568
 
 
569
 
def _gen_revision_id(config, when):
570
 
    """Return new revision-id."""
571
 
    s = '%s-%s-' % (config.user_email(), compact_date(when))
572
 
    s += hexlify(rand_bytes(8))
573
 
    return s
 
562
        for path, ie in self.basis_inv.iter_entries():
 
563
            if ie.file_id not in self.builder.new_inventory:
 
564
                self.reporter.deleted(path)
 
565
 
 
566