/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/commit.py

  • Committer: Jelmer Vernooij
  • Date: 2017-06-10 16:40:42 UTC
  • mfrom: (6653.6.7 rename-controldir)
  • mto: This revision was merged to the branch mainline in revision 6690.
  • Revision ID: jelmer@jelmer.uk-20170610164042-zrxqgy2htyduvke2
MergeĀ rename-controldirĀ branch.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005-2011 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
from __future__ import absolute_import
 
18
 
 
19
# The newly committed revision is going to have a shape corresponding
 
20
# to that of the working tree.  Files that are not in the
 
21
# working tree and that were in the predecessor are reported as
 
22
# removed --- this can include files that were either removed from the
 
23
# inventory or deleted in the working tree.  If they were only
 
24
# deleted from disk, they are removed from the working inventory.
 
25
 
 
26
# We then consider the remaining entries, which will be in the new
 
27
# version.  Directory entries are simply copied across.  File entries
 
28
# must be checked to see if a new version of the file should be
 
29
# recorded.  For each parent revision tree, we check to see what
 
30
# version of the file was present.  If the file was present in at
 
31
# least one tree, and if it was the same version in all the trees,
 
32
# then we can just refer to that version.  Otherwise, a new version
 
33
# representing the merger of the file versions must be added.
 
34
 
 
35
# TODO: Update hashcache before and after - or does the WorkingTree
 
36
# look after that?
 
37
 
 
38
# TODO: Rather than mashing together the ancestry and storing it back,
 
39
# perhaps the weave should have single method which does it all in one
 
40
# go, avoiding a lot of redundant work.
 
41
 
 
42
# TODO: Perhaps give a warning if one of the revisions marked as
 
43
# merged is already in the ancestry, and then don't record it as a
 
44
# distinct parent.
 
45
 
 
46
# TODO: If the file is newly merged but unchanged from the version it
 
47
# merges from, then it should still be reported as newly added
 
48
# relative to the basis revision.
 
49
 
 
50
# TODO: Change the parameter 'rev_id' to 'revision_id' to be consistent with
 
51
# the rest of the code; add a deprecation of the old name.
 
52
 
 
53
from . import (
 
54
    debug,
 
55
    errors,
 
56
    trace,
 
57
    tree,
 
58
    ui,
 
59
    )
 
60
from .branch import Branch
 
61
from .cleanup import OperationWithCleanups
 
62
import breezy.config
 
63
from .errors import (BzrError, PointlessCommit,
 
64
                     ConflictsInTree,
 
65
                     StrictCommitFailed
 
66
                     )
 
67
from .osutils import (get_user_encoding,
 
68
                      is_inside_any,
 
69
                      minimum_path_selection,
 
70
                      splitpath,
 
71
                      )
 
72
from .trace import mutter, note, is_quiet
 
73
from .bzr.inventory import Inventory, InventoryEntry, make_entry
 
74
from .urlutils import unescape_for_display
 
75
from .i18n import gettext
 
76
 
 
77
 
 
78
class NullCommitReporter(object):
 
79
    """I report on progress of a commit."""
 
80
 
 
81
    def started(self, revno, revid, location):
 
82
        pass
 
83
 
 
84
    def snapshot_change(self, change, path):
 
85
        pass
 
86
 
 
87
    def completed(self, revno, rev_id):
 
88
        pass
 
89
 
 
90
    def deleted(self, path):
 
91
        pass
 
92
 
 
93
    def missing(self, path):
 
94
        pass
 
95
 
 
96
    def renamed(self, change, old_path, new_path):
 
97
        pass
 
98
 
 
99
    def is_verbose(self):
 
100
        return False
 
101
 
 
102
 
 
103
class ReportCommitToLog(NullCommitReporter):
 
104
 
 
105
    def _note(self, format, *args):
 
106
        """Output a message.
 
107
 
 
108
        Subclasses may choose to override this method.
 
109
        """
 
110
        note(format, *args)
 
111
 
 
112
    def snapshot_change(self, change, path):
 
113
        if path == '' and change in (gettext('added'), gettext('modified')):
 
114
            return
 
115
        self._note("%s %s", change, path)
 
116
 
 
117
    def started(self, revno, rev_id, location):
 
118
        self._note(
 
119
            gettext('Committing to: %s'),
 
120
            unescape_for_display(location, 'utf-8'))
 
121
 
 
122
    def completed(self, revno, rev_id):
 
123
        self._note(gettext('Committed revision %d.'), revno)
 
124
        # self._note goes to the console too; so while we want to log the
 
125
        # rev_id, we can't trivially only log it. (See bug 526425). Long
 
126
        # term we should rearrange the reporting structure, but for now
 
127
        # we just mutter seperately. We mutter the revid and revno together
 
128
        # so that concurrent bzr invocations won't lead to confusion.
 
129
        mutter('Committed revid %s as revno %d.', rev_id, revno)
 
130
 
 
131
    def deleted(self, path):
 
132
        self._note(gettext('deleted %s'), path)
 
133
 
 
134
    def missing(self, path):
 
135
        self._note(gettext('missing %s'), path)
 
136
 
 
137
    def renamed(self, change, old_path, new_path):
 
138
        self._note('%s %s => %s', change, old_path, new_path)
 
139
 
 
140
    def is_verbose(self):
 
141
        return True
 
142
 
 
143
 
 
144
class Commit(object):
 
145
    """Task of committing a new revision.
 
146
 
 
147
    This is a MethodObject: it accumulates state as the commit is
 
148
    prepared, and then it is discarded.  It doesn't represent
 
149
    historical revisions, just the act of recording a new one.
 
150
 
 
151
            missing_ids
 
152
            Modified to hold a list of files that have been deleted from
 
153
            the working directory; these should be removed from the
 
154
            working inventory.
 
155
    """
 
156
    def __init__(self,
 
157
                 reporter=None,
 
158
                 config_stack=None):
 
159
        """Create a Commit object.
 
160
 
 
161
        :param reporter: the default reporter to use or None to decide later
 
162
        """
 
163
        self.reporter = reporter
 
164
        self.config_stack = config_stack
 
165
 
 
166
    @staticmethod
 
167
    def update_revprops(revprops, branch, authors=None,
 
168
                        local=False, possible_master_transports=None):
 
169
        if revprops is None:
 
170
            revprops = {}
 
171
        if possible_master_transports is None:
 
172
            possible_master_transports = []
 
173
        if not 'branch-nick' in revprops:
 
174
            revprops['branch-nick'] = branch._get_nick(
 
175
                local,
 
176
                possible_master_transports)
 
177
        if authors is not None:
 
178
            if 'author' in revprops or 'authors' in revprops:
 
179
                # XXX: maybe we should just accept one of them?
 
180
                raise AssertionError('author property given twice')
 
181
            if authors:
 
182
                for individual in authors:
 
183
                    if '\n' in individual:
 
184
                        raise AssertionError('\\n is not a valid character '
 
185
                                'in an author identity')
 
186
                revprops['authors'] = '\n'.join(authors)
 
187
        return revprops
 
188
 
 
189
    def commit(self,
 
190
               message=None,
 
191
               timestamp=None,
 
192
               timezone=None,
 
193
               committer=None,
 
194
               specific_files=None,
 
195
               rev_id=None,
 
196
               allow_pointless=True,
 
197
               strict=False,
 
198
               verbose=False,
 
199
               revprops=None,
 
200
               working_tree=None,
 
201
               local=False,
 
202
               reporter=None,
 
203
               config=None,
 
204
               message_callback=None,
 
205
               recursive='down',
 
206
               exclude=None,
 
207
               possible_master_transports=None,
 
208
               lossy=False):
 
209
        """Commit working copy as a new revision.
 
210
 
 
211
        :param message: the commit message (it or message_callback is required)
 
212
        :param message_callback: A callback: message = message_callback(cmt_obj)
 
213
 
 
214
        :param timestamp: if not None, seconds-since-epoch for a
 
215
            postdated/predated commit.
 
216
 
 
217
        :param specific_files: If not None, commit only those files. An empty
 
218
            list means 'commit no files'.
 
219
 
 
220
        :param rev_id: If set, use this as the new revision id.
 
221
            Useful for test or import commands that need to tightly
 
222
            control what revisions are assigned.  If you duplicate
 
223
            a revision id that exists elsewhere it is your own fault.
 
224
            If null (default), a time/random revision id is generated.
 
225
 
 
226
        :param allow_pointless: If true (default), commit even if nothing
 
227
            has changed and no merges are recorded.
 
228
 
 
229
        :param strict: If true, don't allow a commit if the working tree
 
230
            contains unknown files.
 
231
 
 
232
        :param revprops: Properties for new revision
 
233
        :param local: Perform a local only commit.
 
234
        :param reporter: the reporter to use or None for the default
 
235
        :param verbose: if True and the reporter is not None, report everything
 
236
        :param recursive: If set to 'down', commit in any subtrees that have
 
237
            pending changes of any sort during this commit.
 
238
        :param exclude: None or a list of relative paths to exclude from the
 
239
            commit. Pending changes to excluded files will be ignored by the
 
240
            commit.
 
241
        :param lossy: When committing to a foreign VCS, ignore any
 
242
            data that can not be natively represented.
 
243
        """
 
244
        operation = OperationWithCleanups(self._commit)
 
245
        self.revprops = revprops or {}
 
246
        # XXX: Can be set on __init__ or passed in - this is a bit ugly.
 
247
        self.config_stack = config or self.config_stack
 
248
        return operation.run(
 
249
               message=message,
 
250
               timestamp=timestamp,
 
251
               timezone=timezone,
 
252
               committer=committer,
 
253
               specific_files=specific_files,
 
254
               rev_id=rev_id,
 
255
               allow_pointless=allow_pointless,
 
256
               strict=strict,
 
257
               verbose=verbose,
 
258
               working_tree=working_tree,
 
259
               local=local,
 
260
               reporter=reporter,
 
261
               message_callback=message_callback,
 
262
               recursive=recursive,
 
263
               exclude=exclude,
 
264
               possible_master_transports=possible_master_transports,
 
265
               lossy=lossy)
 
266
 
 
267
    def _commit(self, operation, message, timestamp, timezone, committer,
 
268
            specific_files, rev_id, allow_pointless, strict, verbose,
 
269
            working_tree, local, reporter, message_callback, recursive,
 
270
            exclude, possible_master_transports, lossy):
 
271
        mutter('preparing to commit')
 
272
 
 
273
        if working_tree is None:
 
274
            raise BzrError("working_tree must be passed into commit().")
 
275
        else:
 
276
            self.work_tree = working_tree
 
277
            self.branch = self.work_tree.branch
 
278
            if getattr(self.work_tree, 'requires_rich_root', lambda: False)():
 
279
                if not self.branch.repository.supports_rich_root():
 
280
                    raise errors.RootNotRich()
 
281
        if message_callback is None:
 
282
            if message is not None:
 
283
                if isinstance(message, str):
 
284
                    message = message.decode(get_user_encoding())
 
285
                message_callback = lambda x: message
 
286
            else:
 
287
                raise BzrError("The message or message_callback keyword"
 
288
                               " parameter is required for commit().")
 
289
 
 
290
        self.bound_branch = None
 
291
        self.any_entries_deleted = False
 
292
        if exclude is not None:
 
293
            self.exclude = sorted(
 
294
                minimum_path_selection(exclude))
 
295
        else:
 
296
            self.exclude = []
 
297
        self.local = local
 
298
        self.master_branch = None
 
299
        self.recursive = recursive
 
300
        self.rev_id = None
 
301
        # self.specific_files is None to indicate no filter, or any iterable to
 
302
        # indicate a filter - [] means no files at all, as per iter_changes.
 
303
        if specific_files is not None:
 
304
            self.specific_files = sorted(
 
305
                minimum_path_selection(specific_files))
 
306
        else:
 
307
            self.specific_files = None
 
308
 
 
309
        self.allow_pointless = allow_pointless
 
310
        self.message_callback = message_callback
 
311
        self.timestamp = timestamp
 
312
        self.timezone = timezone
 
313
        self.committer = committer
 
314
        self.strict = strict
 
315
        self.verbose = verbose
 
316
 
 
317
        self.work_tree.lock_write()
 
318
        operation.add_cleanup(self.work_tree.unlock)
 
319
        self.parents = self.work_tree.get_parent_ids()
 
320
        # We can use record_iter_changes IFF iter_changes is compatible with
 
321
        # the command line parameters, and the repository has fast delta
 
322
        # generation. See bug 347649.
 
323
        self.use_record_iter_changes = (
 
324
            not self.exclude and 
 
325
            not self.branch.repository._format.supports_tree_reference and
 
326
            (self.branch.repository._format.fast_deltas or
 
327
             len(self.parents) < 2))
 
328
        self.pb = ui.ui_factory.nested_progress_bar()
 
329
        operation.add_cleanup(self.pb.finished)
 
330
        self.basis_revid = self.work_tree.last_revision()
 
331
        self.basis_tree = self.work_tree.basis_tree()
 
332
        self.basis_tree.lock_read()
 
333
        operation.add_cleanup(self.basis_tree.unlock)
 
334
        # Cannot commit with conflicts present.
 
335
        if len(self.work_tree.conflicts()) > 0:
 
336
            raise ConflictsInTree
 
337
 
 
338
        # Setup the bound branch variables as needed.
 
339
        self._check_bound_branch(operation, possible_master_transports)
 
340
 
 
341
        # Check that the working tree is up to date
 
342
        old_revno, old_revid, new_revno = self._check_out_of_date_tree()
 
343
 
 
344
        # Complete configuration setup
 
345
        if reporter is not None:
 
346
            self.reporter = reporter
 
347
        elif self.reporter is None:
 
348
            self.reporter = self._select_reporter()
 
349
        if self.config_stack is None:
 
350
            self.config_stack = self.work_tree.get_config_stack()
 
351
 
 
352
        self._set_specific_file_ids()
 
353
 
 
354
        # Setup the progress bar. As the number of files that need to be
 
355
        # committed in unknown, progress is reported as stages.
 
356
        # We keep track of entries separately though and include that
 
357
        # information in the progress bar during the relevant stages.
 
358
        self.pb_stage_name = ""
 
359
        self.pb_stage_count = 0
 
360
        self.pb_stage_total = 5
 
361
        if self.bound_branch:
 
362
            # 2 extra stages: "Uploading data to master branch" and "Merging
 
363
            # tags to master branch"
 
364
            self.pb_stage_total += 2
 
365
        self.pb.show_pct = False
 
366
        self.pb.show_spinner = False
 
367
        self.pb.show_eta = False
 
368
        self.pb.show_count = True
 
369
        self.pb.show_bar = True
 
370
 
 
371
        self._gather_parents()
 
372
        # After a merge, a selected file commit is not supported.
 
373
        # See 'bzr help merge' for an explanation as to why.
 
374
        if len(self.parents) > 1 and self.specific_files is not None:
 
375
            raise errors.CannotCommitSelectedFileMerge(self.specific_files)
 
376
        # Excludes are a form of selected file commit.
 
377
        if len(self.parents) > 1 and self.exclude:
 
378
            raise errors.CannotCommitSelectedFileMerge(self.exclude)
 
379
 
 
380
        # Collect the changes
 
381
        self._set_progress_stage("Collecting changes", counter=True)
 
382
        self._lossy = lossy
 
383
        self.builder = self.branch.get_commit_builder(self.parents,
 
384
            self.config_stack, timestamp, timezone, committer, self.revprops,
 
385
            rev_id, lossy=lossy)
 
386
        if not self.builder.supports_record_entry_contents and self.exclude:
 
387
            self.builder.abort()
 
388
            raise errors.ExcludesUnsupported(self.branch.repository)
 
389
 
 
390
        if self.builder.updates_branch and self.bound_branch:
 
391
            self.builder.abort()
 
392
            raise AssertionError(
 
393
                "bound branches not supported for commit builders "
 
394
                "that update the branch")
 
395
 
 
396
        try:
 
397
            self.builder.will_record_deletes()
 
398
            # find the location being committed to
 
399
            if self.bound_branch:
 
400
                master_location = self.master_branch.base
 
401
            else:
 
402
                master_location = self.branch.base
 
403
 
 
404
            # report the start of the commit
 
405
            self.reporter.started(new_revno, self.rev_id, master_location)
 
406
 
 
407
            self._update_builder_with_changes()
 
408
            self._check_pointless()
 
409
 
 
410
            # TODO: Now the new inventory is known, check for conflicts.
 
411
            # ADHB 2006-08-08: If this is done, populate_new_inv should not add
 
412
            # weave lines, because nothing should be recorded until it is known
 
413
            # that commit will succeed.
 
414
            self._set_progress_stage("Saving data locally")
 
415
            self.builder.finish_inventory()
 
416
 
 
417
            # Prompt the user for a commit message if none provided
 
418
            message = message_callback(self)
 
419
            self.message = message
 
420
 
 
421
            # Add revision data to the local branch
 
422
            self.rev_id = self.builder.commit(self.message)
 
423
 
 
424
        except Exception as e:
 
425
            mutter("aborting commit write group because of exception:")
 
426
            trace.log_exception_quietly()
 
427
            self.builder.abort()
 
428
            raise
 
429
 
 
430
        self._update_branches(old_revno, old_revid, new_revno)
 
431
 
 
432
        # Make the working tree be up to date with the branch. This
 
433
        # includes automatic changes scheduled to be made to the tree, such
 
434
        # as updating its basis and unversioning paths that were missing.
 
435
        self.work_tree.unversion(self.deleted_ids)
 
436
        self._set_progress_stage("Updating the working tree")
 
437
        self.work_tree.update_basis_by_delta(self.rev_id,
 
438
             self.builder.get_basis_delta())
 
439
        self.reporter.completed(new_revno, self.rev_id)
 
440
        self._process_post_hooks(old_revno, new_revno)
 
441
        return self.rev_id
 
442
 
 
443
    def _update_branches(self, old_revno, old_revid, new_revno):
 
444
        """Update the master and local branch to the new revision.
 
445
 
 
446
        This will try to make sure that the master branch is updated
 
447
        before the local branch.
 
448
 
 
449
        :param old_revno: Revision number of master branch before the
 
450
            commit
 
451
        :param old_revid: Tip of master branch before the commit
 
452
        :param new_revno: Revision number of the new commit
 
453
        """
 
454
        if not self.builder.updates_branch:
 
455
            self._process_pre_hooks(old_revno, new_revno)
 
456
 
 
457
            # Upload revision data to the master.
 
458
            # this will propagate merged revisions too if needed.
 
459
            if self.bound_branch:
 
460
                self._set_progress_stage("Uploading data to master branch")
 
461
                # 'commit' to the master first so a timeout here causes the
 
462
                # local branch to be out of date
 
463
                (new_revno, self.rev_id) = self.master_branch.import_last_revision_info_and_tags(
 
464
                    self.branch, new_revno, self.rev_id, lossy=self._lossy)
 
465
                if self._lossy:
 
466
                    self.branch.fetch(self.master_branch, self.rev_id)
 
467
 
 
468
            # and now do the commit locally.
 
469
            self.branch.set_last_revision_info(new_revno, self.rev_id)
 
470
        else:
 
471
            try:
 
472
                self._process_pre_hooks(old_revno, new_revno)
 
473
            except:
 
474
                # The commit builder will already have updated the branch,
 
475
                # revert it.
 
476
                self.branch.set_last_revision_info(old_revno, old_revid)
 
477
                raise
 
478
 
 
479
        # Merge local tags to remote
 
480
        if self.bound_branch:
 
481
            self._set_progress_stage("Merging tags to master branch")
 
482
            tag_updates, tag_conflicts = self.branch.tags.merge_to(
 
483
                self.master_branch.tags)
 
484
            if tag_conflicts:
 
485
                warning_lines = ['    ' + name for name, _, _ in tag_conflicts]
 
486
                note( gettext("Conflicting tags in bound branch:\n{0}".format(
 
487
                    "\n".join(warning_lines))) )
 
488
 
 
489
    def _select_reporter(self):
 
490
        """Select the CommitReporter to use."""
 
491
        if is_quiet():
 
492
            return NullCommitReporter()
 
493
        return ReportCommitToLog()
 
494
 
 
495
    def _check_pointless(self):
 
496
        if self.allow_pointless:
 
497
            return
 
498
        # A merge with no effect on files
 
499
        if len(self.parents) > 1:
 
500
            return
 
501
        if self.builder.any_changes():
 
502
            return
 
503
        raise PointlessCommit()
 
504
 
 
505
    def _check_bound_branch(self, operation, possible_master_transports=None):
 
506
        """Check to see if the local branch is bound.
 
507
 
 
508
        If it is bound, then most of the commit will actually be
 
509
        done using the remote branch as the target branch.
 
510
        Only at the end will the local branch be updated.
 
511
        """
 
512
        if self.local and not self.branch.get_bound_location():
 
513
            raise errors.LocalRequiresBoundBranch()
 
514
 
 
515
        if not self.local:
 
516
            self.master_branch = self.branch.get_master_branch(
 
517
                possible_master_transports)
 
518
 
 
519
        if not self.master_branch:
 
520
            # make this branch the reference branch for out of date checks.
 
521
            self.master_branch = self.branch
 
522
            return
 
523
 
 
524
        # If the master branch is bound, we must fail
 
525
        master_bound_location = self.master_branch.get_bound_location()
 
526
        if master_bound_location:
 
527
            raise errors.CommitToDoubleBoundBranch(self.branch,
 
528
                    self.master_branch, master_bound_location)
 
529
 
 
530
        # TODO: jam 20051230 We could automatically push local
 
531
        #       commits to the remote branch if they would fit.
 
532
        #       But for now, just require remote to be identical
 
533
        #       to local.
 
534
 
 
535
        # Make sure the local branch is identical to the master
 
536
        master_info = self.master_branch.last_revision_info()
 
537
        local_info = self.branch.last_revision_info()
 
538
        if local_info != master_info:
 
539
            raise errors.BoundBranchOutOfDate(self.branch,
 
540
                    self.master_branch)
 
541
 
 
542
        # Now things are ready to change the master branch
 
543
        # so grab the lock
 
544
        self.bound_branch = self.branch
 
545
        self.master_branch.lock_write()
 
546
        operation.add_cleanup(self.master_branch.unlock)
 
547
 
 
548
    def _check_out_of_date_tree(self):
 
549
        """Check that the working tree is up to date.
 
550
 
 
551
        :return: old_revision_number, old_revision_id, new_revision_number
 
552
            tuple
 
553
        """
 
554
        try:
 
555
            first_tree_parent = self.work_tree.get_parent_ids()[0]
 
556
        except IndexError:
 
557
            # if there are no parents, treat our parent as 'None'
 
558
            # this is so that we still consider the master branch
 
559
            # - in a checkout scenario the tree may have no
 
560
            # parents but the branch may do.
 
561
            first_tree_parent = breezy.revision.NULL_REVISION
 
562
        old_revno, master_last = self.master_branch.last_revision_info()
 
563
        if master_last != first_tree_parent:
 
564
            if master_last != breezy.revision.NULL_REVISION:
 
565
                raise errors.OutOfDateTree(self.work_tree)
 
566
        if self.branch.repository.has_revision(first_tree_parent):
 
567
            new_revno = old_revno + 1
 
568
        else:
 
569
            # ghost parents never appear in revision history.
 
570
            new_revno = 1
 
571
        return old_revno, master_last, new_revno
 
572
 
 
573
    def _process_pre_hooks(self, old_revno, new_revno):
 
574
        """Process any registered pre commit hooks."""
 
575
        self._set_progress_stage("Running pre_commit hooks")
 
576
        self._process_hooks("pre_commit", old_revno, new_revno)
 
577
 
 
578
    def _process_post_hooks(self, old_revno, new_revno):
 
579
        """Process any registered post commit hooks."""
 
580
        # Process the post commit hooks, if any
 
581
        self._set_progress_stage("Running post_commit hooks")
 
582
        # old style commit hooks - should be deprecated ? (obsoleted in
 
583
        # 0.15^H^H^H^H 2.5.0)
 
584
        post_commit = self.config_stack.get('post_commit')
 
585
        if post_commit is not None:
 
586
            hooks = post_commit.split(' ')
 
587
            # this would be nicer with twisted.python.reflect.namedAny
 
588
            for hook in hooks:
 
589
                result = eval(hook + '(branch, rev_id)',
 
590
                              {'branch':self.branch,
 
591
                               'breezy':breezy,
 
592
                               'rev_id':self.rev_id})
 
593
        # process new style post commit hooks
 
594
        self._process_hooks("post_commit", old_revno, new_revno)
 
595
 
 
596
    def _process_hooks(self, hook_name, old_revno, new_revno):
 
597
        if not Branch.hooks[hook_name]:
 
598
            return
 
599
 
 
600
        # new style commit hooks:
 
601
        if not self.bound_branch:
 
602
            hook_master = self.branch
 
603
            hook_local = None
 
604
        else:
 
605
            hook_master = self.master_branch
 
606
            hook_local = self.branch
 
607
        # With bound branches, when the master is behind the local branch,
 
608
        # the 'old_revno' and old_revid values here are incorrect.
 
609
        # XXX: FIXME ^. RBC 20060206
 
610
        if self.parents:
 
611
            old_revid = self.parents[0]
 
612
        else:
 
613
            old_revid = breezy.revision.NULL_REVISION
 
614
 
 
615
        if hook_name == "pre_commit":
 
616
            future_tree = self.builder.revision_tree()
 
617
            tree_delta = future_tree.changes_from(self.basis_tree,
 
618
                                             include_root=True)
 
619
 
 
620
        for hook in Branch.hooks[hook_name]:
 
621
            # show the running hook in the progress bar. As hooks may
 
622
            # end up doing nothing (e.g. because they are not configured by
 
623
            # the user) this is still showing progress, not showing overall
 
624
            # actions - its up to each plugin to show a UI if it want's to
 
625
            # (such as 'Emailing diff to foo@example.com').
 
626
            self.pb_stage_name = "Running %s hooks [%s]" % \
 
627
                (hook_name, Branch.hooks.get_hook_name(hook))
 
628
            self._emit_progress()
 
629
            if 'hooks' in debug.debug_flags:
 
630
                mutter("Invoking commit hook: %r", hook)
 
631
            if hook_name == "post_commit":
 
632
                hook(hook_local, hook_master, old_revno, old_revid, new_revno,
 
633
                     self.rev_id)
 
634
            elif hook_name == "pre_commit":
 
635
                hook(hook_local, hook_master,
 
636
                     old_revno, old_revid, new_revno, self.rev_id,
 
637
                     tree_delta, future_tree)
 
638
 
 
639
    def _gather_parents(self):
 
640
        """Record the parents of a merge for merge detection."""
 
641
        # TODO: Make sure that this list doesn't contain duplicate
 
642
        # entries and the order is preserved when doing this.
 
643
        if self.use_record_iter_changes:
 
644
            return
 
645
        self.basis_inv = self.basis_tree.root_inventory
 
646
        self.parent_invs = [self.basis_inv]
 
647
        for revision in self.parents[1:]:
 
648
            if self.branch.repository.has_revision(revision):
 
649
                mutter('commit parent revision {%s}', revision)
 
650
                inventory = self.branch.repository.get_inventory(revision)
 
651
                self.parent_invs.append(inventory)
 
652
            else:
 
653
                mutter('commit parent ghost revision {%s}', revision)
 
654
 
 
655
    def _update_builder_with_changes(self):
 
656
        """Update the commit builder with the data about what has changed.
 
657
        """
 
658
        exclude = self.exclude
 
659
        specific_files = self.specific_files
 
660
        mutter("Selecting files for commit with filter %s", specific_files)
 
661
 
 
662
        self._check_strict()
 
663
        if self.use_record_iter_changes:
 
664
            iter_changes = self.work_tree.iter_changes(self.basis_tree,
 
665
                specific_files=specific_files)
 
666
            iter_changes = self._filter_iter_changes(iter_changes)
 
667
            for file_id, path, fs_hash in self.builder.record_iter_changes(
 
668
                self.work_tree, self.basis_revid, iter_changes):
 
669
                self.work_tree._observed_sha1(file_id, path, fs_hash)
 
670
        else:
 
671
            # Build the new inventory
 
672
            self._populate_from_inventory()
 
673
            self._record_unselected()
 
674
            self._report_and_accumulate_deletes()
 
675
 
 
676
    def _filter_iter_changes(self, iter_changes):
 
677
        """Process iter_changes.
 
678
 
 
679
        This method reports on the changes in iter_changes to the user, and 
 
680
        converts 'missing' entries in the iter_changes iterator to 'deleted'
 
681
        entries. 'missing' entries have their
 
682
 
 
683
        :param iter_changes: An iter_changes to process.
 
684
        :return: A generator of changes.
 
685
        """
 
686
        reporter = self.reporter
 
687
        report_changes = reporter.is_verbose()
 
688
        deleted_ids = []
 
689
        for change in iter_changes:
 
690
            if report_changes:
 
691
                old_path = change[1][0]
 
692
                new_path = change[1][1]
 
693
                versioned = change[3][1]
 
694
            kind = change[6][1]
 
695
            versioned = change[3][1]
 
696
            if kind is None and versioned:
 
697
                # 'missing' path
 
698
                if report_changes:
 
699
                    reporter.missing(new_path)
 
700
                deleted_ids.append(change[0])
 
701
                # Reset the new path (None) and new versioned flag (False)
 
702
                change = (change[0], (change[1][0], None), change[2],
 
703
                    (change[3][0], False)) + change[4:]
 
704
                new_path = change[1][1]
 
705
                versioned = False
 
706
            elif kind == 'tree-reference':
 
707
                if self.recursive == 'down':
 
708
                    self._commit_nested_tree(change[0], change[1][1])
 
709
            if change[3][0] or change[3][1]:
 
710
                yield change
 
711
                if report_changes:
 
712
                    if new_path is None:
 
713
                        reporter.deleted(old_path)
 
714
                    elif old_path is None:
 
715
                        reporter.snapshot_change(gettext('added'), new_path)
 
716
                    elif old_path != new_path:
 
717
                        reporter.renamed(gettext('renamed'), old_path, new_path)
 
718
                    else:
 
719
                        if (new_path or 
 
720
                            self.work_tree.branch.repository._format.rich_root_data):
 
721
                            # Don't report on changes to '' in non rich root
 
722
                            # repositories.
 
723
                            reporter.snapshot_change(gettext('modified'), new_path)
 
724
            self._next_progress_entry()
 
725
        # Unversion IDs that were found to be deleted
 
726
        self.deleted_ids = deleted_ids
 
727
 
 
728
    def _record_unselected(self):
 
729
        # If specific files are selected, then all un-selected files must be
 
730
        # recorded in their previous state. For more details, see
 
731
        # https://lists.ubuntu.com/archives/bazaar/2007q3/028476.html.
 
732
        if self.specific_files or self.exclude:
 
733
            specific_files = self.specific_files or []
 
734
            for path, old_ie in self.basis_inv.iter_entries():
 
735
                if self.builder.new_inventory.has_id(old_ie.file_id):
 
736
                    # already added - skip.
 
737
                    continue
 
738
                if (is_inside_any(specific_files, path)
 
739
                    and not is_inside_any(self.exclude, path)):
 
740
                    # was inside the selected path, and not excluded - if not
 
741
                    # present it has been deleted so skip.
 
742
                    continue
 
743
                # From here down it was either not selected, or was excluded:
 
744
                # We preserve the entry unaltered.
 
745
                ie = old_ie.copy()
 
746
                # Note: specific file commits after a merge are currently
 
747
                # prohibited. This test is for sanity/safety in case it's
 
748
                # required after that changes.
 
749
                if len(self.parents) > 1:
 
750
                    ie.revision = None
 
751
                self.builder.record_entry_contents(ie, self.parent_invs, path,
 
752
                    self.basis_tree, None)
 
753
 
 
754
    def _report_and_accumulate_deletes(self):
 
755
        if (isinstance(self.basis_inv, Inventory)
 
756
            and isinstance(self.builder.new_inventory, Inventory)):
 
757
            # the older Inventory classes provide a _byid dict, and building a
 
758
            # set from the keys of this dict is substantially faster than even
 
759
            # getting a set of ids from the inventory
 
760
            #
 
761
            # <lifeless> set(dict) is roughly the same speed as
 
762
            # set(iter(dict)) and both are significantly slower than
 
763
            # set(dict.keys())
 
764
            deleted_ids = set(self.basis_inv._byid.keys()) - \
 
765
               set(self.builder.new_inventory._byid.keys())
 
766
        else:
 
767
            deleted_ids = set(self.basis_inv) - set(self.builder.new_inventory)
 
768
        if deleted_ids:
 
769
            self.any_entries_deleted = True
 
770
            deleted = sorted([(self.basis_tree.id2path(file_id), file_id)
 
771
                for file_id in deleted_ids])
 
772
            # XXX: this is not quite directory-order sorting
 
773
            for path, file_id in deleted:
 
774
                self.builder.record_delete(path, file_id)
 
775
                self.reporter.deleted(path)
 
776
 
 
777
    def _check_strict(self):
 
778
        # XXX: when we use iter_changes this would likely be faster if
 
779
        # iter_changes would check for us (even in the presence of
 
780
        # selected_files).
 
781
        if self.strict:
 
782
            # raise an exception as soon as we find a single unknown.
 
783
            for unknown in self.work_tree.unknowns():
 
784
                raise StrictCommitFailed()
 
785
 
 
786
    def _populate_from_inventory(self):
 
787
        """Populate the CommitBuilder by walking the working tree inventory."""
 
788
        # Build the revision inventory.
 
789
        #
 
790
        # This starts by creating a new empty inventory. Depending on
 
791
        # which files are selected for commit, and what is present in the
 
792
        # current tree, the new inventory is populated. inventory entries
 
793
        # which are candidates for modification have their revision set to
 
794
        # None; inventory entries that are carried over untouched have their
 
795
        # revision set to their prior value.
 
796
        #
 
797
        # ESEPARATIONOFCONCERNS: this function is diffing and using the diff
 
798
        # results to create a new inventory at the same time, which results
 
799
        # in bugs like #46635.  Any reason not to use/enhance Tree.changes_from?
 
800
        # ADHB 11-07-2006
 
801
 
 
802
        specific_files = self.specific_files
 
803
        exclude = self.exclude
 
804
        report_changes = self.reporter.is_verbose()
 
805
        deleted_ids = []
 
806
        # A tree of paths that have been deleted. E.g. if foo/bar has been
 
807
        # deleted, then we have {'foo':{'bar':{}}}
 
808
        deleted_paths = {}
 
809
        # XXX: Note that entries may have the wrong kind because the entry does
 
810
        # not reflect the status on disk.
 
811
        # NB: entries will include entries within the excluded ids/paths
 
812
        # because iter_entries_by_dir has no 'exclude' facility today.
 
813
        entries = self.work_tree.iter_entries_by_dir(
 
814
            specific_file_ids=self.specific_file_ids, yield_parents=True)
 
815
        for path, existing_ie in entries:
 
816
            file_id = existing_ie.file_id
 
817
            name = existing_ie.name
 
818
            parent_id = existing_ie.parent_id
 
819
            kind = existing_ie.kind
 
820
            # Skip files that have been deleted from the working tree.
 
821
            # The deleted path ids are also recorded so they can be explicitly
 
822
            # unversioned later.
 
823
            if deleted_paths:
 
824
                path_segments = splitpath(path)
 
825
                deleted_dict = deleted_paths
 
826
                for segment in path_segments:
 
827
                    deleted_dict = deleted_dict.get(segment, None)
 
828
                    if not deleted_dict:
 
829
                        # We either took a path not present in the dict
 
830
                        # (deleted_dict was None), or we've reached an empty
 
831
                        # child dir in the dict, so are now a sub-path.
 
832
                        break
 
833
                else:
 
834
                    deleted_dict = None
 
835
                if deleted_dict is not None:
 
836
                    # the path has a deleted parent, do not add it.
 
837
                    continue
 
838
            if exclude and is_inside_any(exclude, path):
 
839
                # Skip excluded paths. Excluded paths are processed by
 
840
                # _update_builder_with_changes.
 
841
                continue
 
842
            content_summary = self.work_tree.path_content_summary(path)
 
843
            kind = content_summary[0]
 
844
            # Note that when a filter of specific files is given, we must only
 
845
            # skip/record deleted files matching that filter.
 
846
            if not specific_files or is_inside_any(specific_files, path):
 
847
                if kind == 'missing':
 
848
                    if not deleted_paths:
 
849
                        # path won't have been split yet.
 
850
                        path_segments = splitpath(path)
 
851
                    deleted_dict = deleted_paths
 
852
                    for segment in path_segments:
 
853
                        deleted_dict = deleted_dict.setdefault(segment, {})
 
854
                    self.reporter.missing(path)
 
855
                    self._next_progress_entry()
 
856
                    deleted_ids.append(file_id)
 
857
                    continue
 
858
            # TODO: have the builder do the nested commit just-in-time IF and
 
859
            # only if needed.
 
860
            if kind == 'tree-reference':
 
861
                # enforce repository nested tree policy.
 
862
                if (not self.work_tree.supports_tree_reference() or
 
863
                    # repository does not support it either.
 
864
                    not self.branch.repository._format.supports_tree_reference):
 
865
                    kind = 'directory'
 
866
                    content_summary = (kind, None, None, None)
 
867
                elif self.recursive == 'down':
 
868
                    nested_revision_id = self._commit_nested_tree(
 
869
                        file_id, path)
 
870
                    content_summary = (kind, None, None, nested_revision_id)
 
871
                else:
 
872
                    nested_revision_id = self.work_tree.get_reference_revision(file_id)
 
873
                    content_summary = (kind, None, None, nested_revision_id)
 
874
 
 
875
            # Record an entry for this item
 
876
            # Note: I don't particularly want to have the existing_ie
 
877
            # parameter but the test suite currently (28-Jun-07) breaks
 
878
            # without it thanks to a unicode normalisation issue. :-(
 
879
            definitely_changed = kind != existing_ie.kind
 
880
            self._record_entry(path, file_id, specific_files, kind, name,
 
881
                parent_id, definitely_changed, existing_ie, report_changes,
 
882
                content_summary)
 
883
 
 
884
        # Unversion IDs that were found to be deleted
 
885
        self.deleted_ids = deleted_ids
 
886
 
 
887
    def _commit_nested_tree(self, file_id, path):
 
888
        "Commit a nested tree."
 
889
        sub_tree = self.work_tree.get_nested_tree(file_id, path)
 
890
        # FIXME: be more comprehensive here:
 
891
        # this works when both trees are in --trees repository,
 
892
        # but when both are bound to a different repository,
 
893
        # it fails; a better way of approaching this is to
 
894
        # finally implement the explicit-caches approach design
 
895
        # a while back - RBC 20070306.
 
896
        if sub_tree.branch.repository.has_same_location(
 
897
            self.work_tree.branch.repository):
 
898
            sub_tree.branch.repository = \
 
899
                self.work_tree.branch.repository
 
900
        try:
 
901
            return sub_tree.commit(message=None, revprops=self.revprops,
 
902
                recursive=self.recursive,
 
903
                message_callback=self.message_callback,
 
904
                timestamp=self.timestamp, timezone=self.timezone,
 
905
                committer=self.committer,
 
906
                allow_pointless=self.allow_pointless,
 
907
                strict=self.strict, verbose=self.verbose,
 
908
                local=self.local, reporter=self.reporter)
 
909
        except errors.PointlessCommit:
 
910
            return self.work_tree.get_reference_revision(file_id)
 
911
 
 
912
    def _record_entry(self, path, file_id, specific_files, kind, name,
 
913
        parent_id, definitely_changed, existing_ie, report_changes,
 
914
        content_summary):
 
915
        "Record the new inventory entry for a path if any."
 
916
        # mutter('check %s {%s}', path, file_id)
 
917
        # mutter('%s selected for commit', path)
 
918
        if definitely_changed or existing_ie is None:
 
919
            ie = make_entry(kind, name, parent_id, file_id)
 
920
        else:
 
921
            ie = existing_ie.copy()
 
922
            ie.revision = None
 
923
        # For carried over entries we don't care about the fs hash - the repo
 
924
        # isn't generating a sha, so we're not saving computation time.
 
925
        _, _, fs_hash = self.builder.record_entry_contents(
 
926
            ie, self.parent_invs, path, self.work_tree, content_summary)
 
927
        if report_changes:
 
928
            self._report_change(ie, path)
 
929
        if fs_hash:
 
930
            self.work_tree._observed_sha1(ie.file_id, path, fs_hash)
 
931
        return ie
 
932
 
 
933
    def _report_change(self, ie, path):
 
934
        """Report a change to the user.
 
935
 
 
936
        The change that has occurred is described relative to the basis
 
937
        inventory.
 
938
        """
 
939
        if (self.basis_inv.has_id(ie.file_id)):
 
940
            basis_ie = self.basis_inv[ie.file_id]
 
941
        else:
 
942
            basis_ie = None
 
943
        change = ie.describe_change(basis_ie, ie)
 
944
        if change in (InventoryEntry.RENAMED,
 
945
            InventoryEntry.MODIFIED_AND_RENAMED):
 
946
            old_path = self.basis_inv.id2path(ie.file_id)
 
947
            self.reporter.renamed(change, old_path, path)
 
948
            self._next_progress_entry()
 
949
        else:
 
950
            if change == gettext('unchanged'):
 
951
                return
 
952
            self.reporter.snapshot_change(change, path)
 
953
            self._next_progress_entry()
 
954
 
 
955
    def _set_progress_stage(self, name, counter=False):
 
956
        """Set the progress stage and emit an update to the progress bar."""
 
957
        self.pb_stage_name = name
 
958
        self.pb_stage_count += 1
 
959
        if counter:
 
960
            self.pb_entries_count = 0
 
961
        else:
 
962
            self.pb_entries_count = None
 
963
        self._emit_progress()
 
964
 
 
965
    def _next_progress_entry(self):
 
966
        """Emit an update to the progress bar and increment the entry count."""
 
967
        self.pb_entries_count += 1
 
968
        self._emit_progress()
 
969
 
 
970
    def _emit_progress(self):
 
971
        if self.pb_entries_count is not None:
 
972
            text = gettext("{0} [{1}] - Stage").format(self.pb_stage_name,
 
973
                self.pb_entries_count)
 
974
        else:
 
975
            text = gettext("%s - Stage") % (self.pb_stage_name, )
 
976
        self.pb.update(text, self.pb_stage_count, self.pb_stage_total)
 
977
 
 
978
    def _set_specific_file_ids(self):
 
979
        """populate self.specific_file_ids if we will use it."""
 
980
        if not self.use_record_iter_changes:
 
981
            # If provided, ensure the specified files are versioned
 
982
            if self.specific_files is not None:
 
983
                # Note: This routine is being called because it raises
 
984
                # PathNotVersionedError as a side effect of finding the IDs. We
 
985
                # later use the ids we found as input to the working tree
 
986
                # inventory iterator, so we only consider those ids rather than
 
987
                # examining the whole tree again.
 
988
                # XXX: Dont we have filter_unversioned to do this more
 
989
                # cheaply?
 
990
                self.specific_file_ids = tree.find_ids_across_trees(
 
991
                    self.specific_files, [self.basis_tree, self.work_tree])
 
992
            else:
 
993
                self.specific_file_ids = None