/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to breezy/commit.py

  • Committer: Jelmer Vernooij
  • Date: 2018-11-03 22:40:55 UTC
  • mto: This revision was merged to the branch mainline in revision 7157.
  • Revision ID: jelmer@jelmer.uk-20181103224055-wpa8tyxvmo5t60dy
Implement TreeReference.kind_character.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
 
18
 
# XXX: Can we do any better about making interrupted commits change
19
 
# nothing?  Perhaps the best approach is to integrate commit of
20
 
# AtomicFiles with releasing the lock on the Branch.
21
 
 
22
 
# TODO: Separate 'prepare' phase where we find a list of potentially
23
 
# committed files.  We then can then pause the commit to prompt for a
24
 
# commit message, knowing the summary will be the same as what's
25
 
# actually used for the commit.  (But perhaps simpler to simply get
26
 
# the tree status, then use that for a selective commit?)
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
from __future__ import absolute_import
27
18
 
28
19
# The newly committed revision is going to have a shape corresponding
29
 
# to that of the working inventory.  Files that are not in the
 
20
# to that of the working tree.  Files that are not in the
30
21
# working tree and that were in the predecessor are reported as
31
22
# removed --- this can include files that were either removed from the
32
23
# inventory or deleted in the working tree.  If they were only
35
26
# We then consider the remaining entries, which will be in the new
36
27
# version.  Directory entries are simply copied across.  File entries
37
28
# must be checked to see if a new version of the file should be
38
 
# recorded.  For each parent revision inventory, we check to see what
 
29
# recorded.  For each parent revision tree, we check to see what
39
30
# version of the file was present.  If the file was present in at
40
31
# least one tree, and if it was the same version in all the trees,
41
32
# then we can just refer to that version.  Otherwise, a new version
56
47
# merges from, then it should still be reported as newly added
57
48
# relative to the basis revision.
58
49
 
59
 
# TODO: Do checks that the tree can be committed *before* running the 
60
 
# editor; this should include checks for a pointless commit and for 
61
 
# unknown or missing files.
62
 
 
63
 
# TODO: If commit fails, leave the message in a file somewhere.
64
 
 
65
 
 
66
 
import os
67
 
import re
68
 
import sys
69
 
import time
70
 
import pdb
71
 
 
72
 
from binascii import hexlify
73
 
from cStringIO import StringIO
74
 
 
75
 
from bzrlib.atomicfile import AtomicFile
76
 
from bzrlib.osutils import (local_time_offset,
77
 
                            rand_bytes, compact_date,
78
 
                            kind_marker, is_inside_any, quotefn,
79
 
                            sha_file, isdir, isfile,
80
 
                            split_lines)
81
 
import bzrlib.config
82
 
import bzrlib.errors as errors
83
 
from bzrlib.errors import (BzrError, PointlessCommit,
84
 
                           HistoryMissing,
85
 
                           ConflictsInTree,
86
 
                           StrictCommitFailed
87
 
                           )
88
 
from bzrlib.revision import Revision
89
 
from bzrlib.testament import Testament
90
 
from bzrlib.trace import mutter, note, warning
91
 
from bzrlib.xml5 import serializer_v5
92
 
from bzrlib.inventory import Inventory, ROOT_ID
93
 
from bzrlib.symbol_versioning import *
94
 
from bzrlib.workingtree import WorkingTree
95
 
 
96
 
 
97
 
@deprecated_function(zero_seven)
98
 
def commit(*args, **kwargs):
99
 
    """Commit a new revision to a branch.
100
 
 
101
 
    Function-style interface for convenience of old callers.
102
 
 
103
 
    New code should use the Commit class instead.
 
50
# TODO: Change the parameter 'rev_id' to 'revision_id' to be consistent with
 
51
# the rest of the code; add a deprecation of the old name.
 
52
 
 
53
from . import (
 
54
    debug,
 
55
    errors,
 
56
    trace,
 
57
    tree,
 
58
    ui,
 
59
    )
 
60
from .branch import Branch
 
61
from .cleanup import OperationWithCleanups
 
62
import breezy.config
 
63
from .errors import (BzrError,
 
64
                     ConflictsInTree,
 
65
                     StrictCommitFailed
 
66
                     )
 
67
from .osutils import (get_user_encoding,
 
68
                      is_inside_any,
 
69
                      minimum_path_selection,
 
70
                      splitpath,
 
71
                      )
 
72
from .trace import mutter, note, is_quiet
 
73
from .urlutils import unescape_for_display
 
74
from .i18n import gettext
 
75
 
 
76
 
 
77
class PointlessCommit(BzrError):
 
78
 
 
79
    _fmt = "No changes to commit"
 
80
 
 
81
 
 
82
class CannotCommitSelectedFileMerge(BzrError):
 
83
 
 
84
    _fmt = 'Selected-file commit of merges is not supported yet:'\
 
85
        ' files %(files_str)s'
 
86
 
 
87
    def __init__(self, files):
 
88
        files_str = ', '.join(files)
 
89
        BzrError.__init__(self, files=files, files_str=files_str)
 
90
 
 
91
 
 
92
def filter_excluded(iter_changes, exclude):
 
93
    """Filter exclude filenames.
 
94
 
 
95
    :param iter_changes: iter_changes function
 
96
    :param exclude: List of paths to exclude
 
97
    :return: iter_changes function
104
98
    """
105
 
    ## XXX: Remove this in favor of Branch.commit?
106
 
    Commit().commit(*args, **kwargs)
 
99
    for change in iter_changes:
 
100
        old_path = change[1][0]
 
101
        new_path = change[1][1]
 
102
 
 
103
        new_excluded = (new_path is not None and
 
104
            is_inside_any(exclude, new_path))
 
105
 
 
106
        old_excluded = (old_path is not None and
 
107
            is_inside_any(exclude, old_path))
 
108
 
 
109
        if old_excluded and new_excluded:
 
110
            continue
 
111
 
 
112
        if old_excluded or new_excluded:
 
113
            # TODO(jelmer): Perhaps raise an error here instead?
 
114
            continue
 
115
 
 
116
        yield change
107
117
 
108
118
 
109
119
class NullCommitReporter(object):
110
120
    """I report on progress of a commit."""
111
121
 
 
122
    def started(self, revno, revid, location):
 
123
        pass
 
124
 
112
125
    def snapshot_change(self, change, path):
113
126
        pass
114
127
 
115
128
    def completed(self, revno, rev_id):
116
129
        pass
117
130
 
118
 
    def deleted(self, file_id):
119
 
        pass
120
 
 
121
 
    def escaped(self, escape_count, message):
 
131
    def deleted(self, path):
122
132
        pass
123
133
 
124
134
    def missing(self, path):
125
135
        pass
126
136
 
 
137
    def renamed(self, change, old_path, new_path):
 
138
        pass
 
139
 
 
140
    def is_verbose(self):
 
141
        return False
 
142
 
127
143
 
128
144
class ReportCommitToLog(NullCommitReporter):
129
145
 
 
146
    def _note(self, format, *args):
 
147
        """Output a message.
 
148
 
 
149
        Subclasses may choose to override this method.
 
150
        """
 
151
        note(format, *args)
 
152
 
130
153
    def snapshot_change(self, change, path):
131
 
        if change == 'unchanged':
 
154
        if path == '' and change in (gettext('added'), gettext('modified')):
132
155
            return
133
 
        note("%s %s", change, path)
 
156
        self._note("%s %s", change, path)
 
157
 
 
158
    def started(self, revno, rev_id, location):
 
159
        self._note(
 
160
            gettext('Committing to: %s'),
 
161
            unescape_for_display(location, 'utf-8'))
134
162
 
135
163
    def completed(self, revno, rev_id):
136
 
        note('Committed revision %d.', revno)
137
 
    
138
 
    def deleted(self, file_id):
139
 
        note('deleted %s', file_id)
 
164
        self._note(gettext('Committed revision %d.'), revno)
 
165
        # self._note goes to the console too; so while we want to log the
 
166
        # rev_id, we can't trivially only log it. (See bug 526425). Long
 
167
        # term we should rearrange the reporting structure, but for now
 
168
        # we just mutter seperately. We mutter the revid and revno together
 
169
        # so that concurrent bzr invocations won't lead to confusion.
 
170
        mutter('Committed revid %s as revno %d.', rev_id, revno)
140
171
 
141
 
    def escaped(self, escape_count, message):
142
 
        note("replaced %d control characters in message", escape_count)
 
172
    def deleted(self, path):
 
173
        self._note(gettext('deleted %s'), path)
143
174
 
144
175
    def missing(self, path):
145
 
        note('missing %s', path)
 
176
        self._note(gettext('missing %s'), path)
 
177
 
 
178
    def renamed(self, change, old_path, new_path):
 
179
        self._note('%s %s => %s', change, old_path, new_path)
 
180
 
 
181
    def is_verbose(self):
 
182
        return True
146
183
 
147
184
 
148
185
class Commit(object):
159
196
    """
160
197
    def __init__(self,
161
198
                 reporter=None,
162
 
                 config=None):
163
 
        if reporter is not None:
164
 
            self.reporter = reporter
165
 
        else:
166
 
            self.reporter = NullCommitReporter()
167
 
        if config is not None:
168
 
            self.config = config
169
 
        else:
170
 
            self.config = None
171
 
        
 
199
                 config_stack=None):
 
200
        """Create a Commit object.
 
201
 
 
202
        :param reporter: the default reporter to use or None to decide later
 
203
        """
 
204
        self.reporter = reporter
 
205
        self.config_stack = config_stack
 
206
 
 
207
    @staticmethod
 
208
    def update_revprops(revprops, branch, authors=None,
 
209
                        local=False, possible_master_transports=None):
 
210
        if revprops is None:
 
211
            revprops = {}
 
212
        if possible_master_transports is None:
 
213
            possible_master_transports = []
 
214
        if (not u'branch-nick' in revprops and
 
215
                branch.repository._format.supports_storing_branch_nick):
 
216
            revprops[u'branch-nick'] = branch._get_nick(
 
217
                local,
 
218
                possible_master_transports)
 
219
        if authors is not None:
 
220
            if u'author' in revprops or u'authors' in revprops:
 
221
                # XXX: maybe we should just accept one of them?
 
222
                raise AssertionError('author property given twice')
 
223
            if authors:
 
224
                for individual in authors:
 
225
                    if '\n' in individual:
 
226
                        raise AssertionError('\\n is not a valid character '
 
227
                                'in an author identity')
 
228
                revprops[u'authors'] = '\n'.join(authors)
 
229
        return revprops
 
230
 
172
231
    def commit(self,
173
 
               branch=DEPRECATED_PARAMETER, message=None,
 
232
               message=None,
174
233
               timestamp=None,
175
234
               timezone=None,
176
235
               committer=None,
183
242
               working_tree=None,
184
243
               local=False,
185
244
               reporter=None,
186
 
               config=None):
 
245
               config=None,
 
246
               message_callback=None,
 
247
               recursive='down',
 
248
               exclude=None,
 
249
               possible_master_transports=None,
 
250
               lossy=False):
187
251
        """Commit working copy as a new revision.
188
252
 
189
 
        branch -- the deprecated branch to commit to. New callers should pass in 
190
 
                  working_tree instead
191
 
 
192
 
        message -- the commit message, a mandatory parameter
193
 
 
194
 
        timestamp -- if not None, seconds-since-epoch for a
195
 
             postdated/predated commit.
196
 
 
197
 
        specific_files -- If true, commit only those files.
198
 
 
199
 
        rev_id -- If set, use this as the new revision id.
 
253
        :param message: the commit message (it or message_callback is required)
 
254
        :param message_callback: A callback: message = message_callback(cmt_obj)
 
255
 
 
256
        :param timestamp: if not None, seconds-since-epoch for a
 
257
            postdated/predated commit.
 
258
 
 
259
        :param specific_files: If not None, commit only those files. An empty
 
260
            list means 'commit no files'.
 
261
 
 
262
        :param rev_id: If set, use this as the new revision id.
200
263
            Useful for test or import commands that need to tightly
201
264
            control what revisions are assigned.  If you duplicate
202
265
            a revision id that exists elsewhere it is your own fault.
203
266
            If null (default), a time/random revision id is generated.
204
267
 
205
 
        allow_pointless -- If true (default), commit even if nothing
 
268
        :param allow_pointless: If true (default), commit even if nothing
206
269
            has changed and no merges are recorded.
207
270
 
208
 
        strict -- If true, don't allow a commit if the working tree
 
271
        :param strict: If true, don't allow a commit if the working tree
209
272
            contains unknown files.
210
273
 
211
 
        revprops -- Properties for new revision
 
274
        :param revprops: Properties for new revision
212
275
        :param local: Perform a local only commit.
 
276
        :param reporter: the reporter to use or None for the default
 
277
        :param verbose: if True and the reporter is not None, report everything
 
278
        :param recursive: If set to 'down', commit in any subtrees that have
 
279
            pending changes of any sort during this commit.
 
280
        :param exclude: None or a list of relative paths to exclude from the
 
281
            commit. Pending changes to excluded files will be ignored by the
 
282
            commit.
 
283
        :param lossy: When committing to a foreign VCS, ignore any
 
284
            data that can not be natively represented.
213
285
        """
 
286
        operation = OperationWithCleanups(self._commit)
 
287
        self.revprops = revprops or {}
 
288
        # XXX: Can be set on __init__ or passed in - this is a bit ugly.
 
289
        self.config_stack = config or self.config_stack
 
290
        return operation.run(
 
291
               message=message,
 
292
               timestamp=timestamp,
 
293
               timezone=timezone,
 
294
               committer=committer,
 
295
               specific_files=specific_files,
 
296
               rev_id=rev_id,
 
297
               allow_pointless=allow_pointless,
 
298
               strict=strict,
 
299
               verbose=verbose,
 
300
               working_tree=working_tree,
 
301
               local=local,
 
302
               reporter=reporter,
 
303
               message_callback=message_callback,
 
304
               recursive=recursive,
 
305
               exclude=exclude,
 
306
               possible_master_transports=possible_master_transports,
 
307
               lossy=lossy)
 
308
 
 
309
    def _commit(self, operation, message, timestamp, timezone, committer,
 
310
            specific_files, rev_id, allow_pointless, strict, verbose,
 
311
            working_tree, local, reporter, message_callback, recursive,
 
312
            exclude, possible_master_transports, lossy):
214
313
        mutter('preparing to commit')
215
314
 
216
 
        if deprecated_passed(branch):
217
 
            warn("Commit.commit (branch, ...): The branch parameter is "
218
 
                 "deprecated as of bzr 0.8. Please use working_tree= instead.",
219
 
                 DeprecationWarning, stacklevel=2)
220
 
            self.branch = branch
221
 
            self.work_tree = self.branch.bzrdir.open_workingtree()
222
 
        elif working_tree is None:
223
 
            raise BzrError("One of branch and working_tree must be passed into commit().")
 
315
        if working_tree is None:
 
316
            raise BzrError("working_tree must be passed into commit().")
224
317
        else:
225
318
            self.work_tree = working_tree
226
319
            self.branch = self.work_tree.branch
227
 
        if message is None:
228
 
            raise BzrError("The message keyword parameter is required for commit().")
 
320
            if getattr(self.work_tree, 'requires_rich_root', lambda: False)():
 
321
                if not self.branch.repository.supports_rich_root():
 
322
                    raise errors.RootNotRich()
 
323
        if message_callback is None:
 
324
            if message is not None:
 
325
                if isinstance(message, bytes):
 
326
                    message = message.decode(get_user_encoding())
 
327
                message_callback = lambda x: message
 
328
            else:
 
329
                raise BzrError("The message or message_callback keyword"
 
330
                               " parameter is required for commit().")
229
331
 
230
 
        self.weave_store = self.branch.repository.weave_store
231
332
        self.bound_branch = None
 
333
        self.any_entries_deleted = False
 
334
        if exclude is not None:
 
335
            self.exclude = sorted(
 
336
                minimum_path_selection(exclude))
 
337
        else:
 
338
            self.exclude = []
232
339
        self.local = local
233
340
        self.master_branch = None
234
 
        self.master_locked = False
235
 
        self.rev_id = rev_id
236
 
        self.specific_files = specific_files
 
341
        self.recursive = recursive
 
342
        self.rev_id = None
 
343
        # self.specific_files is None to indicate no filter, or any iterable to
 
344
        # indicate a filter - [] means no files at all, as per iter_changes.
 
345
        if specific_files is not None:
 
346
            self.specific_files = sorted(
 
347
                minimum_path_selection(specific_files))
 
348
        else:
 
349
            self.specific_files = None
 
350
 
237
351
        self.allow_pointless = allow_pointless
238
 
        self.revprops = {}
239
 
        if revprops is not None:
240
 
            self.revprops.update(revprops)
241
 
 
242
 
        if reporter is None and self.reporter is None:
243
 
            self.reporter = NullCommitReporter()
244
 
        elif reporter is not None:
245
 
            self.reporter = reporter
 
352
        self.message_callback = message_callback
 
353
        self.timestamp = timestamp
 
354
        self.timezone = timezone
 
355
        self.committer = committer
 
356
        self.strict = strict
 
357
        self.verbose = verbose
246
358
 
247
359
        self.work_tree.lock_write()
 
360
        operation.add_cleanup(self.work_tree.unlock)
 
361
        self.parents = self.work_tree.get_parent_ids()
 
362
        self.pb = ui.ui_factory.nested_progress_bar()
 
363
        operation.add_cleanup(self.pb.finished)
 
364
        self.basis_revid = self.work_tree.last_revision()
 
365
        self.basis_tree = self.work_tree.basis_tree()
 
366
        self.basis_tree.lock_read()
 
367
        operation.add_cleanup(self.basis_tree.unlock)
 
368
        # Cannot commit with conflicts present.
 
369
        if len(self.work_tree.conflicts()) > 0:
 
370
            raise ConflictsInTree
 
371
 
 
372
        # Setup the bound branch variables as needed.
 
373
        self._check_bound_branch(operation, possible_master_transports)
 
374
 
 
375
        # Check that the working tree is up to date
 
376
        old_revno, old_revid, new_revno = self._check_out_of_date_tree()
 
377
 
 
378
        # Complete configuration setup
 
379
        if reporter is not None:
 
380
            self.reporter = reporter
 
381
        elif self.reporter is None:
 
382
            self.reporter = self._select_reporter()
 
383
        if self.config_stack is None:
 
384
            self.config_stack = self.work_tree.get_config_stack()
 
385
 
 
386
        # Setup the progress bar. As the number of files that need to be
 
387
        # committed in unknown, progress is reported as stages.
 
388
        # We keep track of entries separately though and include that
 
389
        # information in the progress bar during the relevant stages.
 
390
        self.pb_stage_name = ""
 
391
        self.pb_stage_count = 0
 
392
        self.pb_stage_total = 5
 
393
        if self.bound_branch:
 
394
            # 2 extra stages: "Uploading data to master branch" and "Merging
 
395
            # tags to master branch"
 
396
            self.pb_stage_total += 2
 
397
        self.pb.show_pct = False
 
398
        self.pb.show_spinner = False
 
399
        self.pb.show_eta = False
 
400
        self.pb.show_count = True
 
401
        self.pb.show_bar = True
 
402
 
 
403
        # After a merge, a selected file commit is not supported.
 
404
        # See 'bzr help merge' for an explanation as to why.
 
405
        if len(self.parents) > 1 and self.specific_files is not None:
 
406
            raise CannotCommitSelectedFileMerge(self.specific_files)
 
407
        # Excludes are a form of selected file commit.
 
408
        if len(self.parents) > 1 and self.exclude:
 
409
            raise CannotCommitSelectedFileMerge(self.exclude)
 
410
 
 
411
        # Collect the changes
 
412
        self._set_progress_stage("Collecting changes", counter=True)
 
413
        self._lossy = lossy
 
414
        self.builder = self.branch.get_commit_builder(self.parents,
 
415
            self.config_stack, timestamp, timezone, committer, self.revprops,
 
416
            rev_id, lossy=lossy)
 
417
 
 
418
        if self.builder.updates_branch and self.bound_branch:
 
419
            self.builder.abort()
 
420
            raise AssertionError(
 
421
                "bound branches not supported for commit builders "
 
422
                "that update the branch")
 
423
 
248
424
        try:
249
 
            # setup the bound branch variables as needed.
250
 
            self._check_bound_branch()
251
 
 
252
 
            # check for out of date working trees
253
 
            # if we are bound, then self.branch is the master branch and this
254
 
            # test is thus all we need.
255
 
            if self.work_tree.last_revision() != self.master_branch.last_revision():
256
 
                raise errors.OutOfDateTree(self.work_tree)
257
 
    
258
 
            if strict:
259
 
                # raise an exception as soon as we find a single unknown.
260
 
                for unknown in self.work_tree.unknowns():
261
 
                    raise StrictCommitFailed()
262
 
    
263
 
            if timestamp is None:
264
 
                self.timestamp = time.time()
265
 
            else:
266
 
                self.timestamp = long(timestamp)
267
 
                
268
 
            if self.config is None:
269
 
                self.config = bzrlib.config.BranchConfig(self.branch)
270
 
    
271
 
            if rev_id is None:
272
 
                self.rev_id = _gen_revision_id(self.config, self.timestamp)
273
 
            else:
274
 
                self.rev_id = rev_id
275
 
    
276
 
            if committer is None:
277
 
                self.committer = self.config.username()
278
 
            else:
279
 
                assert isinstance(committer, basestring), type(committer)
280
 
                self.committer = committer
281
 
    
282
 
            if timezone is None:
283
 
                self.timezone = local_time_offset()
284
 
            else:
285
 
                self.timezone = int(timezone)
286
 
    
287
 
            if isinstance(message, str):
288
 
                message = message.decode(bzrlib.user_encoding)
289
 
            assert isinstance(message, unicode), type(message)
 
425
            # find the location being committed to
 
426
            if self.bound_branch:
 
427
                master_location = self.master_branch.base
 
428
            else:
 
429
                master_location = self.branch.base
 
430
 
 
431
            # report the start of the commit
 
432
            self.reporter.started(new_revno, self.rev_id, master_location)
 
433
 
 
434
            self._update_builder_with_changes()
 
435
            self._check_pointless()
 
436
 
 
437
            # TODO: Now the new inventory is known, check for conflicts.
 
438
            # ADHB 2006-08-08: If this is done, populate_new_inv should not add
 
439
            # weave lines, because nothing should be recorded until it is known
 
440
            # that commit will succeed.
 
441
            self._set_progress_stage("Saving data locally")
 
442
            self.builder.finish_inventory()
 
443
 
 
444
            # Prompt the user for a commit message if none provided
 
445
            message = message_callback(self)
290
446
            self.message = message
291
 
            self._escape_commit_message()
292
 
 
293
 
            self.work_inv = self.work_tree.inventory
294
 
            self.basis_tree = self.work_tree.basis_tree()
295
 
            self.basis_inv = self.basis_tree.inventory
296
 
 
297
 
            self._gather_parents()
298
 
            if len(self.parents) > 1 and self.specific_files:
299
 
                raise NotImplementedError('selected-file commit of merges is not supported yet')
300
 
            self._check_parents_present()
301
 
            
302
 
            self._remove_deleted()
303
 
            self._populate_new_inv()
304
 
            self._store_snapshot()
305
 
            self._report_deletes()
306
 
 
307
 
            if not (self.allow_pointless
308
 
                    or len(self.parents) > 1
309
 
                    or self.new_inv != self.basis_inv):
310
 
                raise PointlessCommit()
311
 
 
312
 
            if len(self.work_tree.conflicts())>0:
313
 
                raise ConflictsInTree
314
 
 
315
 
            self.inv_sha1 = self.branch.repository.add_inventory(
316
 
                self.rev_id,
317
 
                self.new_inv,
318
 
                self.present_parents
319
 
                )
320
 
            self._make_revision()
321
 
            # revision data is in the local branch now.
322
 
            
323
 
            # upload revision data to the master.
324
 
            # this will propogate merged revisions too if needed.
 
447
 
 
448
            # Add revision data to the local branch
 
449
            self.rev_id = self.builder.commit(self.message)
 
450
 
 
451
        except Exception as e:
 
452
            mutter("aborting commit write group because of exception:")
 
453
            trace.log_exception_quietly()
 
454
            self.builder.abort()
 
455
            raise
 
456
 
 
457
        self._update_branches(old_revno, old_revid, new_revno)
 
458
 
 
459
        # Make the working tree be up to date with the branch. This
 
460
        # includes automatic changes scheduled to be made to the tree, such
 
461
        # as updating its basis and unversioning paths that were missing.
 
462
        self.work_tree.unversion(self.deleted_paths)
 
463
        self._set_progress_stage("Updating the working tree")
 
464
        self.work_tree.update_basis_by_delta(self.rev_id,
 
465
             self.builder.get_basis_delta())
 
466
        self.reporter.completed(new_revno, self.rev_id)
 
467
        self._process_post_hooks(old_revno, new_revno)
 
468
        return self.rev_id
 
469
 
 
470
    def _update_branches(self, old_revno, old_revid, new_revno):
 
471
        """Update the master and local branch to the new revision.
 
472
 
 
473
        This will try to make sure that the master branch is updated
 
474
        before the local branch.
 
475
 
 
476
        :param old_revno: Revision number of master branch before the
 
477
            commit
 
478
        :param old_revid: Tip of master branch before the commit
 
479
        :param new_revno: Revision number of the new commit
 
480
        """
 
481
        if not self.builder.updates_branch:
 
482
            self._process_pre_hooks(old_revno, new_revno)
 
483
 
 
484
            # Upload revision data to the master.
 
485
            # this will propagate merged revisions too if needed.
325
486
            if self.bound_branch:
326
 
                self.master_branch.repository.fetch(self.branch.repository,
327
 
                                                    revision_id=self.rev_id)
328
 
                # now the master has the revision data
329
 
                # 'commit' to the master first so a timeout here causes the local
330
 
                # branch to be out of date
331
 
                self.master_branch.append_revision(self.rev_id)
 
487
                self._set_progress_stage("Uploading data to master branch")
 
488
                # 'commit' to the master first so a timeout here causes the
 
489
                # local branch to be out of date
 
490
                (new_revno, self.rev_id) = self.master_branch.import_last_revision_info_and_tags(
 
491
                    self.branch, new_revno, self.rev_id, lossy=self._lossy)
 
492
                if self._lossy:
 
493
                    self.branch.fetch(self.master_branch, self.rev_id)
332
494
 
333
495
            # and now do the commit locally.
334
 
            self.branch.append_revision(self.rev_id)
335
 
 
336
 
            self.work_tree.set_pending_merges([])
337
 
            self.work_tree.set_last_revision(self.rev_id)
338
 
            # now the work tree is up to date with the branch
339
 
            
340
 
            self.reporter.completed(self.branch.revno(), self.rev_id)
341
 
            if self.config.post_commit() is not None:
342
 
                hooks = self.config.post_commit().split(' ')
343
 
                # this would be nicer with twisted.python.reflect.namedAny
344
 
                for hook in hooks:
345
 
                    result = eval(hook + '(branch, rev_id)',
346
 
                                  {'branch':self.branch,
347
 
                                   'bzrlib':bzrlib,
348
 
                                   'rev_id':self.rev_id})
349
 
        finally:
350
 
            self._cleanup_bound_branch()
351
 
            self.work_tree.unlock()
352
 
 
353
 
    def _check_bound_branch(self):
 
496
            self.branch.set_last_revision_info(new_revno, self.rev_id)
 
497
        else:
 
498
            try:
 
499
                self._process_pre_hooks(old_revno, new_revno)
 
500
            except:
 
501
                # The commit builder will already have updated the branch,
 
502
                # revert it.
 
503
                self.branch.set_last_revision_info(old_revno, old_revid)
 
504
                raise
 
505
 
 
506
        # Merge local tags to remote
 
507
        if self.bound_branch:
 
508
            self._set_progress_stage("Merging tags to master branch")
 
509
            tag_updates, tag_conflicts = self.branch.tags.merge_to(
 
510
                self.master_branch.tags)
 
511
            if tag_conflicts:
 
512
                warning_lines = ['    ' + name for name, _, _ in tag_conflicts]
 
513
                note( gettext("Conflicting tags in bound branch:\n{0}".format(
 
514
                    "\n".join(warning_lines))) )
 
515
 
 
516
    def _select_reporter(self):
 
517
        """Select the CommitReporter to use."""
 
518
        if is_quiet():
 
519
            return NullCommitReporter()
 
520
        return ReportCommitToLog()
 
521
 
 
522
    def _check_pointless(self):
 
523
        if self.allow_pointless:
 
524
            return
 
525
        # A merge with no effect on files
 
526
        if len(self.parents) > 1:
 
527
            return
 
528
        if self.builder.any_changes():
 
529
            return
 
530
        raise PointlessCommit()
 
531
 
 
532
    def _check_bound_branch(self, operation, possible_master_transports=None):
354
533
        """Check to see if the local branch is bound.
355
534
 
356
535
        If it is bound, then most of the commit will actually be
361
540
            raise errors.LocalRequiresBoundBranch()
362
541
 
363
542
        if not self.local:
364
 
            self.master_branch = self.branch.get_master_branch()
 
543
            self.master_branch = self.branch.get_master_branch(
 
544
                possible_master_transports)
365
545
 
366
546
        if not self.master_branch:
367
547
            # make this branch the reference branch for out of date checks.
378
558
        #       commits to the remote branch if they would fit.
379
559
        #       But for now, just require remote to be identical
380
560
        #       to local.
381
 
        
 
561
 
382
562
        # Make sure the local branch is identical to the master
383
 
        master_rh = self.master_branch.revision_history()
384
 
        local_rh = self.branch.revision_history()
385
 
        if local_rh != master_rh:
 
563
        master_info = self.master_branch.last_revision_info()
 
564
        local_info = self.branch.last_revision_info()
 
565
        if local_info != master_info:
386
566
            raise errors.BoundBranchOutOfDate(self.branch,
387
567
                    self.master_branch)
388
568
 
390
570
        # so grab the lock
391
571
        self.bound_branch = self.branch
392
572
        self.master_branch.lock_write()
393
 
        self.master_locked = True
394
 
####        
395
 
####        # Check to see if we have any pending merges. If we do
396
 
####        # those need to be pushed into the master branch
397
 
####        pending_merges = self.work_tree.pending_merges()
398
 
####        if pending_merges:
399
 
####            for revision_id in pending_merges:
400
 
####                self.master_branch.repository.fetch(self.bound_branch.repository,
401
 
####                                                    revision_id=revision_id)
402
 
 
403
 
    def _cleanup_bound_branch(self):
404
 
        """Executed at the end of a try/finally to cleanup a bound branch.
405
 
 
406
 
        If the branch wasn't bound, this is a no-op.
407
 
        If it was, it resents self.branch to the local branch, instead
408
 
        of being the master.
 
573
        operation.add_cleanup(self.master_branch.unlock)
 
574
 
 
575
    def _check_out_of_date_tree(self):
 
576
        """Check that the working tree is up to date.
 
577
 
 
578
        :return: old_revision_number, old_revision_id, new_revision_number
 
579
            tuple
409
580
        """
 
581
        try:
 
582
            first_tree_parent = self.work_tree.get_parent_ids()[0]
 
583
        except IndexError:
 
584
            # if there are no parents, treat our parent as 'None'
 
585
            # this is so that we still consider the master branch
 
586
            # - in a checkout scenario the tree may have no
 
587
            # parents but the branch may do.
 
588
            first_tree_parent = breezy.revision.NULL_REVISION
 
589
        old_revno, master_last = self.master_branch.last_revision_info()
 
590
        if master_last != first_tree_parent:
 
591
            if master_last != breezy.revision.NULL_REVISION:
 
592
                raise errors.OutOfDateTree(self.work_tree)
 
593
        if self.branch.repository.has_revision(first_tree_parent):
 
594
            new_revno = old_revno + 1
 
595
        else:
 
596
            # ghost parents never appear in revision history.
 
597
            new_revno = 1
 
598
        return old_revno, master_last, new_revno
 
599
 
 
600
    def _process_pre_hooks(self, old_revno, new_revno):
 
601
        """Process any registered pre commit hooks."""
 
602
        self._set_progress_stage("Running pre_commit hooks")
 
603
        self._process_hooks("pre_commit", old_revno, new_revno)
 
604
 
 
605
    def _process_post_hooks(self, old_revno, new_revno):
 
606
        """Process any registered post commit hooks."""
 
607
        # Process the post commit hooks, if any
 
608
        self._set_progress_stage("Running post_commit hooks")
 
609
        # old style commit hooks - should be deprecated ? (obsoleted in
 
610
        # 0.15^H^H^H^H 2.5.0)
 
611
        post_commit = self.config_stack.get('post_commit')
 
612
        if post_commit is not None:
 
613
            hooks = post_commit.split(' ')
 
614
            # this would be nicer with twisted.python.reflect.namedAny
 
615
            for hook in hooks:
 
616
                result = eval(hook + '(branch, rev_id)',
 
617
                              {'branch':self.branch,
 
618
                               'breezy':breezy,
 
619
                               'rev_id':self.rev_id})
 
620
        # process new style post commit hooks
 
621
        self._process_hooks("post_commit", old_revno, new_revno)
 
622
 
 
623
    def _process_hooks(self, hook_name, old_revno, new_revno):
 
624
        if not Branch.hooks[hook_name]:
 
625
            return
 
626
 
 
627
        # new style commit hooks:
410
628
        if not self.bound_branch:
411
 
            return
412
 
        if self.master_locked:
413
 
            self.master_branch.unlock()
414
 
 
415
 
    def _escape_commit_message(self):
416
 
        """Replace xml-incompatible control characters."""
417
 
        # Python strings can include characters that can't be
418
 
        # represented in well-formed XML; escape characters that
419
 
        # aren't listed in the XML specification
420
 
        # (http://www.w3.org/TR/REC-xml/#NT-Char).
421
 
        self.message, escape_count = re.subn(
422
 
            u'[^\x09\x0A\x0D\u0020-\uD7FF\uE000-\uFFFD]+',
423
 
            lambda match: match.group(0).encode('unicode_escape'),
424
 
            self.message)
425
 
        if escape_count:
426
 
            self.reporter.escaped(escape_count, self.message)
427
 
 
428
 
    def _gather_parents(self):
429
 
        """Record the parents of a merge for merge detection."""
430
 
        pending_merges = self.work_tree.pending_merges()
431
 
        self.parents = []
432
 
        self.parent_invs = []
433
 
        self.present_parents = []
434
 
        precursor_id = self.branch.last_revision()
435
 
        if precursor_id:
436
 
            self.parents.append(precursor_id)
437
 
        self.parents += pending_merges
438
 
        for revision in self.parents:
439
 
            if self.branch.repository.has_revision(revision):
440
 
                inventory = self.branch.repository.get_inventory(revision)
441
 
                self.parent_invs.append(inventory)
442
 
                self.present_parents.append(revision)
443
 
 
444
 
    def _check_parents_present(self):
445
 
        for parent_id in self.parents:
446
 
            mutter('commit parent revision {%s}', parent_id)
447
 
            if not self.branch.repository.has_revision(parent_id):
448
 
                if parent_id == self.branch.last_revision():
449
 
                    warning("parent is missing %r", parent_id)
450
 
                    raise HistoryMissing(self.branch, 'revision', parent_id)
451
 
                else:
452
 
                    mutter("commit will ghost revision %r", parent_id)
453
 
            
454
 
    def _make_revision(self):
455
 
        """Record a new revision object for this commit."""
456
 
        rev = Revision(timestamp=self.timestamp,
457
 
                       timezone=self.timezone,
458
 
                       committer=self.committer,
459
 
                       message=self.message,
460
 
                       inventory_sha1=self.inv_sha1,
461
 
                       revision_id=self.rev_id,
462
 
                       properties=self.revprops)
463
 
        rev.parent_ids = self.parents
464
 
        self.branch.repository.add_revision(self.rev_id, rev, self.new_inv, self.config)
465
 
 
466
 
    def _remove_deleted(self):
467
 
        """Remove deleted files from the working inventories.
468
 
 
469
 
        This is done prior to taking the working inventory as the
470
 
        basis for the new committed inventory.
471
 
 
472
 
        This returns true if any files
473
 
        *that existed in the basis inventory* were deleted.
474
 
        Files that were added and deleted
475
 
        in the working copy don't matter.
476
 
        """
477
 
        specific = self.specific_files
478
 
        deleted_ids = []
479
 
        for path, ie in self.work_inv.iter_entries():
480
 
            if specific and not is_inside_any(specific, path):
481
 
                continue
482
 
            if not self.work_tree.has_filename(path):
483
 
                self.reporter.missing(path)
484
 
                deleted_ids.append((path, ie.file_id))
485
 
        if deleted_ids:
486
 
            deleted_ids.sort(reverse=True)
487
 
            for path, file_id in deleted_ids:
488
 
                del self.work_inv[file_id]
489
 
            self.work_tree._write_inventory(self.work_inv)
490
 
 
491
 
    def _store_snapshot(self):
492
 
        """Pass over inventory and record a snapshot.
493
 
 
494
 
        Entries get a new revision when they are modified in 
495
 
        any way, which includes a merge with a new set of
496
 
        parents that have the same entry. 
497
 
        """
498
 
        # XXX: Need to think more here about when the user has
499
 
        # made a specific decision on a particular value -- c.f.
500
 
        # mark-merge.  
501
 
        for path, ie in self.new_inv.iter_entries():
502
 
            previous_entries = ie.find_previous_heads(
503
 
                self.parent_invs,
504
 
                self.weave_store,
505
 
                self.branch.repository.get_transaction())
506
 
            if ie.revision is None:
507
 
                change = ie.snapshot(self.rev_id, path, previous_entries,
508
 
                                     self.work_tree, self.weave_store,
509
 
                                     self.branch.get_transaction())
510
 
            else:
511
 
                change = "unchanged"
512
 
            self.reporter.snapshot_change(change, path)
513
 
 
514
 
    def _populate_new_inv(self):
515
 
        """Build revision inventory.
516
 
 
517
 
        This creates a new empty inventory. Depending on
518
 
        which files are selected for commit, and what is present in the
519
 
        current tree, the new inventory is populated. inventory entries 
520
 
        which are candidates for modification have their revision set to
521
 
        None; inventory entries that are carried over untouched have their
522
 
        revision set to their prior value.
523
 
        """
524
 
        mutter("Selecting files for commit with filter %s", self.specific_files)
525
 
        self.new_inv = Inventory(revision_id=self.rev_id)
526
 
        for path, new_ie in self.work_inv.iter_entries():
527
 
            file_id = new_ie.file_id
528
 
            mutter('check %s {%s}', path, new_ie.file_id)
529
 
            if self.specific_files:
530
 
                if not is_inside_any(self.specific_files, path):
531
 
                    mutter('%s not selected for commit', path)
532
 
                    self._carry_entry(file_id)
533
 
                    continue
534
 
                else:
535
 
                    # this is selected, ensure its parents are too.
536
 
                    parent_id = new_ie.parent_id
537
 
                    while parent_id != ROOT_ID:
538
 
                        if not self.new_inv.has_id(parent_id):
539
 
                            ie = self._select_entry(self.work_inv[parent_id])
540
 
                            mutter('%s selected for commit because of %s',
541
 
                                   self.new_inv.id2path(parent_id), path)
542
 
 
543
 
                        ie = self.new_inv[parent_id]
544
 
                        if ie.revision is not None:
545
 
                            ie.revision = None
546
 
                            mutter('%s selected for commit because of %s',
547
 
                                   self.new_inv.id2path(parent_id), path)
548
 
                        parent_id = ie.parent_id
549
 
            mutter('%s selected for commit', path)
550
 
            self._select_entry(new_ie)
551
 
 
552
 
    def _select_entry(self, new_ie):
553
 
        """Make new_ie be considered for committing."""
554
 
        ie = new_ie.copy()
555
 
        ie.revision = None
556
 
        self.new_inv.add(ie)
557
 
        return ie
558
 
 
559
 
    def _carry_entry(self, file_id):
560
 
        """Carry the file unchanged from the basis revision."""
561
 
        if self.basis_inv.has_id(file_id):
562
 
            self.new_inv.add(self.basis_inv[file_id].copy())
563
 
 
564
 
    def _report_deletes(self):
565
 
        for file_id in self.basis_inv:
566
 
            if file_id not in self.new_inv:
567
 
                self.reporter.deleted(self.basis_inv.id2path(file_id))
568
 
 
569
 
def _gen_revision_id(config, when):
570
 
    """Return new revision-id."""
571
 
    s = '%s-%s-' % (config.user_email(), compact_date(when))
572
 
    s += hexlify(rand_bytes(8))
573
 
    return s
 
629
            hook_master = self.branch
 
630
            hook_local = None
 
631
        else:
 
632
            hook_master = self.master_branch
 
633
            hook_local = self.branch
 
634
        # With bound branches, when the master is behind the local branch,
 
635
        # the 'old_revno' and old_revid values here are incorrect.
 
636
        # XXX: FIXME ^. RBC 20060206
 
637
        if self.parents:
 
638
            old_revid = self.parents[0]
 
639
        else:
 
640
            old_revid = breezy.revision.NULL_REVISION
 
641
 
 
642
        if hook_name == "pre_commit":
 
643
            future_tree = self.builder.revision_tree()
 
644
            tree_delta = future_tree.changes_from(self.basis_tree,
 
645
                                             include_root=True)
 
646
 
 
647
        for hook in Branch.hooks[hook_name]:
 
648
            # show the running hook in the progress bar. As hooks may
 
649
            # end up doing nothing (e.g. because they are not configured by
 
650
            # the user) this is still showing progress, not showing overall
 
651
            # actions - its up to each plugin to show a UI if it want's to
 
652
            # (such as 'Emailing diff to foo@example.com').
 
653
            self.pb_stage_name = "Running %s hooks [%s]" % \
 
654
                (hook_name, Branch.hooks.get_hook_name(hook))
 
655
            self._emit_progress()
 
656
            if 'hooks' in debug.debug_flags:
 
657
                mutter("Invoking commit hook: %r", hook)
 
658
            if hook_name == "post_commit":
 
659
                hook(hook_local, hook_master, old_revno, old_revid, new_revno,
 
660
                     self.rev_id)
 
661
            elif hook_name == "pre_commit":
 
662
                hook(hook_local, hook_master,
 
663
                     old_revno, old_revid, new_revno, self.rev_id,
 
664
                     tree_delta, future_tree)
 
665
 
 
666
    def _update_builder_with_changes(self):
 
667
        """Update the commit builder with the data about what has changed.
 
668
        """
 
669
        specific_files = self.specific_files
 
670
        mutter("Selecting files for commit with filter %r", specific_files)
 
671
 
 
672
        self._check_strict()
 
673
        iter_changes = self.work_tree.iter_changes(self.basis_tree,
 
674
            specific_files=specific_files)
 
675
        if self.exclude:
 
676
            iter_changes = filter_excluded(iter_changes, self.exclude)
 
677
        iter_changes = self._filter_iter_changes(iter_changes)
 
678
        for file_id, path, fs_hash in self.builder.record_iter_changes(
 
679
            self.work_tree, self.basis_revid, iter_changes):
 
680
            self.work_tree._observed_sha1(file_id, path, fs_hash)
 
681
 
 
682
    def _filter_iter_changes(self, iter_changes):
 
683
        """Process iter_changes.
 
684
 
 
685
        This method reports on the changes in iter_changes to the user, and 
 
686
        converts 'missing' entries in the iter_changes iterator to 'deleted'
 
687
        entries. 'missing' entries have their
 
688
 
 
689
        :param iter_changes: An iter_changes to process.
 
690
        :return: A generator of changes.
 
691
        """
 
692
        reporter = self.reporter
 
693
        report_changes = reporter.is_verbose()
 
694
        deleted_paths = []
 
695
        for change in iter_changes:
 
696
            if report_changes:
 
697
                old_path = change[1][0]
 
698
                new_path = change[1][1]
 
699
                versioned = change[3][1]
 
700
            kind = change[6][1]
 
701
            versioned = change[3][1]
 
702
            if kind is None and versioned:
 
703
                # 'missing' path
 
704
                if report_changes:
 
705
                    reporter.missing(new_path)
 
706
                deleted_paths.append(change[1][1])
 
707
                # Reset the new path (None) and new versioned flag (False)
 
708
                change = (change[0], (change[1][0], None), change[2],
 
709
                    (change[3][0], False)) + change[4:]
 
710
                new_path = change[1][1]
 
711
                versioned = False
 
712
            elif kind == 'tree-reference':
 
713
                if self.recursive == 'down':
 
714
                    self._commit_nested_tree(change[0], change[1][1])
 
715
            if change[3][0] or change[3][1]:
 
716
                yield change
 
717
                if report_changes:
 
718
                    if new_path is None:
 
719
                        reporter.deleted(old_path)
 
720
                    elif old_path is None:
 
721
                        reporter.snapshot_change(gettext('added'), new_path)
 
722
                    elif old_path != new_path:
 
723
                        reporter.renamed(gettext('renamed'), old_path, new_path)
 
724
                    else:
 
725
                        if (new_path or 
 
726
                            self.work_tree.branch.repository._format.rich_root_data):
 
727
                            # Don't report on changes to '' in non rich root
 
728
                            # repositories.
 
729
                            reporter.snapshot_change(gettext('modified'), new_path)
 
730
            self._next_progress_entry()
 
731
        # Unversion files that were found to be deleted
 
732
        self.deleted_paths = deleted_paths
 
733
 
 
734
    def _check_strict(self):
 
735
        # XXX: when we use iter_changes this would likely be faster if
 
736
        # iter_changes would check for us (even in the presence of
 
737
        # selected_files).
 
738
        if self.strict:
 
739
            # raise an exception as soon as we find a single unknown.
 
740
            for unknown in self.work_tree.unknowns():
 
741
                raise StrictCommitFailed()
 
742
 
 
743
    def _commit_nested_tree(self, file_id, path):
 
744
        "Commit a nested tree."
 
745
        sub_tree = self.work_tree.get_nested_tree(path, file_id)
 
746
        # FIXME: be more comprehensive here:
 
747
        # this works when both trees are in --trees repository,
 
748
        # but when both are bound to a different repository,
 
749
        # it fails; a better way of approaching this is to
 
750
        # finally implement the explicit-caches approach design
 
751
        # a while back - RBC 20070306.
 
752
        if sub_tree.branch.repository.has_same_location(
 
753
            self.work_tree.branch.repository):
 
754
            sub_tree.branch.repository = \
 
755
                self.work_tree.branch.repository
 
756
        try:
 
757
            return sub_tree.commit(message=None, revprops=self.revprops,
 
758
                recursive=self.recursive,
 
759
                message_callback=self.message_callback,
 
760
                timestamp=self.timestamp, timezone=self.timezone,
 
761
                committer=self.committer,
 
762
                allow_pointless=self.allow_pointless,
 
763
                strict=self.strict, verbose=self.verbose,
 
764
                local=self.local, reporter=self.reporter)
 
765
        except PointlessCommit:
 
766
            return self.work_tree.get_reference_revision(path, file_id)
 
767
 
 
768
    def _set_progress_stage(self, name, counter=False):
 
769
        """Set the progress stage and emit an update to the progress bar."""
 
770
        self.pb_stage_name = name
 
771
        self.pb_stage_count += 1
 
772
        if counter:
 
773
            self.pb_entries_count = 0
 
774
        else:
 
775
            self.pb_entries_count = None
 
776
        self._emit_progress()
 
777
 
 
778
    def _next_progress_entry(self):
 
779
        """Emit an update to the progress bar and increment the entry count."""
 
780
        self.pb_entries_count += 1
 
781
        self._emit_progress()
 
782
 
 
783
    def _emit_progress(self):
 
784
        if self.pb_entries_count is not None:
 
785
            text = gettext("{0} [{1}] - Stage").format(self.pb_stage_name,
 
786
                self.pb_entries_count)
 
787
        else:
 
788
            text = gettext("%s - Stage") % (self.pb_stage_name, )
 
789
        self.pb.update(text, self.pb_stage_count, self.pb_stage_total)