/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/fetch.py

  • Committer: Andrew Bennetts
  • Date: 2008-01-24 03:21:43 UTC
  • mto: This revision was merged to the branch mainline in revision 3200.
  • Revision ID: andrew.bennetts@canonical.com-20080124032143-srxbec60xf9dt3xy
Just use urllib.unquote, as suggested by John's review.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/fetch.py
1
 
# Copyright (C) 2005, 2006 by Canonical Ltd
2
 
 
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
33
33
 
34
34
import bzrlib
35
35
import bzrlib.errors as errors
36
 
from bzrlib.errors import (InstallFailed, NoSuchRevision,
37
 
                           MissingText)
 
36
from bzrlib.errors import InstallFailed
 
37
from bzrlib.progress import ProgressPhase
 
38
from bzrlib.revision import is_null, NULL_REVISION
 
39
from bzrlib.symbol_versioning import (deprecated_function,
 
40
        deprecated_method,
 
41
        )
38
42
from bzrlib.trace import mutter
39
 
from bzrlib.progress import ProgressBar, ProgressPhase
40
 
from bzrlib.reconcile import RepoReconciler
41
 
from bzrlib.revision import NULL_REVISION
42
 
from bzrlib.symbol_versioning import *
 
43
import bzrlib.ui
43
44
 
 
45
from bzrlib.lazy_import import lazy_import
44
46
 
45
47
# TODO: Avoid repeatedly opening weaves so many times.
46
48
 
60
62
#   and add in all file versions
61
63
 
62
64
 
63
 
@deprecated_function(zero_eight)
64
 
def greedy_fetch(to_branch, from_branch, revision=None, pb=None):
65
 
    """Legacy API, please see branch.fetch(from_branch, last_revision, pb)."""
66
 
    f = Fetcher(to_branch, from_branch, revision, pb)
67
 
    return f.count_copied, f.failed_revisions
68
 
 
69
 
fetch = greedy_fetch
70
 
 
71
 
 
72
65
class RepoFetcher(object):
73
66
    """Pull revisions and texts from one repository to another.
74
67
 
78
71
    after running:
79
72
    count_copied -- number of revisions copied
80
73
 
81
 
    This should not be used directory, its essential a object to encapsulate
 
74
    This should not be used directly, it's essential a object to encapsulate
82
75
    the logic in InterRepository.fetch().
83
76
    """
84
 
    def __init__(self, to_repository, from_repository, last_revision=None, pb=None):
 
77
 
 
78
    def __init__(self, to_repository, from_repository, last_revision=None, pb=None,
 
79
        find_ghosts=True):
 
80
        """Create a repo fetcher.
 
81
 
 
82
        :param find_ghosts: If True search the entire history for ghosts.
 
83
        """
85
84
        # result variables.
86
85
        self.failed_revisions = []
87
86
        self.count_copied = 0
88
 
        if to_repository.control_files._transport.base == from_repository.control_files._transport.base:
89
 
            # check that last_revision is in 'from' and then return a no-operation.
90
 
            if last_revision not in (None, NULL_REVISION):
91
 
                from_repository.get_revision(last_revision)
92
 
            return
 
87
        if to_repository.has_same_location(from_repository):
 
88
            # repository.fetch should be taking care of this case.
 
89
            raise errors.BzrError('RepoFetcher run '
 
90
                    'between two objects at the same location: '
 
91
                    '%r and %r' % (to_repository, from_repository))
93
92
        self.to_repository = to_repository
94
93
        self.from_repository = from_repository
95
94
        # must not mutate self._last_revision as its potentially a shared instance
96
95
        self._last_revision = last_revision
 
96
        self.find_ghosts = find_ghosts
97
97
        if pb is None:
98
98
            self.pb = bzrlib.ui.ui_factory.nested_progress_bar()
99
99
            self.nested_pb = self.pb
104
104
        try:
105
105
            self.to_repository.lock_write()
106
106
            try:
107
 
                self.__fetch()
 
107
                self.to_repository.start_write_group()
 
108
                try:
 
109
                    self.__fetch()
 
110
                except:
 
111
                    self.to_repository.abort_write_group()
 
112
                    raise
 
113
                else:
 
114
                    self.to_repository.commit_write_group()
108
115
            finally:
109
116
                if self.nested_pb is not None:
110
117
                    self.nested_pb.finished()
119
126
        requested revisions, finally clearing the progress bar.
120
127
        """
121
128
        self.to_weaves = self.to_repository.weave_store
122
 
        self.to_control = self.to_repository.control_weaves
123
129
        self.from_weaves = self.from_repository.weave_store
124
 
        self.from_control = self.from_repository.control_weaves
125
130
        self.count_total = 0
126
131
        self.file_ids_names = {}
127
 
        pp = ProgressPhase('fetch phase', 4, self.pb)
 
132
        pp = ProgressPhase('Transferring', 4, self.pb)
128
133
        try:
129
 
            revs = self._revids_to_fetch()
130
 
            # something to do ?
131
 
            if revs:
132
 
                pp.next_phase()
133
 
                self._fetch_weave_texts(revs)
134
 
                pp.next_phase()
135
 
                self._fetch_inventory_weave(revs)
136
 
                pp.next_phase()
137
 
                self._fetch_revision_texts(revs)
138
 
                self.count_copied += len(revs)
 
134
            pp.next_phase()
 
135
            search = self._revids_to_fetch()
 
136
            if search is None:
 
137
                return
 
138
            if getattr(self, '_fetch_everything_for_search', None) is not None:
 
139
                self._fetch_everything_for_search(search, pp)
 
140
            else:
 
141
                # backward compatibility
 
142
                self._fetch_everything_for_revisions(search.get_keys, pp)
139
143
        finally:
140
144
            self.pb.clear()
141
145
 
 
146
    def _fetch_everything_for_search(self, search, pp):
 
147
        """Fetch all data for the given set of revisions."""
 
148
        # The first phase is "file".  We pass the progress bar for it directly
 
149
        # into item_keys_introduced_by, which has more information about how
 
150
        # that phase is progressing than we do.  Progress updates for the other
 
151
        # phases are taken care of in this function.
 
152
        # XXX: there should be a clear owner of the progress reporting.  Perhaps
 
153
        # item_keys_introduced_by should have a richer API than it does at the
 
154
        # moment, so that it can feed the progress information back to this
 
155
        # function?
 
156
        phase = 'file'
 
157
        pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
158
        try:
 
159
            revs = search.get_keys()
 
160
            data_to_fetch = self.from_repository.item_keys_introduced_by(revs, pb)
 
161
            for knit_kind, file_id, revisions in data_to_fetch:
 
162
                if knit_kind != phase:
 
163
                    phase = knit_kind
 
164
                    # Make a new progress bar for this phase
 
165
                    pb.finished()
 
166
                    pp.next_phase()
 
167
                    pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
168
                if knit_kind == "file":
 
169
                    self._fetch_weave_text(file_id, revisions)
 
170
                elif knit_kind == "inventory":
 
171
                    # XXX:
 
172
                    # Once we've processed all the files, then we generate the root
 
173
                    # texts (if necessary), then we process the inventory.  It's a
 
174
                    # bit distasteful to have knit_kind == "inventory" mean this,
 
175
                    # perhaps it should happen on the first non-"file" knit, in case
 
176
                    # it's not always inventory?
 
177
                    self._generate_root_texts(revs)
 
178
                    self._fetch_inventory_weave(revs, pb)
 
179
                elif knit_kind == "signatures":
 
180
                    # Nothing to do here; this will be taken care of when
 
181
                    # _fetch_revision_texts happens.
 
182
                    pass
 
183
                elif knit_kind == "revisions":
 
184
                    self._fetch_revision_texts(revs, pb)
 
185
                else:
 
186
                    raise AssertionError("Unknown knit kind %r" % knit_kind)
 
187
        finally:
 
188
            if pb is not None:
 
189
                pb.finished()
 
190
        self.count_copied += len(revs)
 
191
        
142
192
    def _revids_to_fetch(self):
 
193
        """Determines the exact revisions needed from self.from_repository to
 
194
        install self._last_revision in self.to_repository.
 
195
 
 
196
        If no revisions need to be fetched, then this just returns None.
 
197
        """
143
198
        mutter('fetch up to rev {%s}', self._last_revision)
144
199
        if self._last_revision is NULL_REVISION:
145
200
            # explicit limit of no revisions needed
146
201
            return None
147
 
        if (self._last_revision != None and
 
202
        if (self._last_revision is not None and
148
203
            self.to_repository.has_revision(self._last_revision)):
149
204
            return None
150
 
            
151
205
        try:
152
 
            return self.to_repository.missing_revision_ids(self.from_repository,
153
 
                                                           self._last_revision)
 
206
            return self.to_repository.search_missing_revision_ids(
 
207
                self.from_repository, self._last_revision,
 
208
                find_ghosts=self.find_ghosts)
154
209
        except errors.NoSuchRevision:
155
210
            raise InstallFailed([self._last_revision])
156
211
 
157
 
    def _fetch_weave_texts(self, revs):
158
 
        texts_pb = bzrlib.ui.ui_factory.nested_progress_bar()
159
 
        try:
160
 
            file_ids = self.from_repository.fileid_involved_by_set(revs)
161
 
            count = 0
162
 
            num_file_ids = len(file_ids)
163
 
            for file_id in file_ids:
164
 
                texts_pb.update("fetch texts", count, num_file_ids)
165
 
                count +=1
166
 
                try:
167
 
                    to_weave = self.to_weaves.get_weave(file_id,
168
 
                        self.to_repository.get_transaction())
169
 
                except errors.NoSuchFile:
170
 
                    # destination is empty, just copy it.
171
 
                    # this copies all the texts, which is useful and 
172
 
                    # on per-file basis quite cheap.
173
 
                    self.to_weaves.copy_multi(
174
 
                        self.from_weaves,
175
 
                        [file_id],
176
 
                        None,
177
 
                        self.from_repository.get_transaction(),
178
 
                        self.to_repository.get_transaction())
179
 
                else:
180
 
                    # destination has contents, must merge
181
 
                    from_weave = self.from_weaves.get_weave(file_id,
182
 
                        self.from_repository.get_transaction())
183
 
                    # we fetch all the texts, because texts do
184
 
                    # not reference anything, and its cheap enough
185
 
                    to_weave.join(from_weave)
186
 
        finally:
187
 
            texts_pb.finished()
188
 
 
189
 
    def _fetch_inventory_weave(self, revs):
190
 
        pb = bzrlib.ui.ui_factory.nested_progress_bar()
191
 
        try:
192
 
            pb.update("fetch inventory", 0, 2)
193
 
            to_weave = self.to_control.get_weave('inventory',
194
 
                    self.to_repository.get_transaction())
195
 
    
196
 
            child_pb = bzrlib.ui.ui_factory.nested_progress_bar()
197
 
            try:
198
 
                # just merge, this is optimisable and its means we dont
199
 
                # copy unreferenced data such as not-needed inventories.
200
 
                pb.update("fetch inventory", 1, 3)
201
 
                from_weave = self.from_repository.get_inventory_weave()
202
 
                pb.update("fetch inventory", 2, 3)
203
 
                # we fetch only the referenced inventories because we do not
204
 
                # know for unselected inventories whether all their required
205
 
                # texts are present in the other repository - it could be
206
 
                # corrupt.
207
 
                to_weave.join(from_weave, pb=child_pb, msg='merge inventory',
208
 
                              version_ids=revs)
209
 
            finally:
210
 
                child_pb.finished()
211
 
        finally:
212
 
            pb.finished()
 
212
    def _fetch_weave_text(self, file_id, required_versions):
 
213
        to_weave = self.to_weaves.get_weave_or_empty(file_id,
 
214
            self.to_repository.get_transaction())
 
215
        from_weave = self.from_weaves.get_weave(file_id,
 
216
            self.from_repository.get_transaction())
 
217
        # we fetch all the texts, because texts do
 
218
        # not reference anything, and its cheap enough
 
219
        to_weave.join(from_weave, version_ids=required_versions)
 
220
        # we don't need *all* of this data anymore, but we dont know
 
221
        # what we do. This cache clearing will result in a new read 
 
222
        # of the knit data when we do the checkout, but probably we
 
223
        # want to emit the needed data on the fly rather than at the
 
224
        # end anyhow.
 
225
        # the from weave should know not to cache data being joined,
 
226
        # but its ok to ask it to clear.
 
227
        from_weave.clear_cache()
 
228
        to_weave.clear_cache()
 
229
 
 
230
    def _fetch_inventory_weave(self, revs, pb):
 
231
        pb.update("fetch inventory", 0, 2)
 
232
        to_weave = self.to_repository.get_inventory_weave()
 
233
        child_pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
234
        try:
 
235
            # just merge, this is optimisable and its means we don't
 
236
            # copy unreferenced data such as not-needed inventories.
 
237
            pb.update("fetch inventory", 1, 3)
 
238
            from_weave = self.from_repository.get_inventory_weave()
 
239
            pb.update("fetch inventory", 2, 3)
 
240
            # we fetch only the referenced inventories because we do not
 
241
            # know for unselected inventories whether all their required
 
242
            # texts are present in the other repository - it could be
 
243
            # corrupt.
 
244
            to_weave.join(from_weave, pb=child_pb, msg='merge inventory',
 
245
                          version_ids=revs)
 
246
            from_weave.clear_cache()
 
247
        finally:
 
248
            child_pb.finished()
 
249
 
 
250
    def _generate_root_texts(self, revs):
 
251
        """This will be called by __fetch between fetching weave texts and
 
252
        fetching the inventory weave.
 
253
 
 
254
        Subclasses should override this if they need to generate root texts
 
255
        after fetching weave texts.
 
256
        """
 
257
        pass
213
258
 
214
259
 
215
260
class GenericRepoFetcher(RepoFetcher):
219
264
    It triggers a reconciliation after fetching to ensure integrity.
220
265
    """
221
266
 
222
 
    def _fetch_revision_texts(self, revs):
 
267
    def _fetch_revision_texts(self, revs, pb):
223
268
        """Fetch revision object texts"""
224
 
        rev_pb = bzrlib.ui.ui_factory.nested_progress_bar()
225
 
        try:
226
 
            to_txn = self.to_transaction = self.to_repository.get_transaction()
227
 
            count = 0
228
 
            total = len(revs)
229
 
            to_store = self.to_repository._revision_store
230
 
            for rev in revs:
231
 
                pb = bzrlib.ui.ui_factory.nested_progress_bar()
232
 
                try:
233
 
                    pb.update('copying revisions', count, total)
234
 
                    try:
235
 
                        sig_text = self.from_repository.get_signature_text(rev)
236
 
                        to_store.add_revision_signature_text(rev, sig_text, to_txn)
237
 
                    except errors.NoSuchRevision:
238
 
                        # not signed.
239
 
                        pass
240
 
                    to_store.add_revision(self.from_repository.get_revision(rev),
241
 
                                          to_txn)
242
 
                    count += 1
243
 
                finally:
244
 
                    pb.finished()
245
 
            # fixup inventory if needed: 
246
 
            # this is expensive because we have no inverse index to current ghosts.
247
 
            # but on local disk its a few seconds and sftp push is already insane.
248
 
            # so we just-do-it.
249
 
            # FIXME: repository should inform if this is needed.
250
 
            self.to_repository.reconcile()
251
 
        finally:
252
 
            rev_pb.finished()
 
269
        to_txn = self.to_transaction = self.to_repository.get_transaction()
 
270
        count = 0
 
271
        total = len(revs)
 
272
        to_store = self.to_repository._revision_store
 
273
        for rev in revs:
 
274
            pb.update('copying revisions', count, total)
 
275
            try:
 
276
                sig_text = self.from_repository.get_signature_text(rev)
 
277
                to_store.add_revision_signature_text(rev, sig_text, to_txn)
 
278
            except errors.NoSuchRevision:
 
279
                # not signed.
 
280
                pass
 
281
            to_store.add_revision(self.from_repository.get_revision(rev),
 
282
                                  to_txn)
 
283
            count += 1
 
284
        # fixup inventory if needed: 
 
285
        # this is expensive because we have no inverse index to current ghosts.
 
286
        # but on local disk its a few seconds and sftp push is already insane.
 
287
        # so we just-do-it.
 
288
        # FIXME: repository should inform if this is needed.
 
289
        self.to_repository.reconcile()
253
290
    
254
291
 
255
292
class KnitRepoFetcher(RepoFetcher):
260
297
    copy revision texts.
261
298
    """
262
299
 
263
 
    def _fetch_revision_texts(self, revs):
 
300
    def _fetch_revision_texts(self, revs, pb):
264
301
        # may need to be a InterRevisionStore call here.
265
302
        from_transaction = self.from_repository.get_transaction()
266
303
        to_transaction = self.to_repository.get_transaction()
276
313
        to_rf.join(from_rf, version_ids=revs)
277
314
 
278
315
 
279
 
class Fetcher(object):
280
 
    """Backwards compatability glue for branch.fetch()."""
281
 
 
282
 
    @deprecated_method(zero_eight)
283
 
    def __init__(self, to_branch, from_branch, last_revision=None, pb=None):
284
 
        """Please see branch.fetch()."""
285
 
        to_branch.fetch(from_branch, last_revision, pb)
 
316
class Inter1and2Helper(object):
 
317
    """Helper for operations that convert data from model 1 and 2
 
318
    
 
319
    This is for use by fetchers and converters.
 
320
    """
 
321
 
 
322
    def __init__(self, source, target):
 
323
        """Constructor.
 
324
 
 
325
        :param source: The repository data comes from
 
326
        :param target: The repository data goes to
 
327
        """
 
328
        self.source = source
 
329
        self.target = target
 
330
 
 
331
    def iter_rev_trees(self, revs):
 
332
        """Iterate through RevisionTrees efficiently.
 
333
 
 
334
        Additionally, the inventory's revision_id is set if unset.
 
335
 
 
336
        Trees are retrieved in batches of 100, and then yielded in the order
 
337
        they were requested.
 
338
 
 
339
        :param revs: A list of revision ids
 
340
        """
 
341
        # In case that revs is not a list.
 
342
        revs = list(revs)
 
343
        while revs:
 
344
            for tree in self.source.revision_trees(revs[:100]):
 
345
                if tree.inventory.revision_id is None:
 
346
                    tree.inventory.revision_id = tree.get_revision_id()
 
347
                yield tree
 
348
            revs = revs[100:]
 
349
 
 
350
    def generate_root_texts(self, revs):
 
351
        """Generate VersionedFiles for all root ids.
 
352
        
 
353
        :param revs: the revisions to include
 
354
        """
 
355
        inventory_weave = self.source.get_inventory_weave()
 
356
        parent_texts = {}
 
357
        versionedfile = {}
 
358
        to_store = self.target.weave_store
 
359
        for tree in self.iter_rev_trees(revs):
 
360
            revision_id = tree.inventory.root.revision
 
361
            root_id = tree.get_root_id()
 
362
            parents = inventory_weave.get_parents(revision_id)
 
363
            if root_id not in versionedfile:
 
364
                versionedfile[root_id] = to_store.get_weave_or_empty(root_id, 
 
365
                    self.target.get_transaction())
 
366
            _, _, parent_texts[root_id] = versionedfile[root_id].add_lines(
 
367
                revision_id, parents, [], parent_texts)
 
368
 
 
369
    def regenerate_inventory(self, revs):
 
370
        """Generate a new inventory versionedfile in target, convertin data.
 
371
        
 
372
        The inventory is retrieved from the source, (deserializing it), and
 
373
        stored in the target (reserializing it in a different format).
 
374
        :param revs: The revisions to include
 
375
        """
 
376
        for tree in self.iter_rev_trees(revs):
 
377
            parents = tree.get_parent_ids()
 
378
            self.target.add_inventory(tree.get_revision_id(), tree.inventory,
 
379
                                      parents)
 
380
 
 
381
 
 
382
class Model1toKnit2Fetcher(GenericRepoFetcher):
 
383
    """Fetch from a Model1 repository into a Knit2 repository
 
384
    """
 
385
    def __init__(self, to_repository, from_repository, last_revision=None,
 
386
                 pb=None, find_ghosts=True):
 
387
        self.helper = Inter1and2Helper(from_repository, to_repository)
 
388
        GenericRepoFetcher.__init__(self, to_repository, from_repository,
 
389
            last_revision, pb, find_ghosts)
 
390
 
 
391
    def _generate_root_texts(self, revs):
 
392
        self.helper.generate_root_texts(revs)
 
393
 
 
394
    def _fetch_inventory_weave(self, revs, pb):
 
395
        self.helper.regenerate_inventory(revs)
 
396
 
 
397
 
 
398
class Knit1to2Fetcher(KnitRepoFetcher):
 
399
    """Fetch from a Knit1 repository into a Knit2 repository"""
 
400
 
 
401
    def __init__(self, to_repository, from_repository, last_revision=None, 
 
402
                 pb=None, find_ghosts=True):
 
403
        self.helper = Inter1and2Helper(from_repository, to_repository)
 
404
        KnitRepoFetcher.__init__(self, to_repository, from_repository,
 
405
            last_revision, pb, find_ghosts)
 
406
 
 
407
    def _generate_root_texts(self, revs):
 
408
        self.helper.generate_root_texts(revs)
 
409
 
 
410
    def _fetch_inventory_weave(self, revs, pb):
 
411
        self.helper.regenerate_inventory(revs)
 
412
 
 
413
 
 
414
class RemoteToOtherFetcher(GenericRepoFetcher):
 
415
 
 
416
    def _fetch_everything_for_search(self, search, pp):
 
417
        data_stream = self.from_repository.get_data_stream_for_search(search)
 
418
        self.to_repository.insert_data_stream(data_stream)
 
419
 
 
420