/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to tools/history2revfiles.py

  • Committer: v.ladeuil+lp at free
  • Date: 2006-10-04 09:40:03 UTC
  • mto: (2145.1.1 keepalive)
  • mto: This revision was merged to the branch mainline in revision 2146.
  • Revision ID: v.ladeuil+lp@free.fr-20061004094003-4a058914ddf1401a
Better design for bogus servers. Both urllib and pycurl pass tests.

* bzrlib/transport/http/_urllib2_wrappers.py:
(ConnectionHandler.create_connection): Raise InvalidURL instead of
urllib2.URLError.
(AbstractHTTPHandler.http_request): New method to override default
urllib2 headers.

* bzrlib/tests/test_http.py:
(TestHttpConnections): Renamed from HttpMixins. Note that this class
should be inherited by a class that also inherit from
TestCaseWithWebserver, this was already the case, but that's now
mentioned in the doc string.
(TestHttpConnections.test_has_on_bogus_host): Moved from
TestHttpConnections_urllib to TestHttpConnections so that pycurl get
tested too.
(TestWithTransport_pycurl): New class to share the pycurl dependency
testing when creating test cases for pycurl.
(TestHttpConnections_urllib, TestHttpConnections_pycurl): Simplified
accordingly.
(TestWallServer, TestWallServer_urllib, TestWallServer_pycurl): Use the
same pattern as TestHttpConnections to share tests between urllib and
pycurl.

* bzrlib/errors.py: 
(ConnectionError): Yes, the 'Connection error' part seems redundant
with the leading ConnectionError in the message, but so far, at least
one test (SSHVendorBadConnection.test_bad_connection_ssh) relies on it
and I don't know if suppressing this redundancy is the best way to
solve the problem.

Show diffs side-by-side

added added

removed removed

Lines of Context:
tools/history2revfiles.py
 
1
#! /usr/bin/python
 
2
 
 
3
# Copyright (C) 2005 Canonical Ltd
 
4
#
 
5
# This program is free software; you can redistribute it and/or modify
 
6
# it under the terms of the GNU General Public License as published by
 
7
# the Free Software Foundation; either version 2 of the License, or
 
8
# (at your option) any later version.
 
9
#
 
10
# This program is distributed in the hope that it will be useful,
 
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
13
# GNU General Public License for more details.
 
14
#
 
15
# You should have received a copy of the GNU General Public License
 
16
# along with this program; if not, write to the Free Software
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
18
 
 
19
"""Experiment in converting existing bzr branches to weaves."""
 
20
 
 
21
 
 
22
import bzrlib.branch
 
23
from bzrlib.revfile import Revfile
 
24
from bzrlib.progress import ProgressBar
 
25
import tempfile
 
26
import hotshot, hotshot.stats
 
27
import sys
 
28
 
 
29
def convert():
 
30
    pb = ProgressBar()
 
31
 
 
32
    inv_rf = Revfile('revfiles/inventory', 'w')
 
33
    last_text_sha = {}
 
34
    text_rfs = {}
 
35
 
 
36
    b = bzrlib.branch.find_branch('.')
 
37
 
 
38
    revno = 1
 
39
    rev_history = b.revision_history()
 
40
    last_idx = None
 
41
    for rev_id in rev_history:
 
42
        pb.update('converting inventory', revno, len(rev_history))
 
43
        inv_xml = b.get_inventory_xml(rev_id).read()
 
44
        new_idx = inv_rf.add(inv_xml, last_idx, compress=False)
 
45
 
 
46
        tree = b.revision_tree(rev_id)
 
47
        inv = tree.inventory
 
48
 
 
49
        # for each file in the inventory, put it into its own revfile
 
50
        for file_id in inv:
 
51
            ie = inv[file_id]
 
52
            if ie.kind != 'file':
 
53
                continue
 
54
            if last_text_sha.get(file_id) == ie.text_sha1:
 
55
                # same as last time
 
56
                continue
 
57
            last_text_sha[file_id] = ie.text_sha1
 
58
 
 
59
            # new text (though possibly already stored); need to store it
 
60
            text = tree.get_file(file_id).read()
 
61
            
 
62
            if file_id not in text_rfs:
 
63
                text_rfs[file_id] = Revfile('revfiles/' + file_id, 'w')
 
64
            rf = text_rfs[file_id]
 
65
 
 
66
            last = len(rf)
 
67
            if last == 0:
 
68
                last = None
 
69
            else:
 
70
                last -= 1
 
71
            rf.add(text, last, compress=True)
 
72
        
 
73
        last_idx = new_idx
 
74
        revno += 1
 
75
 
 
76
    pb.clear()
 
77
 
 
78
 
 
79
def profile_convert(): 
 
80
    prof_f = tempfile.NamedTemporaryFile()
 
81
 
 
82
    prof = hotshot.Profile(prof_f.name)
 
83
 
 
84
    prof.runcall(convert) 
 
85
    prof.close()
 
86
 
 
87
    stats = hotshot.stats.load(prof_f.name)
 
88
    #stats.strip_dirs()
 
89
    stats.sort_stats('time')
 
90
    ## XXX: Might like to write to stderr or the trace file instead but
 
91
    ## print_stats seems hardcoded to stdout
 
92
    stats.print_stats(20)
 
93
            
 
94
 
 
95
if '-p' in sys.argv[1:]:
 
96
    profile_convert()
 
97
else:
 
98
    convert()
 
99