1
 
# Copyright (C) 2005 Canonical Ltd
 
3
 
# This program is free software; you can redistribute it and/or modify
 
4
 
# it under the terms of the GNU General Public License as published by
 
5
 
# the Free Software Foundation; either version 2 of the License, or
 
6
 
# (at your option) any later version.
 
8
 
# This program is distributed in the hope that it will be useful,
 
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
 
# GNU General Public License for more details.
 
13
 
# You should have received a copy of the GNU General Public License
 
14
 
# along with this program; if not, write to the Free Software
 
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
18
 
## XXX: This is pretty slow on high-latency connections because it
 
19
 
## doesn't keep the HTTP connection alive.  If you have a smart local
 
20
 
## proxy it may be much better.  Eventually I want to switch to
 
21
 
## urlgrabber which should use HTTP much more efficiently.
 
24
 
import urllib2, gzip, zlib
 
26
 
from cStringIO import StringIO
 
28
 
from errors import BzrError
 
29
 
from revision import Revision
 
30
 
from inventory import Inventory
 
32
 
# h = HTTPConnection('localhost:8000')
 
33
 
# h = HTTPConnection('bazaar-ng.org')
 
35
 
# velocitynet.com.au transparently proxies connections and thereby
 
36
 
# breaks keep-alive -- sucks!
 
39
 
import urlgrabber.keepalive
 
40
 
urlgrabber.keepalive.DEBUG = 2
 
44
 
prefix = 'http://localhost:8000'
 
45
 
# prefix = 'http://bazaar-ng.org/bzr/main/'
 
47
 
def get_url(path, compressed=False):
 
52
 
        url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
 
56
 
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
 
57
 
    except urllib2.URLError, e:
 
58
 
        raise BzrError("remote fetch failed: %r: %s" % (url, e))
 
65
 
history = get_url('/.bzr/revision-history').readlines()
 
66
 
num_revs = len(history)
 
67
 
for i, rev_id in enumerate(history):
 
68
 
    rev_id = rev_id.rstrip()
 
69
 
    print 'read revision %d/%d' % (i, num_revs)
 
71
 
    # python gzip needs a seekable file (!!) but the HTTP response
 
72
 
    # isn't, so we need to buffer it
 
74
 
    rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
 
77
 
    rev = Revision.read_xml(rev_f)
 
79
 
    inv_id = rev.inventory_id
 
80
 
    if inv_id not in got_invs:
 
81
 
        print 'get inventory %s' % inv_id
 
82
 
        inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
 
84
 
        inv = Inventory.read_xml(inv_f)
 
85
 
        print '%4d inventory entries' % len(inv)
 
87
 
        for path, ie in inv.iter_entries():
 
91
 
            if text_id in got_texts:
 
93
 
            print '  fetch %s text {%s}' % (path, text_id)
 
94
 
            text_f = get_url('/.bzr/text-store/%s' % text_id,
 
96
 
            got_texts.add(text_id)