/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to tools/rst2prettyhtml.py

  • Committer: John Arbash Meinel
  • Date: 2009-10-29 16:15:43 UTC
  • mto: This revision was merged to the branch mainline in revision 4780.
  • Revision ID: john@arbash-meinel.com-20091029161543-tdqlm2l4e2z5o7le
We don't have to pad 'short' records.

When writing a row, we reserve 120 bytes from the first node so that we
can write our 'B+Tree Graph Index' signature and other meta-information.
For the root node, we don't always use the 120 bytes, and for non-root
rows, we don't use that data at all. So we usually pad back that
record. However, for indexes that fit entirely in the root record,
we don't pad them to 4096, and it turns out we don't need to pad
them with the spare 120 bytes either.

I was doing a test with lots of 'chained' btree indexes, and this
extra padding ended up being 4.6M => 4.3M of wasted space. I imagine
that bzr-search will have a similar issue with tiny indexes.

Show diffs side-by-side

added added

removed removed

Lines of Context:
tools/rst2prettyhtml.py
 
1
#!/usr/bin/env python
 
2
 
 
3
import errno
 
4
import os
 
5
from StringIO import StringIO
 
6
import sys
 
7
 
 
8
try:
 
9
    from docutils.core import publish_file
 
10
    from docutils.parsers import rst
 
11
except ImportError:
 
12
    print "Missing dependency.  Please install docutils."
 
13
    sys.exit(1)
 
14
try:
 
15
    from elementtree.ElementTree import XML
 
16
    from elementtree import HTMLTreeBuilder
 
17
except ImportError:
 
18
    print "Missing dependency.  Please install ElementTree."
 
19
    sys.exit(1)
 
20
try:
 
21
    import kid
 
22
except ImportError:
 
23
    print "Missing dependency.  Please install Kid."
 
24
    sys.exit(1)
 
25
 
 
26
 
 
27
def kidified_rest(rest_file, template_name):
 
28
    xhtml_file = StringIO()
 
29
    # prevent docutils from autoclosing the StringIO
 
30
    xhtml_file.close = lambda: None
 
31
    xhtml = publish_file(rest_file, writer_name='html', destination=xhtml_file,
 
32
                         settings_overrides={"doctitle_xform": 0} 
 
33
    
 
34
    )
 
35
    xhtml_file.seek(0)
 
36
    xml = HTMLTreeBuilder.parse(xhtml_file)
 
37
    head = xml.find('head')
 
38
    body = xml.find('body')
 
39
    assert head is not None
 
40
    assert body is not None
 
41
    template=kid.Template(file=template_name, 
 
42
                          head=head, body=body)
 
43
    return (template.serialize(output="html"))
 
44
 
 
45
 
 
46
def safe_open(filename, mode):
 
47
    try:
 
48
        return open(filename, mode + 'b')
 
49
    except IOError, e:
 
50
        if e.errno != errno.ENOENT:
 
51
            raise
 
52
        sys.stderr.write('file not found: %s\n' % sys.argv[2])
 
53
        sys.exit(3)
 
54
 
 
55
 
 
56
def main(template, source=None, target=None):
 
57
    if source is not None:
 
58
        rest_file = safe_open(source, 'r')
 
59
    else:
 
60
        rest_file = sys.stdin
 
61
    if target is not None:
 
62
        out_file = safe_open(target, 'w')
 
63
    else:
 
64
        out_file = sys.stdout
 
65
    out_file.write(kidified_rest(rest_file, template))
 
66
 
 
67
assert len(sys.argv) > 1
 
68
 
 
69
# Strip options so only the arguments are passed
 
70
args = [x for x in sys.argv[1:] if not x.startswith('-')]
 
71
main(*args)