/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/tests/treeshape.py

  • Committer: John Arbash Meinel
  • Date: 2009-10-29 16:15:43 UTC
  • mto: This revision was merged to the branch mainline in revision 4780.
  • Revision ID: john@arbash-meinel.com-20091029161543-tdqlm2l4e2z5o7le
We don't have to pad 'short' records.

When writing a row, we reserve 120 bytes from the first node so that we
can write our 'B+Tree Graph Index' signature and other meta-information.
For the root node, we don't always use the 120 bytes, and for non-root
rows, we don't use that data at all. So we usually pad back that
record. However, for indexes that fit entirely in the root record,
we don't pad them to 4096, and it turns out we don't need to pad
them with the spare 120 bytes either.

I was doing a test with lots of 'chained' btree indexes, and this
extra padding ended up being 4.6M => 4.3M of wasted space. I imagine
that bzr-search will have a similar issue with tiny indexes.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/treeshape.py
 
1
# Copyright (C) 2005 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
 
 
18
"""Test helper for constructing and testing directories.
 
19
 
 
20
This module transforms filesystem directories to and from Python lists.
 
21
As a Python list the descriptions can be stored in test cases, compared,
 
22
etc.
 
23
"""
 
24
 
 
25
# TODO: Script to write a description of a directory for testing
 
26
# TODO: Helper that compares two structures and raises a helpful error
 
27
# where they differ.  Option to ignore some files or directories in the
 
28
# comparison.
 
29
 
 
30
import os
 
31
import stat
 
32
 
 
33
from bzrlib.trace import warning
 
34
from bzrlib.osutils import pathjoin
 
35
 
 
36
def build_tree_contents(template):
 
37
    """Reconstitute some files from a text description.
 
38
 
 
39
    Each element of template is a tuple.  The first element is a filename,
 
40
    with an optional ending character indicating the type.
 
41
 
 
42
    The template is built relative to the Python process's current
 
43
    working directory.
 
44
    """
 
45
    for tt in template:
 
46
        name = tt[0]
 
47
        if name[-1] == '/':
 
48
            os.mkdir(name)
 
49
        elif name[-1] == '@':
 
50
            raise NotImplementedError('symlinks not handled yet')
 
51
        else:
 
52
            f = file(name, 'wb')
 
53
            try:
 
54
                f.write(tt[1])
 
55
            finally:
 
56
                f.close()
 
57
 
 
58
 
 
59
def capture_tree_contents(top):
 
60
    """Make a Python datastructure description of a tree.
 
61
 
 
62
    If top is an absolute path the descriptions will be absolute."""
 
63
    for dirpath, dirnames, filenames in os.walk(top):
 
64
        yield (dirpath + '/', )
 
65
        filenames.sort()
 
66
        for fn in filenames:
 
67
            fullpath = pathjoin(dirpath, fn)
 
68
            if (fullpath[-1] in '@/'):
 
69
                raise AssertionError(fullpath)
 
70
            info = os.lstat(fullpath)
 
71
            if stat.S_ISLNK(info.st_mode):
 
72
                yield (fullpath + '@', os.readlink(fullpath))
 
73
            elif stat.S_ISREG(info.st_mode):
 
74
                yield (fullpath, file(fullpath, 'rb').read())
 
75
            else:
 
76
                warning("can't capture file %s with mode %#o",
 
77
                        fullpath, info.st_mode)
 
78
                pass