/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to doc/developers/annotate.txt

  • Committer: John Arbash Meinel
  • Date: 2009-10-17 04:43:14 UTC
  • mto: This revision was merged to the branch mainline in revision 4756.
  • Revision ID: john@arbash-meinel.com-20091017044314-nlvrrqnz0f2wzcp4
change the GroupcompressBlock code a bit.
If the first decompress request is big enough, just decompress everything.
And when we do that, let go of the decompressobj.

After digging through the zlib code, it looks like 1 zlib stream object
contains a 5kB internal state, and another 4*64kB buffers. (about 260kB
of total state.)
That turns out to be quite a lot if you think about it.


In the case of branching a copy of 'bzr.dev' locally, this turned out
to be 383MB w/ bzr.dev and 345MB w/ only this patch. (So ~11% of peak).

Also, this was 'unreferenced' memory, because it is hidden in the
zlib internal state in working buffers. So it wasn't memory that Meliae
could find. \o/.

Show diffs side-by-side

added added

removed removed

Lines of Context:
doc/developers/annotate.txt
 
1
Annotate
 
2
========
 
3
 
 
4
Broadly tries to ascribe parts of the tree state to individual commits.
 
5
 
 
6
There appear to be three basic ways of generating annotations:
 
7
 
 
8
If the annotation works by asking the storage layer for successive full texts
 
9
then the scaling of this will be proportional to the time to diff throughout
 
10
the history of thing being annotated.
 
11
 
 
12
If the annotation works by asking the storage layer for successive deltas
 
13
within the history of the thing being annotated we believe we can make it scale
 
14
broadly proportional to the depth of the tree of revisions of the annotated
 
15
object.
 
16
 
 
17
If the annotation works by combining cached annotations such that creating a
 
18
full text recreates annotations for it then it will scale with the cost of
 
19
obtaining that text.
 
20
 
 
21
Generally we want our current annotations but it would be nice to be able to do
 
22
whitespace annotations and potentially other diff based annotations.
 
23
 
 
24
Some things to think about:
 
25
 
 
26
 * Perhaps multiparent deltas would allow us to not store the cached
 
27
   annotations in each delta without losing performance or accuracy.
 
28