Change the api a bit.

When expanding, we can just get the simple set of all file-ids, along
with a dict mapping parents => children. That is enough to allow
us to walk in proper sorted order.