We need the Packer class to cleanup if it is getting a Retry it isn't handling.

This is probably not the cleanest way to do it, but if we need Packer.new_pack.abort() to be
called, or we leave an open file handle around.