I bokens første del, Portrett av en usynlig mann, forteller forfatteren om sine følelser etter farens død og om minnene han har om faren. I den andre delen, Minnenes bok, skifter perspektivet til Austers egen rolle som far.