Рабе несколько часов допрашивали в управлении гестапо. Его отпустили лишь после того, как его работодатель Карл Фридрих фон Симен поручился за него и пообещал, что Рабе воздержится от столь откровенных высказываний о японцах. Рабе предупредили, чтобы он никогда больше не выступал, не участвовал в обсуждениях и не писал на эту тему, а прежде всего – никогда никому не показывал фильм Джона Мэйджи. После освобождения Рабе компания «Сименс» незамедлительно отправила его за границу, вероятно, для его же безопасности. Последующие несколько месяцев Рабе работал в Афганистане, помогая немецким гражданам покинуть страну. В октябре немецкое правительство вернуло ему доклад, но не копию фильма Джона Мэйджи. (Рабе так и не узнал, читал ли Гитлер его доклад и видел ли фильм, хотя сегодня его родственники убеждены, что да.) Немецкое правительство сообщило Рабе, что его доклад был отправлен в министерство экономики, где его прочли представители высших правительственных кругов, но не следует ожидать, что из-за этого германская политика в отношении Японии хоть как-то изменится.
Последующие несколько лет стали для Рабе кошмаром. Его квартиру разбомбили, а вторжение русских в Берлин обрекло его семью на нищету. Урсула Рейнхардт убеждена, что они смогли выжить лишь потому, что жили в британском, а не советском секторе Берлина. Рабе продолжал периодически работать на компанию «Сименс», переводя экономическую корреспонденцию на английский, но маленького жалованья едва хватало, чтобы содержать семью.
Первые послевоенные годы превратились для Рабе в длинную цепочку злостных обвинений. Сперва его арестовали советские власти, допрашивавшие его трое суток под безжалостным светом мощных ламп. Затем его арестовали британцы, которые мучили его целый день, но затем выдали ему разрешение на работу. (Это разрешение не имело для Рабе особой ценности, поскольку в компании «Сименс» все еще не было для него постоянной должности.) Окончательное унижение последовало, когда немецкий знакомый донес на Рабе, ввергнув его в долгий и затянутый процесс «денацификации»; ему пришлось оплачивать собственную защиту в суде, в итоге лишившись разрешения на работу и растратив все свои сбережения и силы. Ютясь в крошечной комнатке вместе с семьей и борясь с холодом и голодом, Рабе был вынужден постепенно распродать свою любимую коллекцию китайских произведений искусства американским военным, чтобы купить фасоли, хлеба и мыла. От недоедания у него началась кожная болезнь, а свалившиеся на него горе и стресс подорвали здоровье. В Нанкине он был легендой, но в Германии превратился в умирающего нищего.
Отрывки из дневника Рабе показывают его душевное состояние в 1945–1946 годах: