В середине двадцатых у Кёлера возникли серьезные проблемы в личной жизни. Он развелся с женой и женился на студентке из Швеции (кстати, нередкий в истории науки случай, когда «кризис середины жизни» толкает женатого профессора в объятия молоденькой почитательницы). По решению суда Кёлер был лишен контактов со своими четырьмя (!) детьми от первого брака. В результате переживаний у него возник сильный тремор рук, что становилось особенно заметно в минуты волнения. Чтобы оценить настроение шефа, сотрудники лаборатории каждое утро внимательно следили за подрагиванием его пальцев.
28 апреля 1933 г. в газете
Его статья уже не могла предотвратить надвигавшийся кошмар. Но сам факт ее публикации был знаменателен. Это было последнее легальное антинацистское выступление в немецкой печати, и психологи вправе гордиться, что его автором был их коллега.
Кёлер отдавал себе отчет в возможных последствиях своего шага и сознательно готовился к аресту. Зная, что гестаповцы любят являться к своим жертвам среди ночи, он после публикации всю ночь не ложился спать и музицировал вместе с верными друзьями. Ареста, однако, не последовало. (Еще один повод для подозрений – не прежние ли заслуги секретного агента сыграли тут свою роль?). Но нелояльного профессора взяли на заметку. Возле аудиторий, где он вел занятия, замелькали фигуры штурмовиков, то и дело провоцировавших сотрудников Кёлера на стычки. Трижды дело доходило до массовых потасовок.
Легко понять, с каким воодушевлением ученый воспринял приглашение прочесть курс лекций в Соединенных Штатах. Он не оставлял надежды, что за время его отсутствия ситуация в стране нормализуется, и он сможет спокойно вернуться к академическим занятиям. Этим надеждам не суждено было сбыться. С родины приходили известия о том, что все его сотрудники изгнаны из университета и его собственное место занято более лояльным профессором. В то же время нацисты не упускали из поля зрения опального ученого – находясь в Америке, он получил из Германии официальное предложение подписать клятву личной верности Гитлеру. Кёлер понял, что возвращаться ему некуда. Скрепя сердце он «выбрал свободу».
На родину он так и не вернулся, хотя в 60-е годы был провозглашен почетным жителем Берлина и избран почетным президентом Немецкого психологического общества. Впрочем, ему не приходилось жаловаться на недостаток признания своих заслуг во всем мире. В разные годы он был удостоен звания почетного доктора в Пенсильванском, Чикагском, Фрейбургском, Мюнстерском, Тюбингенском, Упсальском университетах. В Америке он стал членом Американской академии наук и искусств, Американского философского общества, Национальной академии наук. Американские психологи в знак признания его заслуг в 1957 г. от имени Американской Психологической Ассоциации вручили ему премию «За выдающийся вклад в науку», а в следующем году избрали его президентом ассоциации.