Удовольствие от строительства библиотеки лишь отчасти компенсировало раздражение Роберта из-за стычек с различными сотрудниками факультета математики. Мелочные институтские интриги иногда вызывали у него вспышки гнева. «Проблема в том, – сообщил один из попечителей Льюису Строссу, – что Роберт любит ссоры и, в принципе, ненавидит людей. Ему следовало бы предложить уйти». Стросс упивался подобными доносами, но набрать достаточного для изгнания Оппенгеймера числа голосов все равно не мог.
И тут весной 1965 года Оппенгеймер заявил попечительскому совету, что решил покинуть должность в июне следующего года, когда закончится очередной учебный год. Стросс был среди тех, кто услышал эту новость напрямую от Оппенгеймера. Роберт назвал три причины ухода. Во-первых, от пенсионного возраста – шестидесяти пяти лет – его отделяли всего два года. Он не видел причины «сидеть и ждать звонка». Во-вторых, Китти «страдала от болезни, которую врачи считали неизлечимой». (В своих записках Стросс язвительно назвал недуг Китти дипсоманией – непреодолимым влечением к алкогольным напиткам.) Роберт пояснил, что это обстоятельство больше не позволяет им принимать у себя гостей или коллег. В-третьих, его отношения с некоторыми сотрудниками института, в особенности факультета математики, были «нетерпимы и становились все хуже».
Роберт собирался публично объявить о своем решении только через несколько месяцев, возможно, осенью. Однако в тот же вечер он принимал у себя институтских коллег, и Китти проболталась. Так как новость больше нельзя было утаить, попечители на скорую руку составили заявление для прессы, и сообщение появилось в газетах в воскресенье 25 апреля 1965 года.
Оппенгеймер уходил без особого сожаления, за исключением того, что ему приходилось покидать Олден-Мэнор, особняк, в котором он и Китти прожили почти двадцать лет. Роберт утешал себя мыслью о том, что попечители решили построить для него на территории института другой дом либо предоставить еще какое-нибудь жилье. Оппенгеймер нанял архитектора Генри Джендела и вместе с ним сделал макет нового дома – современной одноэтажной постройки из стекла и стали на участке в двухстах метрах ниже по дороге, ведущей к Олден-Мэнору. Однако Стросс явно в качестве личной мести использовал свое все еще значительное влияние члена попечительского совета, чтобы заблокировать проект. 8 декабря 1965 года Стросс заявил другим попечителям, что смотрит на эти планы «без энтузиазма». Позволить Оппенгеймеру жить в кампусе, доказывал он, тем более поблизости от Олден-Мэнора – ошибка. Еще один попечитель Гарольд К. Хохшильд перебил его, сказав «даже в Принстоне будет слишком близко». Стросс быстро убедил попечителей взять обещание обратно. Когда об этом на другой день сообщили Оппенгеймеру, он был «взбешен». Если таково решение совета, заявил он, то его ноги не будет в Принстоне. Гнев Роберта еще можно было понять, но Китти выместила свое негодование на одном из попечителей и его жене, которая пожаловалась Строссу на «возникший крайне неприятный разговор». Стросс держал свое невидимое влияние в секрете, Оппенгеймерам оставалось лишь строить догадки. Так дела обстояли в декабре. Однако к февралю 1966 года Оппенгеймеру каким-то образом удалось убедить членов совета попечителей снова вернуться к их обещанию. К жуткому недовольству Стросса, Оппенгеймеру позволили построить дом в том месте, которое он выбрал. Строительство началось в сентябре 1966 года и закончилось весной на следующий год. Увы, пожить в новом доме Роберту не довелось.
Осенью 1965 года Оппи явился к своему врачу на обследование. Такие визиты были редкостью, тем не менее в тот вечер он объявил дома, что совершенно здоров. «Я еще всех вас переживу», – пошутил он. Прошло два месяца, и кашель, вызванный курением, усугубился. Встречая Рождество на острове Сент-Джон, Роберт пожаловался Сис Фрэнк на «жуткую боль в горле» и задумчиво добавил: «Наверно, я многовато курю». Китти решила, что он сильно простудился. Наконец, в феврале 1966 года она привезла мужа в Нью-Йорк к врачу. Диагноз был однозначен и не оставлял надежды. Китти по телефону сообщила новость Верне Хобсон. «У Роберта рак», – прошептала она.
Четыре десятка лет постоянного курения сказались на горле ученого. Услышав «ужасную новость», Артур Шлезингер-младший немедленно написал Роберту письмо: «Я лишь отдаленно могу себе представить, насколько вам будет тяжело ближайшие месяцы. Вы больше других сталкивались с более ужасными вещами в эту ужасную эпоху, но подавали всем нам пример нравственной отваги, целеустремленности и выдержки».