Однако Дмитрий Анкудинов, новый директор музея, вновь развязал кампанию против Павла. Он отобрал личную библиотеку Павла и уведомил подольские власти о том, что Павел задолжал музею несколько сотен рублей за проживание и питание. В июле Павел, представ перед подольским народным судом, должен был объяснить, как могло случиться, что в течение года, не имея легальной работы, он кормил и одевал свою семью. Павел заявил, что смог заработать, переводя статьи из американских научных журналов и продавая свои акварели; он сообщил суду, что пытался зарегистрироваться на Московской бирже труда, но ему как лишенцу было отказано. Дело Павла дошло до Президиума ВЦИК, который решил восстановить его в гражданских правах (и вернуть ему библиотеку), но обязал его и его семью выселиться. 29 октября 1929 года Павел, Прасковья и Василий навсегда оставили Остафьево.
Как ни тяжело было Павлу покидать Остафьево, это уберегло его от необходимости созерцать гибель любимой усадьбы. Разгром Остафьева начался еще при нем, летом 1929 года. Николай Ильин, сотрудник теперь уже Ленинской библиотеки, вспоминал, как директор библиотеки, неожиданно вызвав его из отпуска, отдал распоряжение спешно вывезти из подмосковного музея Остафьево все имевшиеся там книги (около пятидесяти тысяч томов). Усадьба понадобилась для размещения приезжавших на слет трех тысяч пионеров. Ильину было велено вывезти книги любым способом, не заботясь о сохранности, хотя бы даже пришлось покидать их в мешки, и доставить в Ленинскую библиотеку.
Ильин вспоминал, что, когда с немногочисленными помощниками он прибыл в Остафьево, там их встретили как могильщиков.