Если сам Филлмор был не очень выразительной фигурой, то его супруга Абигейл очень быстро сжилась с ролью первой леди и, по существу дела, явилась основоположницей относительно самостоятельной общественной роли жены президента. Она ввела в обиход прием посетителей, откликалась на письма граждан, на которые отвечала лично и через помощниц. Ее считали законодательницей моды, причем она демонстрировала одежду, сшитую не только портными, но и при помощи машин, все чаще появлявшихся на фабриках. По свидетельству очевидцев, Филлмор советовался с женой и не принимал решений без учета ее мнения.
Филлмор долгое время колебался, выдвигать ли свою кандидатуру на выборах 1852 г. В конце концов он решил баллотироваться, но съезд Партии вигов в Балтиморе в июне 1852 г. после длительных дебатов и 52-х туров голосования (это был своего рода рекорд) высказался за кандидатуру генерала Уинфилда Скотта. Филлмор остался президентом, который так никогда и не был избран на этот пост. На выборах победил представитель Демократической партии Франклин Пирс. Последние месяцы пребывания Филлмора в Белом доме не ознаменовались какими-либо существенными событиями. 4 марта 1853 г. он передал свой пост новому президенту.
Менее чем через месяц после его ухода в отставку скончалась жена Филлмора Абигейл, простудившаяся на инаугурации Пирса. Бывшего президента продолжали преследовать беды. В июле следующего года от холеры умерла его дочь Мэри.
В какой-то мере придя в себя от потерь, Филлмор во 2-й половине 1855 — первой половине 1856 г. совершил длительную зарубежную поездку в Европу и на Ближний Восток, во время которой пропагандировал демократические институции своей страны. Принимали его с почетом. Ему была предложена степень почетного доктора гражданского права Оксфордского университета Великобритании, но он отклонил ее, ссылаясь на то, что не имеет научных достижений.
Тем временем его сторонники в США в 1856 г. развернули кампанию за выдвижение Филлмора в президенты в 1856 г. Его возвращение в США в июне этого года отмечалось как событие в Нью-Йорке, а затем и в других местах. Его поддерживали, однако, маловлиятельные группы, основным лозунгом которых было сохранение единства США путем взаимных уступок борющихся политических сил. Неудивительно, что Филлмор завоевал лишь 3-е место, по существу дела провалившись на выборах.
Возвратившись к правовой практике в Нью-Йорке, бывший президент вскоре женился во второй раз на богатой вдове Кэролайн Макинтош. Они обосновались в Буффало, где провели остаток жизни, занимаясь общественной деятельностью и благотворительностью. Среди их заслуг было основание исторического общества и госпиталя в этом городе.
В 1860-е гг. большинство вигов присоединились к Республиканской партии. Филлмор отказался последовать их примеру, отстаивая сохранение партии, хотя понимал, что это безнадежное дело.
Когда в 1861 г. началась Гражданская война, Филлмор объявил о полной поддержке севера, внес деньги в фонд ведения войны за сохранение единства страны и даже записался в милицию, хотя и признавал, что его отряд — это «дедушки с седыми головами», которые реально не будут в состоянии воевать. В то же время, будучи сторонником сохранения Союза во что бы то ни стало, он полагал, что администрация не предприняла необходимых мер для предотвращения войны, что стране угрожает раскол. До конца жизни он, будучи северянином, так и не стал рьяным поборником эмансипации, точно так же как оставался энергичным противником агрессивных рабовладельцев Юга. Неудивительно, что на выборах 1864 г. он поддержал не Авраама Линкольна, а кандидата Демократической партии Джорджа МакКлеллана, веря, что план демократов по немедленному прекращению войны и возвращению отделившихся штатов при условии сохранения в них рабовладения может быть реализован.
Состояние здоровья стареющего Милларда оставалось хорошим вплоть до того момента, когда в феврале 1874 г. у него произошло кровоизлияние в мозг, а за первым ударом 6 марта последовал второй. Через два дня он скончался.
Миллард Филлмор был похоронен на одном из кладбищ Буффало. На похороны его приехала большая группа государственных деятелей. Хотя Филлмор был не очень удачливым президентом, его памяти посвящены почтовые марки, в ряде городов, в частности в Сан-Франциско, есть улицы, названные его именем, а в штате Нью-Йорк — городок Филлмор. Его в наибольшей степени чтут в городе Буффало, которому он посвятил значительную часть своей государственной и общественной деятельности. На местном кладбище ежегодно проводятся церемонии, посвященные его памяти.
Основные издания:
ФРАНКЛИН ПИРС
ФРАНКЛИН ПИРС
23 ноября 1804 — 8 октября 1869
14-й президент:
4 марта 1853 — 4 марта 1857