При этом Иван всегда бросался на защиту старшего брата, когда кто-то из посторонних отпускал шутки в его адрес. Иван громогласно заявлял светской публике: «Прекрасно, что он носит русское платье, несмотря ни на какие шутки и насмешки, мы все должны были бы поступить так, да дрянны слишком…»
Сестры Аксаковы вспоминали, что во время своей смертельной болезни на острове Занте Константин часто звал Ивана, а последнее, что написал в жизни Иван, — воспоминания о старшем брате, оставшиеся неоконченными.
Аксаковы и в Москве, и в Абрамцеве всегда жили открытым домом, и поэтому им неизбежно приходилось то сдерживать натиск любопытствующих, то терпеть наветы сплетников и вымогательство проходимцев, то принимать порой у себя людей случайных и злонамеренных.
Вера Аксакова с грустью записывала в дневнике (декабрь 1854 года): «Большею частью люди, самые жаркие поклонники нашей семьи, или ее идеализируют до неестественности и даже до смешного, или доводят до такой крайности и до уродливости строгость нашего нравственного взгляда, или превозносят до такой степени наше общее образование, ученость даже <…>. Словом сказать, делают из нашей простой жизни (которая слагается сама собою <…>) что-то натянутое <…>. Неужели так трудно понять простоту нашей жизни! <...> мы живем так, потому что нам так живется, потому что иначе мы не можем жить, у нас нет ничего заранее придуманного, никакого плана заранее рассчитанного, мы не рисуемся сами перед собой в нашей жизни, которая полна истинных, действительных страданий, лишений всякого рода и многих душевных невидимых огорчений. <…> Всякий добрый человек найдет в нас сочувствие искреннее, и участие добрых людей нам дорого; но мы не нуждаемся в том пустом участии, которое больше похоже на любопытство, и особенно неприятны эти толки о нас от нечего делать <…>. Нам не нужно этой известности <…>»