За академией утвердилась недобрая слава цензора, надзирателя, воинствующего борца за принципы социалистического реализма. Она сыграла незавидную роль не только в 1948 году, но и в декабре 1962 года в Манеже. Тогда Хрущев разругал картины, не укладывавшиеся в его представление об искусстве. Все тот же Серов, президент Академии художеств СССР, когда все руководители вышли из зала, воскликнул: "Мы победили!" Подразумевая под этим триумфом, что после выволочки, устроенной главой партии Эрнсту Неизвестному, Борису Жутовскому, Элию Билютину, таким как они художниками придется и дальше оставаться в тени. То есть пребывать в рядах непризнанных, на обочине официального искусства, без заказов, выставок в престижных залах, монографий о творчестве, без трибун в художественных журналах, без творческих командировок по стране и поездок за границу.
За черту искусства выводился не только весь авангард второй половины ХХ века, но даже те картины, которые собрали Морозов и Щукин. Их коллекции после закрытия Музея нового западного искусства свезли в подвалы Музея изобразительных искусств и не показывали. Картины разделили судьбу запрещенных цензурой книг, заключенных в так называемые спецхраны.
— Кто был против Матисса и Сезанна? — Академия! Там были реакционно настроенные люди, прихлебалы разные, — так отвечала на вопрос о советской академии в дни недавнего юбилея директор Музея изобразительных искусств Ирина Антонова.
Такое положение сохранялось до 1974 года. Директор музея готова была уйти в отставку, если бы и дальше не позволили выставить томившиеся в заключение свыше четверти века полотна великих французов. Подумать только, искусствоведы-академики считали картины Ван Гога, Гогена, Ренуара, Сезанна, Матисса недостойными висеть рядом с картинами западноевропейских художников. Даже когда в двух залах с большим трудом удалось развесить часть коллекции, то и тогда дирекцию упрекали в безыдейности. Один из академиков, по словам Антоновой, походил по этим двум залам, а потом между ним и директором музея состоялся нелицеприятный диалог:
— Не надо Сезанна выставлять!
— Вы питаетесь Сезанном, по вашей живописи это видно!
— Мне, художнику, можно, а публике нельзя…
Академия художеств СССР выступала против того, чтобы Москва и Париж обменялись выставками искусства 1900–1930 годов. Тогда из небытия появились на свет заклейменные тавром «формалисты» Кандинский, Малевич, Филонов, русский авангард, украшавший лучшие музеи мира. Впервые под крышей одной выставки в Москве появились классики социалистического реализма, удостоенные всех мыслимых наград, такие как Александр Герасимов, Борис Иогансон, и те живописцы, чьи имена вычеркнули из жизни, учебников, а картины их не выставляли, упрятали в подвалы. То были уехавшие из страны художники, эмигранты, жившие на Западе, и "внутренние эмигранты", которых причислили к «формалистам» — Марк Шагал, Александр Тышлер, Роберт Фальк, обруганный Хрущевым в Манеже.
Выставку "Москва — Париж" посетил Леонид Брежнев, не отличавшийся агрессивностью Никиты Хрущева. Он осмотрел экспозицию, не высказывая эмоций перед «формалистами» двух стран. Но когда дошел до картины Александра Герасимова "Ленин на трибуне", дальше не пошел, попросил стул, сел, долго смотрел на стоящего над толпой на фоне алых замен вождя. Глаза его увлажнились. Эту картину он понял моментально и прочувствовал.
Его соратник в Политбюро, секретарь по идеологии Суслов в кабинете на Старой площади долго разглядывал верстку альбома "Илья Глазунов", заполненного репродукциями картин на темы давнего прошлого Руси и иллюстрациями классиков русской литературы. Пролистал страницы и задержался на рисунках романа Мельникова-Печерского. Долго их рассматривал, после чего решил судьбу альбома, обреченного на казнь цензорами, приказавшими рассыпать набор перед выходом альбома в свет. А автору иллюстраций признался: "Я, глядя на ваши рисунки, словно побывал на родине, Волге". Картины и рисунки Ильи Глазунова Суслов понял и прочувствовал.
Попав в Манеж, Хрущев, где ему продемонстрировали картины "лианозовской группы", ничего не понял и пришел в ярость, выместив ее на стоящих возле холстов авторов и "организатора гнезда формализма", Элия Белютина.
— Послушай, Элий, — учил его в молодости Павел Кузнецов, изгнанный из профессуры за формализм, — значит, цвет — это как звук скрипки. Понимаешь? Ты его чувствуешь, видишь? Цвет надо как музыку слушать.
Не каждому это дано, не каждого научили слушать музыку, которую играют в Большом зале консерватории, чувствовать цвет в залах, где выставлены картины импрессионистов в Музее изобразительных искусств. Понимал, как утверждают мемуаристы, живопись Юрий Андропов, не нуждающийся в представлении. Об Академии художеств он высказывался в стенах дома на Лубянке, в изложении своего заместителя, ведавшего культурой, так: