Вероятно, любимое детище Мореля и дало название центру воистину лукулловых пиров. Но вскоре француз умирает, и в 1864 году «Эрмитаж» оказался навеки связан с поваром Люсьеном Оливье, реформатором кухни и автором популярного салата. Как свидетельствует Гиляровский, Оливье сошелся со своим компаньоном Яковом Пеговым на почве любви к нюхательному табаку. В районе Трубы находилась маленькая лавочка, предлагавшая москвичам сорт «бергамот». Перешедшая в руки Оливье и Пегова громада «Эрмитажа» заслужила признание москвичей. «И сразу успех неслыханный. Дворянство так и хлынуло в новый французский ресторан, где кроме общих зал и кабинетов, был белый колонный зал, в котором можно было заказывать такие же обеды, какие делал Оливье в особняках у вельмож. На эти обеды также выписывались деликатесы из-за границы и лучшие вина с удостоверением, что этот коньяк из подвалов дворца Людовика XVI и с надписью «Трианон».
Люсьен Оливье часто подглядывал за своей прислугой из-за угла. Если повар замечал, что официант воротит нос от клиента, оставившего маленькие чаевые, то гневно восклицал: «Хамства не потерплю!» По старой памяти в «Эрмитаж» захаживал фельетонист Лев Панютин, печатавшийся под псевдонимом Нил Адмирари. Когда-то он оставлял здесь значительные купюры, но в старости не мог позволить себе больших кутежей и порой даже не спрашивал счета. Однажды Панютин рискнул заказать фруктов, но буфетчик не стал подавать их на стол: неплатежеспособен, мол. Когда Оливье вошел в зал, то прошипел буфетчику: «Болван! Сейчас послать на погреб. Чтобы отобрали самых дорогих фруктов! Самый лучший ананас! Самые лучшие дюшесы! В момент!» С извинениями повар подошел к фельетонисту и его компании: «Простите, monsieur Панютин, что моя прислуга принуждена была заставить вас немного обождать с фруктами. Но это случилось потому, что на буфете не было фруктов, достойных, чтобы их вам подали».
Салат «Оливье» до сих пор вызывает легкую путаницу – на западе его называют «русским», мы же отдаем честь изобретателю-иностранцу. Советская вариация с вареной колбасой имеет с первоначальным рецептом чрезвычайно мало общего, но это идет скорее от общей бедности. Именитый повар умер в 1883 году, но благодарные рестораторы и сегодня приносят цветы на недавно отреставрированную могилу на Введенском кладбище.
«Эрмитаж» привлекал не только коммерсантов нового толка, но и представителей московской интеллигенции. В 1877 году свою свадьбу здесь отмечал П. И. Чайковский, в 1879 году в «Эрмитаже» чествовали Тургенева, в 1880 году – Достоевского, в 1889 году – Фета. Почти каждый день в ресторан заходил актер М. П. Садовский и заказывал виски с содовой. Когда прославленный лицедей умер, к его столику прибили бронзовую табличку и тем самым своеобразно увековечили память Садовского.
Впоследствии в «Эрмитаже» проходили «пушкинские» обеды, а московское дворянство непременно собиралось здесь после очередных выборов предводителя. В марте 1897 года из ресторана пришлось срочно увозить А. П. Чехова: «В ночь под субботу я стал плевать кровью. Утром поехал в Москву. В 6 часов поехал с Сувориным в Эрмитаж обедать и, едва сели за стол, как у меня кровь пошла горлом форменным образом». Писателя приютил в своем гостиничном номере издатель Суворин, и Чехов проспал целые сутки.
В январе ресторан по традиции принимал шумных студентов, отмечавших Татьянин день. После литургии в университетской церкви московские «бурши» отправлялись по бульварам в ресторан, иногда устраивая кошачьи концерты под окнами Каткова. «…Толпы молодежи шли «завтракать» в ресторан «Эрмитаж», где к этому завтраку ресторан приготовлялся заблаговременно: со столов снимали скатерти, из залов убирались вазы, растения в горшках и все бьющееся и не необходимое. Здесь до вечерних часов длился этот «завтрак» – чем позже, тем шумней и восторженней». Пожалуй, лишь раз в год московские рестораны захватывала бедная и демократичная публика.
Впрочем, близость Трубы иной раз давала о себе знать: «Даже первоклассный ресторан «Эрмитаж», стоявший на площади, и тот выполнял не только свою прямую роль, но имел тут же рядом так называемый «дом свиданий», официально разрешенный градоначальством, где происходили встречи не только с профессиональными девицами, но нередко и с замужними женщинами «из общества» для тайных бесед. Как один из московских контрастов, тут же, на горке, за каменной оградой, расположился большой женский монастырь с окнами из келий на бульвар, кишевший по вечерам веселыми девами разных категорий – и в нарядных, крикливых шляпках с перьями и в скромных платочках». После революции рестораны с названием «Эрмитаж» появились во многих городах, куда устремились бурным и несчастным потоком российские эмигранты.