Малого роста, невзрачный с виду, Оленин обладал недюжинным умом, весьма обширными познаниями в науках и был предан русскому искусству как своему кровному делу. Десяти лет от роду его отправили на воспитание к родственнице – Е. Р. Дашковой, незаурядной женщине, той самой, которая много лет возглавляла Академию наук, а также Российскую академию, созданную по ее замыслу. Воспитанника Дашковой приметила Екатерина II и приказала записать его в Пажеский корпус. Затем он изучал науки в Страсбурге и артиллерийское дело в Дрездене. Из военной службы он позднее перешел в штатскую и в ней преуспел.
Будучи за границей, Оленин прочитал «Историю искусства древности» знаменитого Винкельмана и с той поры увлекся историей и археологией. За труд, посвященный «толкованию многих русских старинных речений», его избрали в Российскую академию.
В 1810-х годах Оленин жил в собственном доме на правом берегу Фонтанки, между Семеновским и Обуховским мостами. Этот трехэтажный особняк он получил в приданое за женой Елизаветой Марковной, урожденной Полторацкой.
В гостеприимном доме Олениных собирались писатели, художники, артисты. «Предметы литературы и искусства занимали и оживляли разговор… Сюда обыкновенно привозились все литературные новости, вновь появлявшиеся стихотворения, известия о театрах, книгах, картинах», – рассказывал посетитель салона.
Завсегдатаями оленинского кружка были И. А. Крылов и известный переводчик «Илиады» поэт Н. И. Гнедич. Здесь любил бывать и юный Пушкин.
В отличие от большинства петербургских гостиных у Оленина не в чести были карты. Им предпочитали другие игры – особенно шарады. В играх участвовали и знаменитые гости. «Не помню, за какой-то фант Крылова заставили прочитать одну из его басен. Он сел на стул посередине зала; мы все столпились вкруг него, – рассказывала племянница Е. М. Олениной А. П. Керн, – и я никогда не забуду, как он был хорош, читая своего
В 1819 году у Олениных Пушкин впервые увидел А. П. Керн:
В 1820-х годах Оленины поселились на набережной Мойки, возле Синего моста.
Младшая дочь Олениных – Анна Алексеевна – задумала писать роман с реальными персонажами, теми, кто окружал ее в родительском доме. В июле 1828 года она занесла в дневник: «Пушкин и Киселев – два героя моего настоящего романа. Сергей Голицын (Фирс), Глинка, Грибоедов и в особенности Вяземский – персонажи более или менее интересные». Роман не состоялся, но дневник А. А. Оленина вела исправно. «Стали приезжать гости. Приехал милый Сергей Голицын (Фирс), Крылов, Гнедич, Зубова, Михаил Глинка… Приехал по обыкновению Пушкин». Пушкина Анна Алексеевна характеризовала как «самого интересного человека своего времени».
Как и прежде, у Олениных собирались писатели, художники, актеры.
После возвращения из ссылки, наезжая в Петербург, Пушкин постоянно бывал у Олениных. Особенно привлекала его сюда Анна Алексеевна. Покидая Петербург в 1820 году, он оставил ее ребенком. Теперь это была прелестная девушка – живая, остроумная, прекрасно образованная. Пушкин увлекся ею и даже решил жениться. Он сделал предложение, но ему отказали. Олениных не устраивала его репутация, его неблагонадежность. К тому же Анна Алексеевна была к нему равнодушна. Следом этого увлечения остался ряд стихотворений, посвященных Олениной.
Человеком, известным в литературном и художественном мире столицы, был хозяин другого аристократического салона – граф И. С. Лаваль. В своем роскошном особняке на Английской набережной возле Сенатской площади он принимал не только весь высший свет, но и знаменитых писателей, музыкантов. В доме Лаваля собирались и молодые гвардейские офицеры, члены тайного общества, – один из его основателей князь С. П. Трубецкой был женат на дочери Лавалей – Екатерине Ивановне.
В 1817–1820 годах здесь не раз бывал Пушкин. Хозяева, по словам очевидца, «с удовольствием видели у себя молодого поэта». Посещал Пушкин знаменитый салон на Английской набережной и по возвращении из ссылки. Так, 16 мая 1828 года в присутствии Крылова, Грибоедова, Мицкевича поэт читал здесь еще не разрешенную к печати трагедию «Борис Годунов».
В конце 1810-х годов литераторы, маститые и начинающие, а также любители словесности собирались по субботам в квартире Жуковского, который жил тогда у Кашина моста, на углу Крюкова канала и Екатерингофского проспекта, в доме Брагина.
На собраниях в его квартире царила непринужденность, светских церемоний не было и в помине. Собиралось только мужское общество. Приходили Крылов, Гнедич, бывали Батюшков и наезжавший в столицу Вяземский, недавние лицеисты – Кюхельбекер, Дельвиг и Пушкин.