Кроме хозяев, их детей, дом населяли приживалки, бедные родственницы, воспитанницы, гувернёры, гувернантки, многочисленная дворня. За изобилие обитателей и их разнородность арзамасец Вигель называл дом Олениных «Ноев ковчег». Для полноты картины следует добавить, что в «Ковчеге» жил даже индус, которого Оленин подобрал полузамёрзшим где-то на Фонтанке.
В «Ковчеге» любили гостей, особенно знаменитых. Хозяин-меценат покровительствовал талантам.
Здесь дневали и ночевали Крылов и Гнедич. Оба служили в Публичной библиотеке под начальством Оленина. Крылов, одинокий холостяк, стал как бы здешним домочадцем.
По вечерам у Олениных собирались писатели, художники, артисты. Привозили литературные новости, известия о только что появившихся картинах и спектаклях.
В отличие от большинства богатых петербургских домов, здесь не в чести были карты. Зато процветали игры, — особенно шарады, в которых обычно участвовали литературные знаменитости. Пушкин охотно посещал этот дом.
Однажды, придя к Олениным, Пушкин заметил среди гостей молоденькую незнакомку. Она выделялась не только красотой. Что-то очень привлекательное было во всём её облике.
От хозяйки дома, добрейшей Елизаветы Марковны, Пушкин узнал, что гостья — её племянница Анета Керн. Она замужем за бригадным генералом Ермолаем Керном.
Елизавета Марковна посетовала на несправедливость судьбы. Анета почти девочка, а муж её немолод. К тому же живут они в ужасной глуши, где-то в Лубнах, на Украине, где стоит полк генерала. А ведь такая красавица могла бы блистать при дворе. Сам государь с нею танцевал на смотре войск в Полтаве.
Так Пушкин познакомился с Анной Петровной Керн.
Весь этот вечер он был занят только Керн. А она не замечала его. Имя Пушкина мало что говорило молоденькой провинциалке. В Лубнах его ещё не слышали. И Анна Петровна, заворожённая созерцанием литературных знаменитостей, скользнула небрежным взглядом по невысокой фигуре курчавого юноши. Всем её вниманием владел Крылов. Его за какой-то фант заставили читать басню. Читал он удивительно.
А потом начались шарады, и Анне Петровне опять было не до Пушкина. Ей досталась роль Клеопатры — египетской царицы, которая умертвила себя, прижав к груди ядовитую змею.
Раскрасневшаяся, юная, с корзинкой цветов в руках (предполагалось, что там находилась змея — аспид), «Клеопатра» была прелестна. Пушкин не сводил с неё восхищённых глаз. Он во что бы то ни стало решил завладеть её вниманием.
У Олениных ужинали за маленькими столиками. Прихватив двоюродного брата Анны Петровны, Пушкин сел за столик позади неё и принялся ею восхищаться: «Можно ли быть столь прелестной!» Он завёл шутливый разговор про рай и ад, и через брата своей соседки задавал ей вопросы.
Он говорил:
— Я не прочь попасть в ад. Там, во всяком случае, будет много хорошеньких и можно будет играть в шарады. Спроси у m-me Керн, хотела ли бы она попасть в ад?
Анна Петровна не хотела.
— Ну, как же ты теперь, Пушкин? — спросил её брат.
— Я передумал. Я в ад не хочу, хотя там и будет много хорошеньких.
Этим разговор кончился.
После ужина, когда гости разъезжались и Анна Петровна садилась в карету, она заметила Пушкина. Он стоял на крыльце и смотрел на неё.
Прошло несколько лет. Они вновь встретились в глуши Псковской губернии, в селе Тригорском. И, вспоминая их первую короткую встречу у Олениных, Пушкин писал Анне Петровне:
Весною дом на Фонтанке затихал. С весны до зимы Оленины жили в Приютине — своей мызе под Петербургом.