Соседний сквозной участок этого квартала с жилым флигелем № 93 со стороны набережной реки Мойки и доходным домом № 48 на Большой Морской улице существовал уже в 40-х годах XVIII столетия. Его владелицей в те давние времена являлась вдова царского комнатного стольника Ивана Ивановича Нарышкина – Анастасия Ивановна, урожденная Милославская. Ее покойный супруг приходился троюродным братом матери Российского царя Петра I – Натальи Кирилловны Нарышкиной.
Один из наследников хозяйки участка и расположенных на нем строений, внук Александр Иванович Нарышкин, довольно прибыльно для себя периодически сдавал постройки в аренду. В 50-х годах XVIII столетия в одном из домов даже размещалось первое примитивное столичное казино, в котором его владелец немец Георг Фридрих Боль «проводил лотереи».
В 1774 году на этом месте располагалось «для женского полу училище», а в 1775 году Нарышкин продал свой родовой двор со зданиями на набережной реки Мойки и Большой Морской улице «голландскому купцу» Францу фон Зантену. Через шесть лет, в 1781 году, участком и его зданиями владел генерал и действительный камергер Александр Николаевич Зиновьев. В этот же период официальные планы города указывают, что по Большой Морской улице числился уже двухэтажный дом № 48, а за ним простирался просторный двор, завершавшийся жилым двухэтажным флигелем на правом берегу Мойки, отгороженный от ее набережной невысокой оградой.
В 1808 году сквозной участок, обращенный на Мойку, арендовал баварский посланник де Брэ, являвшийся убежденным сторонником мирного сосуществования России и Франции. Ему, кстати, весьма благоволил русский император Александр I.
В 1810 году строениями этого участка владел один из правнуков канцлера Г. И. Головкина и его супруга – дочь А. Г. Демидова, богатого уральского заводчика. В конце 20-х годов XIX века во флигеле на Мойке (№ 93) поселился граф Михаил Юрьевич Виельгорский – философ, лингвист, медик, теолог и почетный член многочисленных масонских лож. Сановник, музыкант, человек глубоких познаний, он дружил с Жуковским, Пушкиным, Вяземским, Грибоедовым.
С 1830-х годов на сквозном участке в доме № 48 на Большой Морской улице поселился с семьей директор Императорской публичной библиотеки, президент Академии художеств, член Государственного совета, знаток классических русских древностей, ученый, писатель, художник и археолог Алексей Николаевич Оленин.
Вместе с ним здесь тогда жили его супруга Елизавета Марковна и младшая дочь Анна Алексеевна – предмет безответных воздыханий А. С. Пушкина.
Приемы в доме Олениных всегда были многолюдны и веселы. Здесь часто бывали В. А. Жуковский, И. А. Крылов, П. А. Вяземский, А. С. Пушкин и М. Ю. Лермонтов.