Всем любителям живописи хорошо знаком сквозной участок, выходящий на набережную правого берега Мойки и Большой Морской улицы, где в наши дни размещается Правление Санкт-Петербургского союза художников Российской Федерации. История участка и возведенных на нем зданий, согласно архивным документам и историческим публикациям разных лет, обозначена началом сороковых годов XVIII столетия. В 1740-х годах на участке располагались жилые постройки и хозяйственные флигели, выходящие своими фасадами на Большую Морскую улицу и набережную Мойки, принадлежащие петербургскому прокурору Ивану Онуфриевичу Брылкину. В годы царствования российской императрицы Анны Иоанновны столичный прокурор некоторое время проживал со своей семьей в довольно непрезентабельном старом доме на Васильевском острове, полученном в наследство от покойного батюшки, и вынужден был обратиться с прошением к ее величеству «о покупке погорелых мест» на Адмиралтейской стороне для застройки участка в течение пяти лет каменными домами. Просьба И. О. Брылкина была милостиво удовлетворена Анной Иоанновной, но прокурор не успел выполнить своего заверения о возведении на участке каменных строений, поскольку вскорости за какой-то проступок был сослан фаворитом императрицы всесильным графом Эрнстом Бироном в Казанскую губернию.
Брылкина реабилитировала взошедшая на престол в 1741 году Елизавета Петровна и вернула прокурора из ссылки, милостиво назначив его обер-прокурором Сената. На возвращенном ему дарованном участке обер-прокурор Брылкин «под смотрением» столичного архитектора Михаила Григорьевича Земцова построил два каменных дома и хозяйственные флигели.
В 1745 году камергер Иван Онуфриевич Брылкин становится губернатором Астрахани и принимает решение о продаже своей столичной недвижимости. По доверенности Ивана Онуфриевича распродажей участка и домов занимался его брат, подпоручик лейб-гвардии Измайловского полка Василий Онуфриевич Брылкин.
Каменный дом на Большой Морской улице в 1747 году купила жена придворного камердинера Матвея Ивановича Воронова – Анна Дмитриевна, урожденная Кирьянова. Двор же на реке Мье «со всеми на том дворе каменным и деревянным строением» достался за 4 тысячи рублей некоему Матвею Козьмину.
В 1754 году «полковника Матвея Иванова сына Воронова жена ево вдова Анна Дмитриевна», ставшая к этому времени полновластной хозяйкой двора и возведенных на нем строений, продает свою недвижимость братьям Думашевским – «пример-маэру» Ярославского пехотного полка Алексею Александровичу и капитану Куринского пехотного полка Михаилу Александровичу, которые в 1757 году перепродали свое приобретение камер-юнкеру великой княгини Екатерины Алексеевны Михаилу Михайловичу Измайлову за 8,5 тысячи рублей. После коронации Екатерина II производит его в генерал-майоры, но он уходит в отставку и почти весь период царствования императрицы возглавляет государственное Ведомство строения казенных зданий. В 1763 году в петербургской газете появляется объявление о продаже сквозного участка между правым берегом Мойки и Большой Морской улицей со всеми жилыми и хозяйственными постройками бывшего камер-юнкера М. М. Измайлова.
В этом же году издается неожиданный указ императрицы Екатерины II: «Повелеваем выдать гоф-маршалу Михайле Измайлову, за покупкой у него каменный дом в Большой Морской улице со всеми на оную улицу и на реку Мойку строением, тринадцать тысяч рублей, который дом мы всемилостивейшее жалуем нашему действительному статскому советнику Ивану Елагину в вечное и потомственное владение». Дарованный участок стал ценным подарком новой императрицы Ивану Перфильевичу Елагину, активному стороннику воцарения на русский престол в 1762 году немецкой принцессы Софьи Фредерики Августы – Екатерины Алексеевны. Позже И. П. Елагин станет тайным советником, вице-президентом дворцовой канцелярии и главным директором Императорских театров. Иван Петрович был человеком образованным, являлся любителем литературы и музыки. Его секретарем служил Д. И. Фонвизин, автор знаменитого произведения «Недоросль». Директор Императорских театров писал стихи, был автором драматических произведений и прекрасных зарубежных переводов иностранных писателей. Он первый перевел на русский язык известную повесть А. Прево «История кавалера де Грие и Манон Леско», изданную в России под названием «Приключения маркиза Глаголя».
Елагин вел дружбу с русским историком, археологом Алексеем Ивановичем Мусиным-Пушкиным, впервые опубликовавшим в России такие древнерусские памятники, как «Русская правда» и «Слово о полку Игореве». Его дом стал известным петербургским литературным салоном, посещавшимся признанными отечественными и зарубежными литераторами. Елагин слыл в столице известным магистром столичной масонской ложи, развивающим на этом посту теорию и обряды мистического учения.
В его доме на набережной реки Мойки, 83, останавливался знаменитый граф Калиостро, у которого доброжелательный хозяин пытался научиться делать золото с помощью философского камня.