Недостаток денежных средств для окончания ремонта сгоревшей в пожаре недвижимости заставил Гравро в 1741 году продать участок и недостроенный дом бухгалтеру Адмиралтейств-коллегии Ивану Михайловичу Обухову, подавшему тогда прошение руководству экспедиции над верфями и строениями о разрешении купить дом «гранильного мастера Гравера», ибо его собственный дом также сгорел «в губительном пожаре у Синего моста». Обухов клятвенно обязывался построить дом на Мойке и строения во дворе за пять лет. Свое обещание он выполнил, поскольку каменный дом Гравро не весь был поврежден огнем. Здание на Мойке не блистало особой красотой, его возвели в восемь осей, с высоким нижним подвальным этажом и капитальным вторым жилым ярусом. Позже И. М. Обухов возвел второй дом на участке, выходящий фасадом на Большую Морскую улицу. Практичный хозяин выгодно сдавал в аренду квартиры своей недвижимости. В 1750-е годы в доме арендовал квартиру артист Немецкого театра Карл Людвиг Корн. В 1766 году в доме Обухова жил автор проекта здания Академии художеств Жан-Батист Мишель Валлен-Деламот, работавший тогда над планами первого высшего художественного учебного заведения России в компании с русским архитектором и первым директором Академии художеств Александром Филипповичем Кокориновым (1726–1772).
В 1777 году наследница участка и домов на Большой Морской улице, 36, и набережной Мойки, 81, дочь И. М. Обухова Анна Ивановна Кожина продает дом портному немецкого цеха мастеру Иоганну Готлибу Миллеру. Дом № 36 со стороны Большой Морской улицы был трехэтажным, а на набережную реки Мойки в те годы выходил солидный двухэтажный каменный особняк № 81.
После смерти родителей и прямого наследника Христиана Адольфа Миллера, действительного статского советника, получившего дворянство, Комитет городского строения «предписал произвести оценку дома наследников недвижимости портного Миллера». Многочисленные наследники на семейном совете приняли решение в 1832 году продать всю доставшуюся им в наследство недвижимость за 135 тысяч рублей штаб-лекарю Ивану Ивановичу Персону – врачу Императорского Воспитательного дома, сдававшему квартиры внаем. В адресной книге Санкт-Петербурга за 1837 год арендатором квартиры в доме И. И. Персона на набережной Мойки, 81, значился Сергей Степанович Ланской, знакомый А. С. Пушкина и брат жены известного писателя, музыканта и ученого В. Ф. Одоевского. С. С. Ланской приходился также двоюродным братом второму мужу Н. Н. Пушкиной, полковнику Петру Петровичу Ланскому. Сергей Степанович станет графом и сенатором, министром внутренних дел при императоре Александре II и переедет с набережной Мойки в роскошную казенную квартиру министра.
В 1870-х годах сквозной участок и здания на нем перешли к отставному гвардии поручику маркизу Александру Филипповичу Паулуччи – сыну маркиза Ф. О. Паулуччи, служившему в русской армии и ставшему в 1819 году губернатором Эстляндии.
В 1872 году академик архитектуры Михаил Алексеевич Макаров представил на утверждение разработанные им проекты перестройки фасадов домов по Большой Морской улице, 36, и набережной Мойки, 81. Работы начались в 1873 году, но проект фасада дома по набережной Мойки признали «слишком пестрым и весьма изысканным», и зодчему было рекомендовано представить другой вариант проекта фасада. Однако владелец недвижимости маркиз Паулуччи приказал завершить работы до наступления «ненастной погоды». Строительство дома на Мойке тогда завершил по первым неутвержденным чертежам М. А. Макарова зодчий Александр Васильевич Иванов, ранее построивший несколько доходных домов по проектам того же М. А. Макарова.
В двух нижних этажах здания архитектор предусмотрел огромные широкие окна-витражи, смонтированные при помощи металлических балок-перемычек. В левой части фасада строители установили полукруглый выступ в стене, проходящий через несколько этажей, с застекленными огромными окнами-эркерами.
Пятиэтажный доходный дом на набережной Мойки, 81, с его двухэтажными окнами-витринами, асимметрично размещенным эркером, в общих чертах ничего общего не имеет ни с ренессансом, ни с каким-либо иным классическим архитектурным стилем. Но талантливый зодчий Макаров и не рассчитывал тогда на иной результат. Зодчий, которого любители петербургской архитектуры знали как видного мастера эклектики, по достоинству оценили его работу по отделке фасадов, украшенных замысловатыми декоративными элементами разных архитектурных стилей. После окончания перестройки в доме № 81 побывали члены Общества архитекторов-художников и были приятно удивлены работой академика, с похвалой отозвались о результатах перестроечных работ. Ведущий обозреватель журнала «Зодчий», пораженный увиденным, писал: «Фасады дома Паулуччи, отделанные Макаровым, выглядят прекрасно в стиле всевозможных ренессансов».