В доме часто бывали В. А. Жуковский, Н. В. Гоголь, Д. В. Веневитинов, П. А. Вяземский и другие петербургские литераторы. Коллекция музыкальных инструментов Матвея Виельгорского являлась одной из самых богатых в столице. Одних только скрипок знаменитого итальянского мастера Антонио Страдивари в ней насчитывалось пять штук! Со смертью братьев традиция музыкально-литературных вечеров не прервалась. В разное время здесь принимали гостей салоны Е. А. Карамзиной, А. Ф. Львова и А. О. Смирновой.
Косвенно с домом Виельгорских связана одна трагическая история. В начале августа 1878 г. тротуар перед ним становится местом совершения террористического акта, совершенного членом кружка «Земля и воля» Сергеем Михайловичем Степняком-Кравчинским.
В 9 часов утра 4-го числа на углу Итальянской улицы у дома Виельгорского он смертельно ранил кинжалом-стилетом начальника Третьего отделения Собственной его Императорского величества канцелярии генерал-адъютанта Николая Владимировича Мезенцева.
События рокового дня передал писатель Б. Б. Глинский, основываясь в своем рассказе на статью в газете «Новое время»: «Николай Владимирович вставал обыкновенно очень рано и совершал ежедневно прогулки пешком, во время которых посещал часовню у Гостиного двора, на Невском. Зайдя туда и 4 августа, в девятом часу утра, Николай Владимирович по окончании молитвы в сопровождении своего бывшего товарища, отставного подполковника Макарова, направился обратно домой, через Михайловскую улицу, Михайловскую площадь и Большую Итальянскую улицу Едва он вступил на мостовую Итальянской улицы и поравнялся с домом Кочкурова, перед самыми окнами кондитерской приблизились к нему двое шедших навстречу людей, весьма прилично одетых. Один из них нанес ему рану кинжалом и вместе со своим спутником поспешно сел в поджидавший тут же экипаж. Г. Макаров сделал попытку задержать их, но в него сделали выстрел из револьвера, пуля пролетела мимо, а виновники катастрофы, никем не задержанные, так как в этой местности не было ни одного полицейского стража, а равно отсутствовала и публика, успели скрыться. Рассказывают, что они быстро поскакали по Итальянской и завернули на Малую Садовую; кучер, по всей вероятности, был из числа сообщников; рассказывают, что они будто бы и в предыдущие дни являлись на то же место, где были сегодня. Несомненно только, что преступники имели собственный экипаж, запряженный хорошею лошадью в серебряной упряжи. Заключают некоторые по этим признакам, что это люди со средствами. На одном из них было надето серое пальто. Сам Николай Владимирович в момент катастрофы не потерял присутствия духа, и когда выбежавшие на выстрел из кондитерской занятые в ней уборкой приказчики с ужасом спросили: „Кто ранен?“ — Николай Владимирович отвечал, что ранен он, и при этом указал на свою окровавленную одежду. При помощи полковника Макарова и вышедшего из соседнего дома камергера Бодиско Николай Владимирович Мезенцов дошел по Итальянской до угла Малой Садовой, где его посадили на извозчика. Оттуда он доехал до своей квартиры у Цепного моста, на Фонтанке. Значительное истечение крови скоро обессилило раненого. Приглашенный в 11 часов утра доктор Мамонов, осмотрев больного, нашел, что положение его серьезное. И действительно, несмотря на помощь, оказанную ему докторами во главе с знаменитым тогда хирургом Богдановским, в 4 часа в области раны и желудочной полости открылись сильнейшие боли, и в 5 часов 15 минут в ужасных страданиях В. Н. Мезенцов скончался».