Усадебный дом был красив, уютен и не совсем обычен для конца ХVIII в. Парадные помещения этого дома-дворца размерами своими уступали жилым комнатам: хозяева предпочитали комфорт показной стороне быта. Многие комнаты занимала богатейшая библиотека, включавшая тысячи книг. Стены украшали великолепные картины, рисунки, гравюры, особое место занимали портрет императрицы Екатерины II, фамильные портреты графов Орловых и членов семьи графа В.Г. Орлова. Были установлены бюсты всех братьев Орловых (работы скульптора Федора Шубина). В доме была великолепная мебель, многие ценные коллекции (в том числе табакерок с изображением императрицы Екатерины II и братьев Орловых), многочисленные и разнообразные произведения искусства. Был и бассейн. Окрестности села Семеновское изобиловали (и в наши дни изобилуют) чистейшими ключами, вот почему граф велел провести в свой дом ключевую воду.
При положительных чертах характера графа В.Г. Орлова он оставался крепостником. Требовал от крепостных огромные деньги, если они желали откупиться от крепостной зависимости. Дворовые получали два раза в год скромное жалованье, хлебный паек, были на графский счет одеты. Нравы в имении были строгие: была своя «холодная» (тюрьма), применялись розги для наказания провинившихся. В.Г. Орлов поскупился в выделении средств на строительство в Отраде первой в Серпуховском уезде больницы (ее открыли в 1804 г.), но он подобрал для нее прекрасного врача, который лечил и его семью. Однако граф не пожалел средства на возведение в парке над могилой его любимой собаки целой колоннады в виде искусственно сооруженных руин. Крепостные крестьяне графа не имели права ловить рыбу для личных нужд и питания в местной реке Лопасне даже во время половодья. Графские слуги, выловив рыбу, пускали ее в парковые пруды; хозяева и их гости приходили смотреть кормление рыб по звонку или иногда ловили рыбу.
У В.Г. Орлова и его супруги Елизаветы Ивановны (урожденной Штакельберг) был один сын, умерший за границей совсем молодым. Прямых наследников по мужской линии у них не сохранилось, а по женской линии наследник был. За год до смерти В.Г. Орлов в 1830 г. передал Семеновское-Отраду сыну своей дочери, то есть своему внуку Владимиру Петровичу Давыдову, которому с 1856 г. было дозволено принять имя и титул своего деда и именоваться графом Орловым-Давыдовым.
В.П. Орлов-Давыдов (как и его дед В.Г. Орлов) покровительствовал талантливым людям, привлекал их к работам в своей усадьбе. В.П. Орлова-Давыдова и художника К.П. Брюллова (1799–1852) связывали не только деловые отношения, но и искренняя дружба. В 1836 г., когда В.П. Орлов пригласил К.П. Брюллова приехать к нему в Отраду, тот приехал не один, а с архитектором М.Д. Быковским (1801–1885), для которого также нашли здесь творческий заказ. Быковский разработал проект строительства двух симметрично расположенных корпусов оранжерей, примыкающих к главному дому. Быковский также обдумывал предложение В.П. Орлова-Давыдова о создании проекта перестройки главных зданий усадьбы. Тогда Брюллов за несколько дней расписал свод – плафон «Овальной белой столовой» усадебного дома, а еще раньше он написал портрет жены В.П. Орлова-Давыдова (ныне находится в Третьяковской галерее). Брюллов выполнил 9 рисунков к «Атласу путевых заметок» В.П. Орлова-Давыдова, изданного в 1840 г.
Усадьба Семеновское-Отрада благодаря своим роскошным усадебным строениям и парку, а также живописной природе всегда славилось как место отдыха и развлечений российской знати. В 1868 г. по приглашению графа В.П. Орлова-Давыдова в Отраде двое суток гостил третий имам в истории кавказского мюридизма, капитулировавший в 1857 г. и в 1866 г. присягнувший на верность России, – Шамиль, а также его сын Кази-Магомет, зять Абдурагим и их переводчик.
После смерти В.Г. Орлова в усадьбе построили два корпуса оранжерей (1848 г., арх. М.Д. Быковский), на крышах дома устроили открытые террасы, в парке возвели памятник В.Г. Орлову (1846), возвели фамильную усыпальницу (1832–1835 гг., проект арх. Д.И. Жилярди; в фамильном склепе со временем были похоронены все 5 братьев Орловых), ряд других строений. Имение последовательно передавалась в наследство в роде Орловых-Давыдовых.
После 1917 г. в громадном барском доме открыли усадебный музей, затем здесь организовали рекреационное учреждение для длительного отдыха и лечения. Здесь был дом отдыха, потом и теперь – санаторий «Семеновское» (ныне Военно-медицинского управления Федеральной службы безопасности России).