Граф
В.Г. Орлов заботливо и трепетно оберегал свое жилье – сельскую идиллию – в Семеновском-Отраде. Он домашнее спокойствие и семейный уют предпочитал блестящей столичной карьере и бурным событиям при царском дворе. Он не любил шумные увеселения, балы, угождения власть имущим лицам в ущерб личному человеческому достоинству. Сам он ценил людей воспитанных, образованных, мудрых, талантливых. Любил чтение (ежедневно посвящал чтению до 6 часов), раздумья над прочитанным, хорошую музыку, концерты в его усадьбе, собирал мемориально значимые ценности (купил у вдовы М.В. Ломоносова и хранил здесь его библиотеку, архив, некоторые вещи великого русского ученого), посильно занимался научной работой (в одном из флигелей размещались его физический и минералогический кабинеты). Здесь В.Г. Орлов положил начало созданию и хранению семейного архива графов Орловых. В.Г. Орлов знал толк в музыке, способствовал творчеству дельных музыкантов и сочинителей. В Семеновском-Отраде он содержал великолепный оркестр из 32 музыкантов, среди них были Лев Гурилев (1770–1844) и трое его сыновей. Л.С. Гурилев был талантливым музыкантом и композитором, написал много духовных и светских песнопений, а его сын Александр Львович Гурилев (1803–1858) стал очень известным композитором середины ХIХ в., обработал не менее 200 романсов и крестьянских песен, именно он написал широко известные романсы «Однозвучно гремит колокольчик», «Матушка-голубушка», «Сарафанчик» и др. А.Л. Гурилев оставался крепостным до 1831 г.; только после смерти владельца усадьбы В.Г. Орлова он получил «вольную».
В.Г. Орлов очень тщательно относился к строительству и благоустройству своей любимой усадьбы Семеновское-Отрада. Главный усадебный дом был построен в 1775–1779 гг. по чертежам ведущего московского архитектора того времени К.И. Бланка (1728–1793) под руководством крепостных архитекторов Бабакина и Цуканова. В усадьбе были многочисленные постройки: главный усадебный дом, флигели, оранжереи (1787 г., в них росли персики, абрикосы, ананасы, иные плоды и ягоды), дома для прислуги, другие постройки, были великолепные парки – английский и французский – с 3 копаными прудами и многочисленными парковыми затеями и зверинцем. В парках бродили ручные олени, лоси, косули. Перед главным домом Екатерининский парк выделялся обилием цветочных клумб и фонтаном, бившим водяной струей на высоту второго этажа. Екатерининский парк был обнесен великолепной чугунной решеткой в «версальском духе». Белокаменные столбы главных ворот завершались чугунными фигурами сторожевых львов.