Супруги увлекались охотой, ведением сельского хозяйства, особенно коневодством и птицеводством. Вместе охотились с царем в Спале, в воронцовском имении Шапки под Петербургом, на степном хуторе Баланда в Саратовской губернии, принадлежавшем Шереметевым. Родственник отца Дмитрия Шереметева К.С. Бендер писал о Дмитрии Сергеевиче: «Как славно, тепло и образно он описывал свои охоты на озере Ильмень Новгородской губернии весной на гусей во время пролета! Слушая его, я так и видел перед собой эти бесконечные водные пространства, отмели, камыши, бледное весеннее небо, стаи вьющихся гусей». Служба Дмитрия Сергеевича Шереметева флигель-адъютантом императора была почетна, но накладывала на него такие обязательства, что он нередко не принадлежал сам себе. «Семейная переписка, сохранившаяся в архивах, дает представление о характере поручений, которые он исполнял. Прежде всего, это дежурства при императоре, в очередь с другими флигель-адъютантами, – при Николае II их было около тридцати. Он ездил с поручениями государя по разным странам, сопровождал царя в его поездках, состоял при высочайших особах, посещавших Россию», – отмечает Алла Владимировна Краско, автор книги «Три века городской усадьбы графов Шереметевых. Люди и события». Графиня Ирина, по отзывам современников и родственников, – дама властная и умела держать в руках семейное хозяйство в отсутствие мужа.
Весной 1912 г. в Петербурге много нашумела дуэль между Дмитрием Сергеевичем Шереметевым и Василием Александровичем Шереметевым, бывшим ротмистром Нижегородского драгунского полка. Причиной поединка, как сообщали газеты, стал спор о наследстве. Дело в том, что в 1898 г. Дмитрий Шереметев был официально объявлен наследником своего бездетного родственника Василия Васильевича Шереметева, владельца крупного имения в Орловской губернии. Однако за два дня до смерти тот изменил завещание в пользу своего родного племянника, не оповестив прежнего наследника. Нового наследника объявили в фальсификации завещания, разразился скандал, который и закончился поединком.
Стрелялись на Коломяжском ипподроме. И хотя дуэль официально разрешил суд чести офицеров Кавалергардского Ее Величества Императрицы Марии Федоровны полка, бдительный смотритель тем не менее тотчас же позвонил в полицию и уведомил о происходящем местного полицмейстера и пристава. Представители полиции не заставили себя ждать, но вмешиваться не стали.
В качестве секундантов со стороны Дмитрия Шереметева выступали граф Ферзен и полковник гвардии граф Граббе, а со стороны Василия Шереметева секундантами стали князь Тенишев и отставной полковник Свечинский. На счет «три» почти одновременно раздались два выстрела. К счастью, пули пролетели мимо. Согласно условиям этого поединка, секунданты объявили дуэль законченной. Противники примирились, подав друг другу руки. Секунданты составили протокол, после чего все участники дуэли разъехались…
Жизнь семьи круто изменила Первая мировая война, к тому времени у супругов уже восемь детей. Граф Дмитрий Сергеевич по долгу службу (он продолжал оставаться флигель-адъютантом) неотлучно находился при государе – Главнокомандующем русской армией.
Впоследствии, уже находясь в эмиграции в Италии, Дмитрий Сергеевич написал очерк под названием «Из воспоминаний о Государе Императоре Николае II». Там он описал эпизоды, связанные с войной, в том числе один из них, когда Николай II, будучи уже сам Верховным главнокомандующим, настойчиво требовал, чтобы его допустили до передовых окопов наших пехотных расположений, находившихся в районе Могилева.
Дорога, которая вела к окопам, обстреливалась неприятельской артиллерией и считалась небезопасной, в день поездки с утра был сильный туман, но она все-таки состоялась. В первом из трех автомобилей ехал Николай II с цесаревичем Алексеем, в двух других – Дмитрий Сергеевич и офицеры Ставки. «Возвращение Государя из сферы огня, – заключил свой рассказ об этом эпизоде Дмитрий Шереметев, – окончилось, слава Богу, благополучно».
Ирина Илларионовна не могла остаться в стороне от событий, переживаемых Отечеством, и организовала на свои средства «питательный и перевязочный отряд» для фронта. Помог также и Красный Крест. В начале осени 1914 г. графиня отправилась с отрядом на театр военных действий в Польшу. Ее отряд прикомандировали к Первой гвардейской Кавалерийской дивизии. Гвардию бросали в самые тяжелые места, поэтому медицинская помощь требовалась постоянно.