Деятельную заботу проявлял он и о развитии просвещения в родном крае: с января 1892 года – в качестве попечителя Новочеркасской гимназии (пять раз избирался на трехлетний срок) и нескольких народных школ; по его инициативе и при личном участии были открыты реальные училища в Каменской и Усть-Медведицкой станицах. В 1892–1904 годах Ефремов – член крестьянского присутствия Донецкого округа. Признанный авторитет в своем крае, в 1892–1917 годах он исполнял обязанности почетного мирового судьи, в 1895–1898 годах – председателя Съезда мировых судей Донецкого и Черкасского округов Области Войска Донского.
Осенью 1905 года И.Н. Ефремов возглавил в Новочеркасске кружок беспартийных деятелей либерального направления, заявил себя сторонником конституционной монархии и мирного эволюционного прогресса. Члены кружка обсуждали, наряду с вопросами общегосударственного устройства, проект местной казачьей реформы, предполагавший воссоздание земских учреждений на Дону.
В апреле 1906 года И.Н. Ефремов был избран членом I Государственной Думы от Области Войска Донского. Высшей ценностью для Ефремова-политика была общественная солидарность, а руководством к действию – здравый смысл и забота об «общем благе». В первом русском парламенте
Ефремов стал одним из лидеров зарождавшегося в ту пору центристского течения в русском либерализме (условно говоря, между кадетами и октябристами). Он примкнул к группе беспартийных депутатов-прогрессистов во главе с графом П.А. Гейденом, был его ближайшим помощником в организации Партии мирного обновления (1906) и ее думской фракции, избран товарищем (заместителем) председателя ЦК партии.
Свои взгляды Ефремов пропагандировал и как публицист, сотрудничая в разное время в таких изданиях, как «Московский еженедельник», «Русские ведомости», «Слово», «Русская молва» и др. В I Думе он входил в аграрную комиссию, был одним из авторов «Объяснительной записки к проекту аграрной реформы». Первым шагом «как для разрешения крестьянского вопроса, так и для умиротворения России» Ефремов и его соратники считали расширение крестьянского землевладения, в том числе за счет «принудительного выкупа, при участии государства, частновладельческих земель в необходимом размере», «на началах справедливой оценки, основанной на доходности данного имения». Одно из главных положений аграрной программы прогрессистов – «передача отчуждаемой земли не во временное ограниченное пользование земледельческого населения, а в полную его собственность», поскольку именно такой подход, по их убеждению, отвечал «истинным желаниям большинства крестьянства». Неотложной мерой признавалось широкое содействие государства поднятию производительности сельского хозяйства, в том числе путем «правильной организации переселенческого дела», «содействия расселению на отрубные участки (хуторское хозяйство) с открытием кредита для этой цели», «устранения препятствий к переходу от общинного землевладения к личному», «широкого развития сельскохозяйственного образования», «урегулирования земельного обложения», арендных отношений и т. д.
Прогрессисты считали необходимым «широкое привлечение местных общественных сил» к разработке и осуществлению земельной реформы. Признавая, что «Дума была далека от совершенства, от того волшебного всемогущества, которое могло бы вдруг переродить Россию», Ефремов считал важным результатом ее деятельности начало формирования оппозиционного центра, был убежден, что «не по внутреннему бессилию, а под влиянием внешних причин безвременно погибла наша первая Дума».
В октябре – ноябре 1906 года, перед созывом II Думы, Ефремов обращал внимание на нарастание произвола и насилия как в деятельности правительства во главе с П.А. Столыпиным, так и в практике крайних революционных партий, возлагая ответственность за это прежде всего на верховную власть: «Давно уже правительство направляло свою деятельность не в строгом согласии с законом, а по начальническому усмотрению; этим оно развратило все общество и свое пренебрежение к закону передало гражданам, которые и проявляют его теперь в отношениях как между собою, так и к государственной власти… Люди как будто потеряли сознание того, что хорошо и что дурно, что позволительно и что преступно… Этот недостаток действительной культурности, это презрение к законности и праву, это пренебрежение к человеческой личности, которые так часто проявляются в деятельности как крайних правых и левых партий, так и настоящего министерства, представляют величайшую опасность всему делу освободительного движения и прогрессу России».