«Для спасения родины нам нужна честная, разумная, авторитетная власть, опирающаяся на доверие и одобрение народа, – не уставал он повторять. – Без изменения правового положения правительства никакие законы, никакие мероприятия, никакие общественные организации, никакой состав правительства не смогут оказать в сколько-нибудь решительной мере своего благотворного воздействия. Все они будут парализованы старым личным режимом». Пророческими оказались слова Ефремова, произнесенные под сводами Таврического дворца накануне Февральской революции: «Страна все еще смотрит на Думу и ждет ее слова, но с ужасом и тревогой начинает терять веру в ее могущество. И растет число изверившихся, которые начинают уже искать путей, идущих мимо Думы. Страна накалена недовольством, а близорукая, упорная власть, как будто нарочно наталкивает ее на страшный вывод о невозможности парламентскими средствами борьбы достигнуть создания ответственного перед Государственной думой правительства, от которого страна ждет спасения». 27 февраля 1917 года Ефремов как член думского Совета старейшин выступил за неподчинение IV Государственной думы императорскому указу о перерыве в ее работе до апреля 1917 года.
По поручению Временного комитета Государственной думы (ВКГД) он приветствовал воинские части, входившие в Петроград. Ефремов возлагал тогда надежды на ускорение демократизации страны, он был назначен комиссаром ВКГД в Министерстве внутренних дел, а 6 марта 1917 года – комиссаром ВКГД и Временного правительства на Северном фронте.
Как и прежде, он высказывался за продолжение войны до победного конца, полагая, что после свержения самодержавия война стала «действительно народной», 3 марта Ефремов участвовал в совещании на квартире М.С. Путятина, где обсуждался вопрос о передаче власти великому князю Михаилу Александровичу; с 20 марта по 22 июля – входил в состав Особого комитета Фонда освобождения России. Он также был членом комиссии, созданной Временным правительством для восстановления основных положений Судебных уставов и согласования их с происшедшей переменой в государственном устройстве, членом подкомиссии по судоустройству (конец марта 1917 года); проявлял себя как сторонник невмешательства политиков в деятельность судебных учреждений.
27 апреля 1917 года И.Н. Ефремов выступил на торжественном заседании членов Государственной думы четырех созывов, посвященном 11-й годовщине русского парламента. Вспоминая «благородную фигуру П.А. Гейдена, который умел подчинять все только одной цели – благу отечества», оратор призывал следовать примеру безвременно ушедшего из жизни в 1907 году «перводумца». Ефремов особо подчеркивал, что дело Гейдена не пропало, «народное представительство не умерло», критика действий правительства, продолжавшая звучать с думской трибуны (в том числе в речах прогрессистов), «постепенно подтачивала основы, на которых стоял старый строй… а упорство абсолютизма привело к дискредитированию самой идеи монархии». Отмечая роль «великой войны, напрягшей все народные силы» и ясно показавшей, «что дальше оставлять этот старый, разлагающийся строй совершенно невозможно», Ефремов заявлял, что «только этим всеобщим сознанием, в значительной мере воспитанным работой четырех Государственных дум, может объясняться та легкость, с которой совершен величайший государственный переворот», в результате которого Россия стала «самым свободным государством в мире».
С 25 мая 1917 года Ефремов участвовал в работе Особого совещания Временного правительства по подготовке Положения о выборах в Учредительное собрание. Во время июльского кризиса он выступил за необходимость продолжения сотрудничества кадетов и социалистов в составе правительства. Занимая в течение 14 дней (с го по 24 июля) пост министра юстиции, Ефремов распорядился подготовить закон, направленный против депутатов Советов в случае «захвата власти». С 24 июля по 26 августа он возглавлял Министерство государственного призрения. Являясь вторым товарищем председателя Временного правительства и председателем его Малого совета (Совета товарищей министров), Ефремов фактически выступал в роли заместителя А.Ф. Керенского.
В середине 1917 года Ефремов вполне мог стать очередным атаманом Донского казачьего войска. Отклонив сделанное ему предложение баллотироваться на эту должность и поддержав кандидатуру генерала А.М. Каледина («В это трудное время во главе Войска Донского надо поставить боевого генерала, а не совершенно штатского человека»), Ефремов продолжал оставаться крупной фигурой в казачьем движении: член Оргбюро, председатель Общеказачьего съезда (Петроград, 23–29 марта 1917 года).