Вскоре он отправился за границу. В эмиграции он сошелся с вожаками «боевой организации» партии социалистов-революционеров и полностью попал под влияние их тактики индивидуального террора. Осенью 1903 года в Женеве Каляев стал членом «боевой организации» эсеров, созданной для осуществления террористических актов. По заданию этой организации в начале января 1904 года Каляев перешел русскую границу и под видом торговца табаком появился в Петербурге. Он был членом группы эсеров, которая готовила убийство Плеве. Наряду со всеми он принимал участие в «охоте» на Плеве.
Переодетый лоточником, офеней, извозчиком, он принимал участие в слежках за министром Его подпольная кличка Поэт.
15 июля 1904 года покушение удалось. После убийства Плеве Каляев скрывался — уехал за границу. Но пробыл он там недолго — уже в ноябре вернулся в Россию, на этот раз — в Москву, вернулся для того, чтобы принять участие в новой охоте — за великим князем Сергеем Александровичем Романовым — дядей царя Николая II. Его обвиняли в пристрастном отношении к евреям, которых среди эсеров было большинство. Ему решили припомнить, что по его настоянию при Александре III тысячи еврейских семейств были выселены из Москвы. Князю инкриминировали также и то, что при его попустительстве произошла давка на Ходынском поле на торжествах по случаю коронации Николая II. Впрочем, человеку, занимающему такой пост, можно инкриминировать что угодно.
Каляев купил сани и лошадь и систематически стал следить за князем, изучать его маршруты.
Покушение назначили на 2 февраля. Однако, когда Каляев приблизился к карете с бомбой в руках, он увидел, что рядом с князем жена и малолетние дети. Покушение перенесли на 4 февраля.
Покушение произошло в Кремле, на Арсенальской площади. Когда до двигавшейся навстречу княжеской кареты оставалось не больше четырех шагов, Каляев бросил бомбу. Раздался взрыв. Около здания судебных установлений среди обломков разбитой кареты лежал труп московского генерал-губернатора великого князя Сергея Александровича Романова.
Оглушенного взрывом Каляева схватили на месте покушения. Когда его везли через Кремль, он кричал во весь голос революционные лозунги: «Долой проклятого царя!», «Да здравствует свобода!», «Долой проклятое правительство!», «Да здравствует партия социал-революционеров!».
Арестованный признался сразу, что является членом «боевой организации» партии социал-революционеров и убил великого князя Сергея Александровича по ее приговору. Каляев не хотел, чтобы установили его личность, когда его фотографировали жандармы, он сделал свирепое лицо, надеясь стать неузнаваемым.
Долго полиция находилась в неведении, кого же она арестовала. Помог один из университетских однокашников Каляева. После этого у всех родственников арестованного произвели обыск.
Вначале заключенного держали в Якиманской части, затем перевели в Бутырскую тюрьму — в Пугачевскую башню. Через несколько дней его посетила великая княгиня Елизавета Федоровна, вдова убитою князя Сергея Александровича. Во время свидания она подарила ему иконку.
Каляев взял ее. Вот что писал по этому поводу защитник заключенного:
«Я был чрезвычайно поражен и обратился к Каляеву с вопросом: „Разве вы верующий человек?“ Он ответил: „Я мое дело сделал как мог, но я был и виновником величайшего человеческого горя неповинной женщины, и я чувствовал себя нравственно обязанным облегчить ей ее страдания, насколько это было возможно“».
Суд над Каляевым проходил в Особом присутствии Сената 5 апреля 1905 года в Москве. Дело слушалось при закрытых дверях. В зале находились лишь несколько жандармских офицеров, чинов магистратуры, лиц прокурорского надзора и мать обвиняемого. Она держалась мужественно и не проронила ни одной слезы, даже в тот момент, когда прочли смертный приговор сыну.
Обвинял Каляева И. Г. Щегловитов, ставший позже царским министром юстиции, которого прозвали Ванька-Каин. Защищали подсудимого адвокаты М. Л. Мандельштам и В. А. Жданов. Процесс начался с обычного вопроса: «Подсудимый Иван Каляев, вы получили обвинительный акт?» «Прежде всего фактическая поправка: я не подсудимый, я ваш пленник. Мы — две воюющие стороны. Вы — наемные слуги капитала и императорского правительства, я — народный мститель, социалист-революционер…»
Каляев говорил медленно, твердо, спокойно.
«Я вам запрещаю продолжать», — прервал его председатель. На вопрос: признаете ли вы себя виновным? — Каляев ответил: «Признаю, что смерть великого князя Сергея произошла от моей руки, но виновным себя в этом не признаю по мотивам нравственного содержания».