Земляк Блюмкина и Троцкого Фишман по окончании 2-й Одесской гимназии поступил на физико-математический факультет Новороссийского университета. Осенью 1905 года Фишман впервые появился в Петербурге, войдя в состав Совета рабочих депутатов, руководителем которого после ареста его первого председателя Хрусталева-Носаря, был еще один недоучившийся студент физмата того же Новороссийского университета Лев Бронштейн, превратившийся к тому времени в Троцкого. Одесские студенты не только пытались верховодить питерскими рабочими, но и учить их городской «герилье». Фишман, например, руководил боевой дружиной Порохового завода. Однако аресты «советчиков» случились прежде восстания. 18-летнему Якову посчастливилось избежать наказания, хотя в итоге ему пришлось возвращаться домой. В семье он нашел поддержку прежде всего в лице младшего брата Вениамина — будущего политкаторжанина и ярого эсера. В родных пенатах Яков, впрочем, без дела не засиделся и приступил к подготовке покушения на председателя местного отдела «Союза русского народа» графа Коновницына. Граф был племянником декабриста и внуком генерала, героя Отечественной войны 1812 года, ставшего при Николае I военным министром. По его почину для противоборства революционерам в Одессе с августа 1906 года начала формироваться Белая гвардия, разделенная на шесть сотен. Несмотря на сомнительную репутацию коррупционера и алкоголика, Коновницын сделался настоящим неформальным хозяином южнорусского порто-франко. Его боевики терроризировали не только еврейское население города и студентов Новороссийского университета, но и иностранных подданных. С именем Коновницына был связан международный скандал, когда в начале 1907 года в российский МИД обратились с нотами протеста итальянский посол и австро-венгерский консул, обеспокоенные тем, что имущество и жизнь иностранцев в Одессе подвергается постоянной опасности. Однако у графа и его подручных нашелся влиятельный покровитель — командующий войсками Одесского военного округа барон Каульбарс, и скандал оказался замят.
Соратники Фишмана по партии социалистов-революционеров несколько раз готовили покушения на Коновницына и Каульбарса, однако охранке удавалось их предотвратить. Тогда имевший репутацию серьезного боевика Фишман взял ликвидацию лидера черносотенцев на себя. Но в разгар подготовки этой акции он тоже был внезапно арестован. Правда, улик в отношении него (на то он и был опытным конспиратором) оказалось недостаточно, на суде его оправдали. После освобождения Фишман предпочел отправиться в Москву, где его избрали в состав Московского комитета партии эсеров. Но тут как раз во время партконференции нагрянула полиция, и в итоге Яков снова оказался в тюрьме — на сей раз уже всерьез и надолго. В 1908 году за принадлежность к террористической организации его отправили на поселение в Туруханский край. Советскому человеку, воспитывавшемуся если и не на «Кратком курсе истории ВКП(б)», так на знаменитой песне Юза Алешковского, нет надобности пояснять, что это такое.
В этих гиблых местах побывали не только Фишман и Сосо Джугашвили, но и многие другие революционеры, включая Якова Свердлова и лидера анархистов Льва Черного. Поздней осенью 1908 года здесь вспыхнул бунт ссыльных. Путь повстанцев, разоруживших и убивших нескольких стражников, сперва лежал на Туруханск, который они, захватив полицейское управление и пополнив силы за счет освобожденных политических и уголовников, содержавшихся в местной тюрьме, удерживали в течение нескольких дней. По дороге, в местечке Тунгуска бунтари останавливались на отдых в домике в селении Осиновка, где жил ссыльно-поселенец Фишман. Пытаясь двигаться в сторону Беренгова моря для побега в Америку, бунтари были настигнуты погоней в Хатанге. Часть из них была убита в бою, остальные приговорены к повешению и к вечной каторге. Хотя Фишман и не присоединился к затеянной ими авантюре, но по обвинению в содействии бунтарям его арестовали и этапировали в Енисейск, где он провел год под следствием в тюрьме.
В общей сложности в предреволюционное время Яков Моисеевич провел в заключении и в ссылке пять с половиной лет. Однако в июле 1911 года ему удалось удачно бежать — сначала в Китай, а затем, после длительного морского путешествия, в Италию. Здесь он поступил в Неаполитанский университет, подав в качестве удостоверяющего его личность документа... тюремное свидетельство. (Об этом вспоминал не кто иной, как общавшийся с Фишманом в Италии широко известный сталинский зодчий Борис Иофан, возводивший Дом на набережной.) Интересно, что спустя пару лет тот же маршрут проделал и младший брат Якова Вениамин. Отбыв четыре года каторги, он также сумел сбежать из ссылки в Киренском уезде Иркутской губернии и добраться до Италии. Очутившись в «вечном городе», он поступил на математический факультет Римского университета.