В семинарии преобладали настроения оппозиционные по отношению к русским властям. Из нее вышли многие видные революционеры. Руководство старалось сделать все, чтобы погасить бунтарский дух в студентах, — за ними шпионили, у них в спальнях устраивались обыски, за малейшие проступки их сажали в темную камеру-келью, находившуюся в подвале. Здесь Иосиф прошел хорошую школу конспиратора.
Несмотря на большие нагрузки в учебе, он по-прежнему много читает. В основном в те годы его интересует русская и западная классика — Гоголь, Салтыков-Щедрин, Толстой, Чехов, Бальзак, Теккерей, Гюго. Как и многие молодые люди, пишет стихотворения, некоторые из которых были опубликованы в 1893–1894 годах. Их не отличает поэтическое своеобразие, но в стихах все же есть юношеская прелесть. Возможно, он мог бы многого добиться на поэтическом поприще, особенно в советское время, когда расплодилось много «уродцев пера». Но карьера поэта Иосифа не интересовала — увы. Вот два его стихотворения:
И еще одно — в переводе В. М. Молотова:
Из этих строк, полных пафоса, видно, что сам автор жаждет «небесной правды»… В то время он был еще горячим патриотом Грузии.
Первые два года Иосиф считался в семинарии образцовым учеником, но затем вошел в конфликт с монахами, узнавшими о том, что он читает запрещенную литературу. Он становится членом маленькой организации «Месамедаси», первой марксистской организации Грузии, разрешенной полицией. Иосиф сделался руководителем кружка по изучению марксизма среди рабочих.
В мае 1899 года его исключают из семинарии за несдачу экзаменов по неуважительным причинам. Правда, сам он утверждал, что исключили его за распространение марксизма, а его мать говорила, что сама забрала сына из семинарии из-за слабого здоровья.
После ухода из семинарии он некоторое время работал в Тифлисской геофизической обсерватории, принимал участие в стачках забастовках и маевках, после одной из которых Кобе — так он теперь называл себя — пришлось перейти на нелегальное положение и скрыться в Гори.
Когда Леонид Красин, поддерживающий связь с Лениным, начал издавать первую нелегальную газету на грузинском языке, Коба стал печатать в ней свои статьи. Он вошел в состав Тифлисского комитета РСДРП.
После нескольких подготовленных с его помощью демонстраций и стачек полиция наконец арестовывает Кобу, и год он проводит в тюрьме, занимаясь там чтением и учебой.
Сохранилась запись из дела, заведенного на Иосифа Джугашвили: «Рост два аршина полтора вершка (приблизительно 163 см); телосложение среднее; возраст 23 года. Второй и третий пальцы левой ноги сросшиеся. Волоса, борода и усы темные. Нос прямой и длинный. Лоб прямой и низкий. Лицо удлиненное, смуглое, с оспинами».
Кобу ссылают в Восточную Сибирь, в Иркутскую губернию, в село Новая Уда.
Жил он там довольно неплохо: охотился, рыбачил, встречался с друзьями, вел переписку. Тем не менее в январе 1904 года он бежит из ссылки и возвращается в Грузию.