Петровский понял, что начинать надо прежде всего с создания хотя бы и небольшой, но крепкой подпольной большевистской группы, раздобыть революционную литературу и заняться ее распространением, а также наладить кружки для самообразования и изучения основ марксизма. Так и было сделано.
Первую подпольную группу Петровский сколотил на заводе «Провиданс», где работал сам. Она сначала собиралась на квартире А. З. Заворуева, а потом — Олейникова и Зеленского. Товарищи из Екатеринославского комитета РСДРП пересылали Петровскому, хотя это было очень нелегко сделать в то время, газеты и запрещенные цензурой книги и брошюры. Все это было, конечно, строго законспирировано, и знали об этом лишь несколько человек из подпольной группы — те, кому было поручено заниматься перевозкой этой литературы.
Вокруг Петровского всегда были люди. Они приходили к нему за советом, помощью или поручением ежедневно. Рабочие беседовали с ним и в цехе, во время перерыва, и на квартире Петровского, где каждый был желанным гостем. Петровскому верили, и потому не раз, по просьбе рабочих, он как их представитель ходил на переговоры с заводской администрацией по разным спорным вопросам, и его участие обычно способствовало разрешению конфликта в пользу рабочих.
Авторитет Петровского среди мариупольцев рос очень быстро. Знали его рабочие и в других городах губернии. И когда начались выборы губернского правления профсоюза металлистов, не удивительно, что в его состав вместе с большевиками И. Меренковым, М. Миллером, И. Захаренко избрали и Григория Ивановича Петровского. Этот профсоюз существовал тогда как легальная организация. Она давала возможность большевикам расширить свою пропагандистскую работу в заводских массах, так как подпольными методами осуществить это было гораздо труднее. При помощи профсоюза легче было приобретать нелегальную литературу и более успешно распространять ее. В Мариуполе появились и легальные большевистские газеты, сначала «Звезда», а с 1912 года — «Правда». Все это способствовало разоблачению соглашательской, предательской политики меньшевиков, отрекавшихся после поражения первой революции от революционного знамени РСДРП.
Работа Петровского и других большевиков в правлении профсоюза металлистов была полезна, поскольку помогала партии следить и направлять деятельность профсоюза так, как того требовали интересы будущей революции. Она была полезна и в том смысле, что публичная деятельность Петровского была по форме вполне законной и полиция не вправе была ее запретить и без суда покарать за нее. Это подтверждается и таким примером из его публичной деятельности: в 1907 году екатеринославские жандармы не удержались от искушения донести по начальству о том, что «… Петровский ездил в Петербург в качестве делегата от рабочих Брянского завода хлопотать перед членами II Государственной думы об открытии Брянского завода, каковой ввиду убийства начальника прокатных мастерских инженера Мылова не функционировал в течение трех месяцев…» Тайно они доносили, а привлечь к ответственности формально не имели права.
Царской охранке, несомненно, очень хотелось упрятать в тюрьму Петровского, но законного повода у нее не было.
А время в стране было мрачное, и партии большевиков, загнанной душителями революции в подполье, приходилось очень и очень круто.
Репрессии продолжались. Царское правительство, арестовав в ночь на 3 июля 1907 года депутатов социал-демократов, распустило II Государственную думу, хотя срок ее полномочий не истек. Те малые гражданские права, которые под напором революции были «дарованы» народу царским манифестом 17 октября 1905 года, были отменены. Над социал-демократами, депутатами II думы, был устроен суд по обвинению в измене отечеству, и они, чья вина состояла лишь в прогрессивности взглядов, в желании добиться облегчения жизни народа, были сосланы этапом в Сибирь.
Аресты, тюрьмы и ссылки стали нормой российской жизни. Двуглавый царский орел простер крылья мести над подвластным ему народом.
Все это, конечно, не могло не сказаться на силе партии. Связи подпольных социал-демократических организаций с центром, с ЦК сильно ослабли или вовсе оборвались. В результате очередные партконференции и съезд не могли собраться долгое время — почти четыре года.
Четыре года молчала, затихнув, и вся рабочая Россия. Последним всплеском мятежной волны была забастовка 22 ноября 1907 года — протест против разгона II думы и ссылки депутатов социал-демократов.
Владимир Ильич Ленин был вынужден покинуть Россию. Находясь за границей, он внимательно следил за всем, что творится на родине, и готовил партию к неизбежному подъему новой революции. По энергичному настоянию Ленина в январе 1912 года была созвана после большого перерыва VI Всероссийская конференция РСДРП. Конференция состоялась в Праге.