С конца 1920-х годов Гравицкий активно сотрудничает с немецкими агентами в руководстве антисоветской «Лиги Обера». При финансовой помощи Германии Гравицким была организована публикация клеветнических антисоветских статей в европейских газетах. Агентура Гравицкого активно выслеживала сотрудников советской разведки в Германии и во Франции. Сведения, полученные от руководства «Лиги Обера», стали причиной т.н. «копенгагенского провала» 1935 г., следствием которого стал арест советских резидентов в Дании и Германии т.т. Угера, Максимова и Улановского.
Одновременно развивалось сотрудничество Гравицкого с руководством НСДАП. Еще в начале 1920-х годов Гравицкий неоднократно заявлял о неизбежности прихода нацистов к власти. На словах резко критикуя Гитлера, он в то же время способствовал вхождению в ближайшее окружение будущего «фюрера» нескольких эмигрантов из России, этнических немцев. В дальнейшем, продолжая высказываться отрицательно о нацизме, он, тем не менее, сохранял и поддерживал личные контакты с высокопоставленными представителями НСДАП, выступая консультантом по вопросам, связанным с СССР.
В 1939 году, временно проживая в Париже, Гравицкий заявил о своем выходе из «Лиги Обера», мотивируя это ее слишком откровенной германской ориентацией. Однако тайные контакты Гравицкого с немецкой разведкой продолжались. Благодаря им немцы получили подробные сведения о французской компартии и антифашистской эмиграции во Франции.
В июне 1941 года, за двое суток до начала войны, Гравицкий был переброшен на территорию Западной Украины в составе большой группы агентов, экипированных в форму советских пограничников, с заданием убийства, как только начнутся военные действия, высшего и старшего командного состава, нарушения связи и создания паники в наших оперативных тылах. По другим, менее достоверным, данным, Гравицкий действовал в составе аналогичной группы в районе Белостока. В последующем еще как минимум дважды (в июле и августе 1941 года) перебрасывался в тылы Красной Армии в составе диверсионных групп.