Прикрываясь филантропическими идеями, он осуществил ряд противозаконных действий. Вскоре об этом стало известно руководству департамента Шер, и в соответствии с декретом от 15 ноября 1939 года о мерах, применяемых к лицам, представляющим опасность для общественного порядка, де Варга был на месяц посажен в тюрьму.
Заключению под стражу предшествовало обвинение в воровстве, злоупотреблении доверием и перепродаже краденого имущества (жалобу такого характера прислали главе департамента владельцы замка Шаливуа Пар-Мерри).
Де Варга был вынужден оставить занимаемый ранее пост и уехать из замка. Через некоторое время стало известно, что он возглавил информационно-разведывательный центр в Бурже, оказывающий всяческое содействие оккупационным властям. Именно в этот период деятельности Пьер получил прозвище Фишер, или Хирш.
Расположение немецкой администрации и предоставленная свобода действий способствовали созданию благоприятной атмосферы для осуществления противозаконной деятельности.
Однако и на этот раз удача отвернулась от авантюриста, его преступления были раскрыты. От тюрьмы не спасла даже протекция немецких властей: в апреле 1944 года де Варгу заключили под стражу, а затем перевели в Компьен.
В июле этого же года Пьер был депортирован в лагерь Нойенгамме, а в мае 1945 года освобожден из него с серьезными телесными повреждениями – следствием пыток и истязаний. Позже де Варга утверждал, что причиной его депортации явилась активная деятельность в рядах Сопротивления.
27 мая 1945 года репатриированный мошенник получил Военный крест якобы за участие в боевых действиях в период с 1939 по 1945 год. В сентябре ему вручили почетную грамоту, подписанную генералом де Голлем, а 6 мая 1946 года де Варга был удостоен благодарности самого маршала Монтгомери.
Апрель 1947 года ознаменовался началом новой карьеры талантливого афериста: начав работу в акционерном обществе в качестве редактора-информатора, Пьер поставил начальство в известность о том, что он – высококлассный специалист, обладатель дипломов Высшей школы политических наук и Высших коммерческих курсов. Это обстоятельство способствовало его продвижению по службе и осуществлению некоторых противозаконных операций.
Однако в марте 1949 года по каким-то причинам де Варга оставил работу, сулившую высокие прибыли. Примерно в это же время стало известно о контактах Пьера с Германией, причем характер и значение данных связей оставались загадкой не только для руководства компании, но и для высокопоставленных чиновников, отвечавших за национальную безопасность.
Вскоре де Варга поступил на работу во французскую торговую компанию, а в сентябре 1949 года возглавил коммерческую службу общества «Лингвил».
Проработав всего два месяца в вышеназванной организации, Пьер начал собственное дело: по его инициативе было создано общество с ограниченной ответственностью «Дантель пластик», специализирующееся на приобретении, продаже и переработке пластмасс.
В апреле 1952 года данное предприятие было ликвидировано, суд приговорил Пьера де Варгу к выплате задолженности в размере 13 млн. старых франков. В октябре этого же года афериста поймали на незаконной торговой деятельности и обязали уплатить штраф в размере 50 тыс. франков.
Январь 1953 года стал для Пьера де Варги началом новой авантюры, сопровождавшейся открытием на дому юридической консультации.
Заявление афериста о том, что он является высококлассным и опытным специалистом в области гражданских и торговых споров, а также уполномоченным представителем коммерческого суда департамента Сена, позволило ему без помех зарегистрировать свою юридическую контору в установленном порядке. С этого времени объектом пристального внимания Пьера де Варги стали люди, попавшие в трудную ситуацию.
Казалось бы, такие показатели, как сомнительная репутация «адвоката», а также многочисленные жалобы и претензии со стороны физических и юридических лиц должны стать препятствием на пути к успеху, но в действительности юридическая консультация де Варги процветала.
Постепенно увеличивалось количество работающих на мошенника людей, к концу 1953 года их насчитывалось уже более 40; повышался также уровень клиентуры: наряду с простыми обывателями, услугами де Варги стали пользоваться состоятельные бизнесмены и политики. Де Варга сумел довольно быстро наладить отношения с высокопоставленными политическими и юридическими деятелями. Это обстоятельство способствовало появлению многочисленных завистников и врагов.
Успех задуманного предприятия способствовал притоку крупных денежных сумм в карман умного афериста. Уже в середине 1953 года он стал обладателем роскошной виллы в Марей-Марли (департамент Ивлин) с удобными подъездными путями.
Через несколько месяцев за довольно крупную сумму де Варга приобрел обширное поместье в Уст-сюр-Си (департамент Дром) с каменным домом, парком и многочисленными хозяйственными постройками. Обстоятельства этой сделки были весьма сомнительными.
В то же время счастливый обладатель имения и виллы не имел постоянного документа на проживание в стране.