На плечи Руденко Хрущёв взвалил неблагодарное дело проведения процессов в отношении бывших руководителей госбезопасности. В декабре 1954 года он был государственным обвинителем на Ленинградском процессе по делу бывшего министра госбезопасности генерал-полковника Виктора Абакумова и сотрудников следчасти МГБ СССР по особо важным делам. И хотя все подсудимые за свои преступления давно заслужили смертную казнь, и этот процесс тем не менее был полностью сфальсифицирован. Можно, например, отметить, что Абакумов был назван «приспешником Берии», хотя между ними очень давно пробежала черная кошка и именно Берия способствовал аресту бывшего начальника СМЕРШ, в котором видел своего конкурента, а Абакумов сделал все возможное, чтобы подставить Берию. Затем были Тбилисский процесс (сентябрь 1955 года) по делу бывших министров госбезопасности Грузии Авксентия Рапавы и Николая Рухадзе и других сотрудников республиканского МГБ, и Бакинский процесс (апрель 1956 года) по делу руководителей госбезопасности Кавказа и Закавказья, где главным действующим лицом стал давний соратник Берии Мир Джафар Багиров, который 20 лет занимал пост 1-го секретаря ЦК Компартии Азербайджана.
А затем начался совершенно другой этап в карьере Руденко, и именно здесь бывший главный обвинитель на Нюрнбергском процессе показал себя принципиальным высокопрофессиональным юристом, сторонником законности – пусть еще «социалистической», но все же законности. Именно он, человек, который с высокой трибуны на глазах всего мира говорил о чудовищных преступлениях национал-социалистов, занялся ликвидацией последствий большевистских экспериментов с судебной системой и прокурорским надзором. Руденко и возглавляемая им Генеральная прокуратура приняли активное участие в самом важном «мероприятии» оттепели – организации реабилитации т. н. необоснованно репрессированных. Заслуга Руденко в том, что он не выступил против, а стал – как всегда – четко исполнять решение партии. Хотя я более чем уверен, что процесс реабилитации, восстановления законности ему, юристу, был достаточно близок.
Он не был инициатором этой политики, но стал самым активным и последовательным ее реализатором. По его предложению и под его председательством 4 мая 1954 года была создана Центральная комиссия по пересмотру дел осужденных за контрреволюционные преступления – она должна была пересмотреть все дела на лиц, осужденных внесудебными органами (Коллегией ОГПУ, различными Особыми совещаниями, тройками и т. д., а также Военной коллегией Верховного суда СССР и военными трибуналами). Вместе с Георгием Жуковым и Константином Горшениным он выступил инициатором принятия Постановления ЦК КПСС и Совета министров СССР от 29 июня 1956 года «Об устранении последствий грубых нарушений законности в отношении бывших военнопленных и членов их семей». Сам Роман Андреевич очень четко определил поставленные задачи: «Всем нам придется столкнуться с тем, что оценки некоторых событий и их участников, казавшиеся неизменными, нужно будет пересмотреть. Сделать это надо во имя истины, справедливости и правды истории».
Роман Руденко стал фактическим создателем той системы прокурорского надзора, с которой Советский Союз подошел к своему краху – во многом нашей современной системы. Он буквально положил жизнь на то, чтобы в рамках однопартийного государства наладить хоть какую-то системную работу прокуратуры, превратив ее из «верного исполнителя решений ленинской партии» в службу, стоящую на охране законности. Он самым активным образом участвовал в подготовке и принятии Постановления ЦК КПСС от 19 января 1955 года «О мерах по дальнейшему укреплению социалистической законности и усилению прокурорского надзора», Положения о прокурорском надзоре в СССР (24 мая 1955 года), Закона СССР «О прокуратуре СССР» (30 ноября 1979 года)… В 1956 году Руденко стал кандидатом в члены, а в 1961-м – членом ЦК КПСС. Конечно, член партийного ареопага даже в мыслях не подразумевал всю эту «буржуазную законность» и стоял на страже именно Советского государства. С его именем связаны первые преследования диссидентов – он уверенно и последовательно проводил политику партии.