Следует отметить одну очень важную особенность, связанную с реабилитацией. Органы прокуратуры не были вполне свободны, когда речь шла о необходимости реабилитации видных советских, партийных и хозяйственных работников, осужденных по наиболее «громким» делам. В таких случаях Руденко один или же с министром внутренних дел и председателем Комитета государственной безопасности испрашивал согласие Президиума ЦК КПСС. Отсюда проистекали и такие довольно странные формулировки в партийных решениях. Так, в постановлении Президиума ЦК КПСС, предварительно рассматривавшего 15 апреля 1954 года вопрос о реабилитации лиц, проходивших по «ленинградскому делу», было записано: «Разрешить Генеральному прокурору СССР после принятия решения опротестовать приговор Военной коллегии Верховного суда СССР по данному делу на предмет его прекращения и реабилитации осужденных». 3 мая 1954 года Президиум ЦК КПСС принял в окончательной редакции постановление о «ленинградском деле», в котором уже поручал Генеральному прокурору СССР Руденко опротестовать приговор Военной коллегии по делу Кузнецова и других, хотя к этому времени протест уже был внесен и 30 апреля 1954 года Военная коллегия реабилитировала всех лиц, осужденных по этому делу, а также членов их семей и родственников, приговоренных Особым совещанием как соучастников.
Президиум ЦК КПСС поручил Н. С. Хрущеву в мае 1954 года выехать в Ленинград и доложить активу ленинградской партийной организации о решении ЦК КПСС по делу Кузнецова, Вознесенского и др. Такая поездка состоялась 6 и 7 мая. Хрущев взял с собой Генерального прокурора СССР Руденко. Открывая собрание ленинградского партийного актива, Хрущев зачитал постановление Президиума ЦК КПСС по «ленинградскому делу», а затем предложил заслушать Руденко. Роман Андреевич подробно рассказал о том, как фабриковалось это дело, о выбивании у арестованных признательных показаний и т. п. В заключение он признал, что Прокуратура СССР, по существу, не осуществляла никакого надзора за следствием в органах государственной безопасности. Он сказал: «За все время существования Прокуратуры СССР до последнего времени ни разу не проверялись прокурорским надзором Внутренняя и Лефортовская тюрьмы МГБ – МВД, хотя именно в этих тюрьмах совершались преступления. Внутренняя и Лефортовская тюрьмы не проверялись по единственной причине: Берия, Меркулов, Абакумов запретили пускать туда прокуроров».
Генеральный прокурор Руденко постоянно докладывал ЦК КПСС о результатах работы Центральной комиссии по пересмотру дел. В частности, в июне 1954 года он сообщал, что комиссия на своем заседании 31 мая рассмотрела 81 уголовное дело на 113 человек, ранее осужденных Особым совещанием. Принято решение полностью реабилитировать 46 человек, снизить меру наказания 12 лицам, переквалифицировать состав преступления и освободить из ссылки 3 человека. Отказано в просьбе об отмене решения 18 лицам.
15 ноября 1954 года Руденко и председатель КГБ при Совете Министров СССР Серов внесли предложение в ЦК КПСС об упрощении порядка рассмотрения жалоб и заявлений по делам на лиц, осужденных бывшей коллегией ОГПУ тройками НКВД– УНКВД и Особым совещанием. Указом Президиума Верховного Совета СССР от 1 сентября 1953 года эта работа была возложена на Прокуратуру Союза ССР с предварительным заключением Комитета государственной безопасности. В записке предлагалось разрешить Прокуратуре СССР и Комитету государственной безопасности самим устанавливать порядок рассмотрения жалоб. ЦК КПСС с этими доводами согласился, и вскоре появился соответствующий указ Президиума Верховного Совета СССР.
29 апреля 1955 года Руденко направил в ЦК КПСС записку о результатах работы Центральной комиссии и комиссий союзных республик, краев и областей по пересмотру дел на лиц, осужденных за контрреволюционные преступления. В ней сообщалось, что по состоянию на 1 апреля 1955 года было рассмотрено уголовных дел на 237 412 осужденных лиц. Отменено решений и дела прекращены в отношении 8973 лиц, сокращен срок наказания 76 344 лицам, в том числе с освобождением из-под стражи 21 797 человек. Отменена ссылка и высылка на поселение 1371 человеку. Отказано в реабилитации 125 202 лицам.