Большое внимание губернатор уделял работе судебных учреждений, предупреждению преступлений, содержанию колодников, обращению к ним. В конце 1786 года он лично осмотрел тамбовскую тюрьму. Вот как он описывает свое впечатление об этом: «При обозрении моем губернских тюрем в ужас меня привело гибельное состояние сих несчастных (то есть колодников). Не только в кроткое и человеколюбивое нынешнее, но и в самое жестокое правление, кажется, могла ли когда приуготовляться казнь, равная их содержанию, за их преступления, выведенная из законов наших. Более 150 человек, а бывает, как сказывают, нередко и по 200, повержены и заперты, без различия вин, пола и состояния, в смердящие и опустившиеся в землю, без света, без печей, избы или, лучше сказать, хлева. Нары, подмощенные от потолка не более 3/4 расстоянием, помещают сие число узников. Следовательно, согревает их одна только теснота, а освещает между собой одно осязание. Из сей норы едва видны их полумертвые лица и высунутые головы, произносящие жалобный стон, сопровождаемый звуками оков и цепей
».После этого Державин добился значительного улучшения состояния тюрьмы, где устроены были кухня и лазарет, наведены возможная чистота и порядок. По его словам, после этого посещения он «разобрал по точной силе законов вины преступников, содержащихся без всякого прежде различия в тюрьмах
». Он сделал распоряжение, которым некоторых колодников отпустил «по распискам и поручительствам»; одних предписал содержать строже, других — слабее, «рассадя их всех по особым номерам, по мере их вин и преступлений».Державин сам внимательно вникал в расследование преступлений. Так, он помог «открыть убийство» княгини Девлеткольдской, совершенное ее племянником Богдановым, которое скрывал местный городничий.
Генерал-губернатор Гудович был человек весьма своеобразный. По выражению графини Ф. В. Растопчиной, он был «столько же мстителен, сколько груб, глуп, горд и бешен
». Когда интересы Гудовича не затрагивались, он в дела губернатора не вмешивался. Более того, всячески поощрял Державина и даже представил его к награде, написав в представлении, что он «всю губернию привел в порядок». И это была правда.Однако вскоре у Державина произошла серьезная стычка с Гудовичем по делу тамбовского купца Бородина. Этот купец при поставке кирпича обманул казну, а потом еще добился винного откупа на таких условиях, что казна неминуемо теряла полмиллиона рублей. До Державина дошло также, что Бородин собирается учинить еще одно мошенничество — ложно объявить о банкротстве. Гавриил Романович мириться с этим не мог. Он наложил арест на имущество купца Бородина. Генерал-губернатор Гудович встал на защиту купца и направил в сенат рапорт о его самоуправстве. Там генерал-прокурор Вяземский, казалось, только этого и ждал. Он дал делу ход, и на Державина был наложен штраф 17 тысяч рублей.