Девятого сентября 1802 года у государственного канцлера, министра иностранных дел Воронцова собрались на первое заседание все вновь назначенные министры для обсуждения вопроса о порядке занятий их в Комитете министров. По некоторым вопросам Державин проявил инициативу. Так, он предложил приступить к немедленному составлению инструкции для министров, вполне обоснованно полагая, что в противном случае каждый из них будет постоянно вторгаться в область ведения другого. Это предложение встретило категорическое возражение со стороны всех остальных членов Комитета.
На другой день все министры собрались вновь, но уже в присутствии императора. Державин вновь поставил тот же вопрос — об инструкциях для министров. При этом он заявил, что сам лично будет руководствоваться в своей деятельности инструкцией генерал-прокурора. А для того чтобы предупредить вторжение прокуроров в неподведомственные им дела, он намерен дать на места надлежащие указания. Александр I с этим согласился.
Циркулярный ордер, подготовленный Державиным, был послан прокурорам 26 сентября 1802 года. В нем он предписывал своим подчиненным, что они, усмотрев в присутственных местах «положение не согласное законам, относящееся ко вреду службы, а паче к ущербу интересам Императорского Величества, или отягощению народному»
, должны, не останавливая исполнение, «немедленно с приличностию напомянуть о сем Губернскому правлению» и донести ему лично. Если какое-либо распоряжение или определение присутственного места, противоречащее закону, последовало по предложению министра, губернский прокурор обязан был «донести обстоятельно» генерал-прокурору «с первою почтою». О всех выявленных нарушениях законов, по которым состоялось исполнение и «отвратить беспорядка, вреда и убытка было бы уже не можно», прокурор обязывался доносить генерал-прокурору по «истечении каждой трети года». В этом ордере Державин вменял в обязанность прокурорам, чтобы они, кроме ведомостей «именных по делам и перечневых о колодниках» доставляли каждый месяц «по делам следственным и уголовным ведомость с примечанием, по какому случаю и поводу, в каком месте дело началось, когда и как решилось», как содержатся «находящиеся под стражею преступники», «имеют ли тюрьмы необходимые к человеческой жизни выгоды» и тому подобное. При расследовании преступлений они должны были наблюдать, «не происходит ли где кому пристрастных допросов, бесчеловечных истязаний и притеснений всякого рода на обвинение невинности». С другой стороны — следить, нет ли «упущения и послабления преступлениям, а наипаче сокрытия нестерпимых злодеяний». Прокурор обязан был добиться приведения следствия «в надлежащую ясность, точность» и окончания его с «совершенным беспристрастием». Когда «следствия кончены и преступления открыты, — писал Гавриил Романович, — то предлежит тщательному бдению вашему смотреть за правосудием». Далее он предлагал прокурорам оставить «всю не столь нужную переписку», а сообщать ему только по «достойным предметам». В заключение он писал, что о «похвальном служении» прокуроров, которые «рачением, благоразумием и деятельностью» оправдают «законом возложенное» на них доверие, он будет «свидетельствовать, где надлежит». Одновременно предупреждал, что за всякий «беспорядок, злоупотребление и упущение» каждый из прокуроров даст ответ «без малейшего» с его стороны «послабления». По предложению Державина этот ордер был направлен сенатом во все присутственные места с тем, чтобы они «доставляли» прокурорам все необходимые сведения и «не препятствовали им иметь наблюдение за порядком и благоуспешностию в производстве дел».С первых дней службы в должности министра Державин повел борьбу с беззаконием, произволом, превышением власти, взяточничеством.