С этого времени началась почти открытая борьба между генерал-губернатором Тутолминым и губернатором Державиным. Жители города раскололись на две партии. Кто-то из чиновников держал сторону губернатора, но большинству он был все же непонятен своим постоянным стремлением к справедливости. Сторону Тутолмина держал, в частности, губернский прокурор Грейц, который натравливал на губернатора подчиненных ему прокуроров и стряпчих. Державин писал по этому поводу:
Масла в огонь подлил своей неожиданной выходкой заседатель верхнего земского суда Молчин. Однажды, в мае 1785 года, он шел на службу. Во дворе губернаторского дома он увидел медвежонка, принадлежащего асессору Аверьянову, жившему во флигеле. Присутствия в тот день в суде не было, а председатель суда Тутолмин (двоюродный брат генерал-губернатора) находился в отпуске. От нечего делать Молчин взял медвежонка с собой. Придя в суд, шутя, сказал: «
Державин добился от губернского правления принятия резолюции о том, чтобы генерал-губернатор сделал выговор заседателю Молчину за его «неуважительный проступок». Однако Тутолмин приказал отдать заседателя под суд. Здесь уж воспротивился Державин. И дело завертелось. Губернский прокурор Грейц отправил в Петербург протест, а генерал-губернатор Тутолмин — жалобу на Гаврилу Романовича. Дело дошло до сената, который потребовал от губернатора объяснения. Державин написал в ответ, что «
Восьмого июня 1785 года, устав отбиваться от нападок и придирок, Державин в отчаянии писал А. А. Безбородко: «
Гавриил Романович выехал знакомиться с губернией 19 июня 1785 года. Его сопровождали секретарь Грибовский и экзекутор Эмин. Путешествие продолжалось почти три месяца. Он посетил самые отдаленные селения губернии, подробно ознакомился с жизнью и бытом населения, решая попутно административные вопросы.
На многие распоряжения Тутолмина Державин делал письменные замечания. Интересны его замечания на «камеральное описание» губернии, составленное генерал-губернатором в феврале 1785 года. Это «описание» Тутолмин представил Екатерине II. Державин взял его с собой в путешествие, по пути изучал и делал свои пометки.