Князь Барятинский, пользуясь близостью к императору, провел на Кавказе ряд мероприятий, направленных на подъем благосостояния края, наведение в нем порядка, законности и усиления значения органов русской власти. Для преобразований он имел широкой простор, пользуясь предоставленным правом реформировать старые учреждения, вводя новые, без утверждения законодательным порядком, «в виде опыта, на три года».
Уже в первые месяцы пребывания его на Кавказе в 1856 г. было расформировано Главное управление наместничества и учрежден особый комитет для обсуждения основ, на которых должна была производиться реформа управления. Комитет предложил: 1) Взамен должности начальника гражданского управления учредить должность начальника Главного управления, который, будучи ближайшим в делах гражданских помощником наместника, должен был под его руководством заведывать всеми частями управления и вести переписку, не требующую распоряжений в высшем отношении, и таким образом иметь по гражданским делам то же значение, которое по делам военным принадлежало начальнику штаба Кавказской армии. 2) Главное управление делами Кавказского и Закаспийского края, назвав его Главным управлением наместника Кавказского, образовать из отдельных частей, которые, заведуя специальными отраслями администрации, по своему составу и кругу действий заменили бы посредствующие между министрами и подчиненными им местами учреждения, существующими во всех министерствах. Поэтому под ближайшим заведыванием начальника Главного управления решено учредить следующие департаменты: а) общих дел; б) судебных дел; в) финансовый, для сосредоточения в нем высшего счетоводства по местным доходам и расходам и по денежным земским повинностям в Закавказском крае, а также для заведывания делами по питейным сборам, горной и соляной частям таможенному управлению и по мерам, относящимся к оживлению торговли внутренней и внешней, поощрению заводской и мануфактурной промышленности; г) государственных имуществ, для заведывания казенными землями и вообще государственными крестьянами всех наименований; д) в не разделенный с департаментами состав Главного управления ввести особое управление сельского хозяйства и колонии иностранных поселенцев на Кавказе. 3) Оставив при Главном управлении в виде особого установления существующее особое о земских повинностях присутствие, для дел, к земским повинностям по Закавказскому краю относящихся, изменить его личный состав и принятый в оном порядок производства дел, сообразно новому устройству Главного управлении. По прочим же делам, в случаях особенной важности, в кругу административном возникающих, когда предстоит принять какое-либо общее распоряжение по разным частям управления, предоставить начальнику Главного управления составлять из директоров совещательные собрания. 4) При таком устройстве Главного управления, когда все части его будут подчинены особым специальным лицам, обязанным ближайшею ответственностью за их благоустройство, изменить организацию бывшего совета Главного управления Закавказского края и именовать его советом наместника, с направлением деятельности его не столько на текущие дела администрации (которые будут разрешаемы совещаниями административных лиц, т. е. начальников частей с начальником Главного управления), сколько на важнейшие вопросы, которые будут передаваемы на его обсуждение наместником. 5) Затем, под ближайшим и непосредственным надзором и руководством наместника, учреждалось временное отделение по делам гражданского устройства края, для производства дел и переписки по особым предначертаниям и приказаниям наместника, а также для приготовления и обработки проектов, положений, новых правил и инструкций по вопросам общим, имеющим ближайшее отношение к устройству разных частей управления и развитию народного благосостояния в крае. Было признано удобным в лице управляющего отделением соединить звание и обязанности директора походной канцелярии наместника.
Мероприятия князя Барятинского по улучшению управления Кавказским краем охватывали все области жизни наместничества. Так, в вопросе об учебной части он настоял на упразднении учебного округа, передав все права и обязанности попечителя начальникам отдельных местностей края, делопроизводство по наблюдению за учебной частью сосредоточил в Главном управлении наместника.
Важное значение наместник придавал развитию путей сообщения, особенно постройке железных дорог и организации пароходных сообщений. Немало было вложено труда на улучшение строительной и дорожной части, благодаря чему в некоторых прежде глухих и неудобных для сообщения местах были проложены дороги и шоссе. Венцом работы явилось сооружение Военно-Грузинской дороги. Иностранные инженеры составили проект железной дороги от Поти до Баку (приведенный в исполнение гораздо позднее), выработали план орошения, экономическое значение которого для Кавказского края очень высоко ставил наместник. Хотя и было заведено пароходство по Кубани и Риону, но не удалось достигнуть каких-либо существенных результатов.