Однако создатели жандармского корпуса считали обязанности жандармов настолько широкими, что их бесполезно было бы втискивать в рамки какой-либо инструкции. Сохранился хрестоматийный рассказ о том, как Бенкендорф после своего назначения попросил у царя инструкцию. Николай I протянул ему платок со словами: «Вот тебе инструкция. Чем больше утрешь слез этим платком, тем лучше». Некоторые современники утверждали, что исторический платок хранился под стеклянным колпаком в архиве Третьего отделения. Как писал английский исследователь П. Сквайер, «достоверность этого рассказа не вполне установлена, тем не менее “легенда о платке” заняла свое место в истории. Частично это произошло потому, что она в целом довольно точно отражает сентиментальные настроения Николая I в это время, а частично потому, что многие критики Третьего отделения были поражены — в свете дальнейшего развития событий — очевидной иронией царских слов, искренних или лицемерных. Эти критики с достаточными основаниями утверждали, что был достигнут прямо противоположный результат».
Между прочим, Бенкендорф, напутствуя вновь принятых офицеров, повторял слова о платке, которым они должны утирать слезы несчастным. О том же говорилось в инструкции шефа жандармов. Бенкендорф напоминал о высоком предназначении жандарма: «В вас всякий увидит чиновника, который через мое посредство может довести глас страждущего человечества до престола царского и беззащитного и безгласного гражданина немедленно поставить под высочайшую защиту государя императора».
В первое время имелись разногласия между новым органом и прежними ведомствами. В 1829 г. Бенкендорф жаловался Николаю I на министра внутренних дел А.А. Закревского: «Все сообщаемые ему жандармерией сведения он посылает губернаторам, сообщая им, от кого они исходят; это тормозит деятельность жандармов и навлекает на них придирки и злобу местных властей». Царь неоднократно подчеркивал, что распоряжения Третьего отделения обязательны для всех государственных учреждений; сотрудничество с Третьим отделением не зависит от желания министров или губернаторов, а является их служебным долгом.
Влияние Третьего отделения усиливалось тем обстоятельством, что его высшие руководители были самыми доверенными сановниками. Начало этой традиции положил Бенкендорф — неразлучный спутник царя. Судя по заметкам шефа жандармов, Николай I вел с ним самые доверительные и откровенные беседы. За свою службу Бенкендорф получил все возможные награды: земли, крепостных, чины, ордена, место в Государственном совете. В 1832 г. ему был дарован титул графа. Николай оказывал ему и нематериальные знаки внимания. Во время тяжелой болезни Бенкендорфа царь проявил трогательную заботу, сидя у изголовья кровати шефа жандармов.
Первый начальник Третьего отделения вошел в историю как резко отрицательный персонаж. Наверное, нельзя полностью доверять Бенкендорфу, когда он в своих записках утверждал, что о его здоровье возносили молитвы одновременно в православных церквах, в мечетях и в синагогах. Вместе с тем Бенкендорф мало напоминал Ушакова и Шешковского. Он был человеком другого века и действовал скорее уговорами, чем угрозами. До нас дошли рассказы об участливом отношении шефа жандармов к попавшим в беду людям. Но было немало случаев, свидетельствовавших о произволе начальника Третьего отделения. Бенкендорф умер 11 сентября 1844 г.
В последние годы его жизни Третьим отделением фактически руководил Леонтий Васильевич Дубельт. Его происхождение, если верить семейным легендам, чем-то напоминало приключенческий роман. Отец будущего начальника штаба жандармов похитил его мать — принцессу испанского королевского дома и привез в Россию. Как и его начальник Бенкендорф, Дубельт начал службу с 15 лет. Он получил рану в Бородинском сражении, участвовал в Заграничном походе, был адъютантом Д.С. Дохтурова и Н.Н. Раевского. Неудивительно, что Дубельт был близок к декабристским кругам. После восстания на Сенатской площади все недоуменно спрашивали, почему не арестован Дубельт. Но за ним числились только разговоры, а не членство в тайном обществе. Поэтому Дубельт беспрепятственно продолжил службу командиром пехотного полка. Но остатки вольнодумства у него, очевидно, сохранились. Он поссорился с непосредственным начальством и демонстративно подал в отставку. Опрометчивость этого шага небогатый подполковник Дубельт осознал сразу. Поиски выгодного места привели его в корпус жандармов.