Екатерина II, несомненно, ценила образованность, ум, смелость Панина, и в 1763 г. по удалении графа М.И. Воронцова назначила Панина старшим членом Коллегии иностранных дел, где он в течение 20 лет занимал первенствующее положение. Все вопросы внешней политики России с 1762 по 1783 г. связаны с именем Панина. Сначала он был неофициальным советником императрицы, а в 1763–1781 гг. (ему 45–63 года) заведовал всеми делами в Коллегии иностранных дел, хотя канцлером он никогда не был. Н.И. Панин в 49 лет и его брат Петр в 1767 г. были возведены в графское достоинство. Во внешней политике Н.И. Панин прекрасно разбирался до 1772 г., а с 54 лет стал порой делать ошибки. Он стал слепым сторонником союза России с Пруссией (а Екатерина и Павел стремились к сближению с Австрией), не осознал невозможность примирения интересов России, Англии, Швеции, Польши, не предусмотрел осложнения, которыми грозило вмешательство во внутренние дела Польши, был совершенно не подготовлен к вспыхнувшей в 1768 г. войне с Турцией. Кроме того, усилился разлад между Екатериной II и ее взрослым, женатым сыном Павлом, у которого она фактически украла по российским правилам принадлежавшую именно ему верховную власть. Ближайшим другом и советником Павла, доверенным человеком обеих его жен был Панин, уверенный в ущемлении интересов и прав Павла Петровича. Все эти обстоятельства пошатнули, казалось бы, незыблемое положение Панина при дворе. Он, как государственный человек, был сторонником «утверждения правительства на твердых основаниях закона», питал симпатии к конституционному строю (поэтому он и предпринял попытку ограничить произвол самодержавной власти, предоставив императрице проекты учреждения олигархического, «императорского совета» и реформы Сената, которые она отвергла). Панин был противником «произвола сильных персон и припадочных людей», которыми в России был богат XVIII век.