1768 г. стал годом начала русско-турецкой войны, и Румянцев был назначен командующим 2-й армией, которой поручалась охрана русских границ от набегов крымских татар. Генерал-аншеф расположил свои войска тремя крупными отрядами недалеко друг от друга, чтобы быстро соединить их в случае вражеского нападения. Им были созданы базы снабжения в Киеве, Бердичеве и других местах. Осенью Румянцев разбил отряды крымцев у Бахмута и Елизаветграда. Вскоре Екатерина II, недовольная действиями армии под командованием князя А. М. Голицына и не знавшая, что ему удалось разбить турок и овладеть Хотином и Яссами, назначила на его место Румянцева. Несмотря на нехватку продовольствия и недостаточные силы, Румянцев решил действовать наступательно. 17 июня 1770 г. его войска вместе с частями князя Репнина атаковали 70-тысячное войско крымского хана Каплан-Гирея и обходным маневром создали угрозу полного окружения вражеского лагеря. Это вынудило хана оставить свои позиции и отвести армию на новый рубеж, к реке Ларге, где 7 июля она вновь была атакована русскими войсками. Против 38 тысяч русских стояла 80-тысячная татарско-турецкая армия. В этом сражении Румянцев применил новое боевое построение войск дивизионное каре. Благодаря этому боевой порядок армии стал более маневренным, что дало пехоте возможность вести активные наступательные действия. Отразив натиск конницы, русская пехота перешла в наступление и нанесла врагу полное поражение. После сражения при Ларге крымский хан фактически прекратил активные военные действия до конца кампании.
Еще более прославила имя Румянцева победа, одержанная им 21 июля над вдесятеро сильнейшим неприятелем при Кагуле. Кроме огромной численности войск, турецкое командование не могло ничего противопоставить маневренной, атакующей тактике Румянцева. После отражения русскими войсками нескольких атак янычар турецкое войско было выбито со своих позиций. Противник поддался массовой панике и побежал. К полудню огромный Катульский лагерь великого визиря перестал существовать. Было захвачено 140 орудий и весь обоз. Турки потеряли около 20 тысяч человек. «…Не ушла ни одна нога, — написано о результатах сражения в журнале военных действий, — …великая часть их [турок], избегнув наших рук, потопилась в Дунае, когда визирь прибежал в торопливости и страхе. Бегущие воины, угнетая и рубя друг дружку, одни садились на суда, другие хватались за канаты и доски, погружая самые судна неумеренною тягостью ко дну вместе с собой. Словом, гибель тут была туркам наивеличайшая…»
В Кагульском сражении Румянцев впервые в России применил против превосходящих сил противника исключительно наступательную тактику, которая позволила ему сразу овладеть инициативой. 27 июля первым из русских военачальников он был удостоен ордена св. Георгия 1-й степени «в турецкую войну, предводительствуя первой армией, за одержанную победу над неприятелем 21 июля 1770 года под Кагулом знаменательную победу». 2 августа императрица присвоила Румянцеву чин генерал-фельдмаршала. После этой победы российские войска последовательно заняли Измаил, Килйю, Аккерман, Браилов, Исакчу, Бендеры. В 1771 г. Румянцев перенес военные действия на Дунай, а в 1773 г. приказал графу Салтыкову осадить Рущук и, послав к Шумле генералов Каменского и Суворова, сам осадил Силистрию, но, несмотря на неоднократные частные победы, пе смог овладеть этой крепостью, так же как и Варной, после чего отвел свою армию на левый берег Дуная.
В 1774 г. фельдмаршал с 50-тысячным войском выступил против 150-тысячной турецкой армии, которая, избегая генерального сражения, сосредоточилась на высотах у Шумлы. Главнокомандующий с частью своих сил обошел турецкий стан и отрезал визирю сообщение с Адрианополем, что вызвало в турецкой армии такую панику, которая вынудила визиря просить о перемирии. Однако Румянцев отказал ему, заявив, что разговор может идти только о мире. Мирный договор был подписан 10 июля в деревне Кючук-Кайнарджи. Турция уступала России Кабарду, Кинбурн, крымские крепости, признавала независимость Крымского ханства и русский протекторат над турецкими славянами. Турция возмещала все расходы, понесенные Российской империей в этой войне, и предоставляла русским судам право беспрепятственного плавания по Черному и Мраморному морям. В своем рескрипте Екатерина II писала Румянцеву: «…вам одолжена Россия за мир славный и выгодный, какового по известному упорству Порты Оттоманской, конечно, никто не ожидал, да и ожидать не мог с разсудительною вероятностию. Самая зависть не может оспаривать сей истины». В годовщину подписания мира 10 июля 1775 г. в Москве состоялись торжества, на которых Петр Александрович Румянцев был удостоен почетного наименования Задунайский и награжден алмазными знаками ордена св. Андрея Первозванного, золотой шпагой с алмазами, фельдмаршальским жезлом, украшенным бриллиантами, лавровым венком и получил множество других наград.