Первая встреча поэта и воина произошла около 21 июля 1823 года. Михаил Семёнович принял Пушкина очень ласково, и он стал частым посетителем дома генерал-губернатора, пользовался его библиотекой (и весьма активно): переписал секретные записки императрицы Екатерины II — два переплетённых тома, то есть корпел над ними продолжительное время, проявив завидные терпение и усидчивость.
Воспитанный в Англии Воронцов своими привычками и вкусами напоминал больше британского лорда, чем русского генерала, так и воспринимали его современники: «В графе М. С. Воронцове была вся английская складка, и так же он сквозь зубы говорил, так же был сдержан и безукоризнен во внешних приёмах своих, так же горд, холоден и властителен пред своими подчинёнными, как любой из сыновей аристократической Британии. Наружность Воронцова поражала своим истинно барским изяществом. Высокий, сухой, замечательно благородные черты, словно отточенные резцом, взгляд необыкновенно спокойный, тонкие длинные губы с этою вечно игравшею на них ласково-коварною улыбкою. Чем ненавистнее был ему человек, тем приветливее обходился он с ним; чем глубже вырывалась им яма, в которую собирался он пихнуть своего недоброхота, тем дружелюбнее жал он его руку в своей. Тонко рассчитанный и издалека заготовляемый удар падал всегда на голову жертвы в ту минуту, когда она менее всего ожидала такового».
Воронцов привлёк в Одессу множество знатных особ, желавших служить при нём. Он еженедельно принимал гостей в роскошных залах своего дворца и жил так, как и не снилось многим мелким германским князькам. Чиновники, служившие при Воронцове, были люди отборные, все хорошо воспитанные. Помещики приезжали в Одессу, наслышавшись о том, что в городе круглый год праздник. Одесса удивляла многочисленных иностранцев своей деловой и культурной активностью. Пушкин писал брату Льву: «Я опять в Одессе и всё ещё не могу привыкнуть к европейскому образу жизни».
Не смог он привыкнуть и к стилю руководства своего нового начальника. Воронцов был хорошим администратором и за короткое время многое сделал для Одессы. Был строг в отношении подчинённых ему гражданских и военных лиц. Наблюдая за более чем прохладным отношением Пушкина к службе, пытался приобщить его к оной. Раз обратился к Ф. Ф. Вигелю, одному из своих чиновников:
— Вы, кажется, любите Пушкина. Не можете ли вы склонить его заняться чем-нибудь путным под руководством вашим?
— Помилуйте, такие люди умеют быть только что великими поэтами, — ответил Филипп Филиппович.
Отношения между начальником и подчинённым осложнялись ещё и тем, что службу государству он рассматривал как отношения сюзерена с его подчинёнными и открыто домогался выражения личной преданности с их стороны. В отношениях Воронцова с подчинёнными процветала система фаворитизма. По свидетельству того же Вигеля, Михаил Семёнович «с презрительным изумлением смотрел на Пушкина, гордившегося своим 600-летним дворянством и желавшего быть на равной ноге с магнатами».
Воронцов любил лесть. Впрочем, и сам не чурался её. Характерен следующий случай. 1 октября 1823 года он присутствовал на обеде, который состоялся в Тульчине после смотра войск Александром I. Перед выходом к столу царь получил сообщение министра иностранных дел Франции Ф. Шатобриана об аресте Р. Риэго, одного из руководителей революции в Испании. Царь поспешил порадовать этой новостью присутствовавших на обеде.
— Какое счастливое известие, ваше величество! — откликнулся Воронцов.
Все были шокированы репликой новороссийского генерал-губернатора. Будущий декабрист Басаргин говорил:
— Эта выходка так была неуместна, что ответом этим он много потерял тогда в общем мнении. И в самом деле, зная, какая участь ожидала бедного Риэго, жестоко было радоваться этому известию.
О «выступлении» Воронцова узнали в Одессе, и Пушкин не удержался, чтобы не ответить на него:
Одним словом, отношения поэта и крупного администратора империи не сложились, но в конце года к Михаилу Семёновичу приехала жена, и Александр Сергеевич зачастил в его дом.