Одним из ближайших сотрудников, к мнению которого Филипп Красивый прислушивался, был Жиль Айселин, который также сделал церковную и юридическую карьеру, поставив все свои таланты на службу королю. Родившийся в знатной семье из Оверни, он был быстро замечен Филиппом, который в 1285 году назначил его проректором Клермонтского собора, а затем каноником Нарбонны. В 1288 году он отправил его послом к Папе Римскому, а в 1290 году сделал архиепископом Нарбонны, одной из самых богатых епархий королевства. Семья не была забыта: его старший брат, Гуго де Биллом, был кардиналом; его младший брат, Жан, епископом Клермона, а его племянник, Обер, сменил его на этом посту. В 1311 году Жиль Айселин был архиепископом Руана и периодически хранителем печати. Когда он не был на дипломатической миссии, он был самым усердным членом Совета, где он не стеснялся выражать свое несогласие с королем, особенно когда он чувствовал, что принятые меры были слишком жестокими. Он был умеренным человеком, даже мягким, но бескомпромиссным в вопросах закона. Филипп, даже если он не всегда следовал его советам, выказывал ему величайшее почтение, слушал его с уважением и сохранил доверие к нему до конца, несмотря на его несогласие с методами Пьера Флота и Гийома де Ногаре. Положение Жиля Айселина в любом случае доказывает, что Филипп IV действительно является хозяином Совета, и что он ни в коем случае не являлся игрушкой своего окружения.
Ведь вокруг него были очень разные личности. Пьер Флот, который с начала правления был самым доверенным лицом Филиппа IV, а с 1296 года — доминирующей фигурой, и, возможно, дядя Жиля Айселина, происходил из большой семьи в Дофине. Мирянин, он был одновременно рыцарем и юристом, редкое сочетание, отвечал за отношения с папством, с Англией и с Империей. Он заседал в парламенте Тулузы в 1291 году, в Королевском Совете, часто бывал с дипломатическими миссиями и даже во главе армии, поскольку был убит в битве при Кортрейке в 1302 году.
Для выполнения более домашних функций, которые предполагали личный, даже интимный контакт с королем, Филипп IV также держал слуг своего отца, таких как камергеры Пьер де Шамбли, занимавший свой пост с 1277 года, его сын Пьер, а также Пьер де Машо и Жан Пуссен. С 1284 года Филипп назначил Гуго де Бувиля своим личным камергером. Должность передавалась по наследству в одних и тех же семьях: в 1298 году, после смерти Пьера де Машо, его сменил старший сын Гуго де Бувиля, Жан, сир де Милли. Он был племянником и двоюродным братом двух коллег своего отца. Кроме того, Гуго де Бувиль женился на Марии, племяннице Пьера де Шамбли, в 1283 году, а родственник последнего, Пеллерин де Шамбли, был камергером Карла Валуа. В 1305 году Гуго де Бувиль был убит в битве при Монс-ан-Певеле. Его сменил Ангерран де Мариньи, о котором будет сказано ниже. В это время камергерами были Пьер де Шамбли отец и сын, Жан де Бувиль и Мариньи. Когда Жан де Бувиль умер до августа 1308 года, его преемником стал его брат, которого также звали Гуго. Затем Пьер де Шамбли умер в свою очередь до марта 1309 года, и король оставил только трех камергеров.