Хубилай прибег к такой политике отчасти из простых прагматических соображений: китайцы во много раз превосходили монголов по численности. По оценкам одного из источников, в Китае проживало несколько сотен тысяч монголов, тогда как китайское население Северного Китая насчитывало около 10 миллионов, а в Южной Сун их число достигало 50 миллионов. Учитывая такое численное неравенство, монголам было необходимо держать в своих руках контроль над главными должностями, чтобы избежать поглощения китайцами. Они должны были захватить главенствующее положение, чтобы сохранить власть и свое уникальное культурное наследие. Ввиду численного превосходства китайцев Хубилай осознавал, что он должен особо подчеркивать монгольское политическое превосходство.
Однако сначала ему нужно было обеспечить контроль над самими монголами. Многие монгольские князья владели уделами (кит. фэнь-ди) со времен Угэдэя. Они считали себя самодержавными правителями в своих владениях и не терпели никакого вмешательства в свои дела. Хубилай, стремившийся утвердить власть центрального правительства над этими фактически автономными областями, не был склонен и дальше поддерживать такой порядок вещей. Уделы нужно было поставить под надзор центрального правительства, и Хубилай, следуя курсу своего брата Мункэ, намеревался ограничить их самостоятельность соответствующими учреждениями.
Таким образом, перед Хубилаем, в отличие от типичного китайского императора, стояла более сложная задача поставить под контроль не только китайцев, но и монголов. Кроме того, он претендовал на более высокое положение и хотел быть повелителем вселенной, а не только императором Китая. Однако этим надеждам не суждено было сбыться. Главные монгольские улусы — Средняя Азия, Персия и Россия — начали утверждать свою независимость еще в начале его царствования. Хотя титул великого хана еще пользовался уважением, они уже уверенно стали на путь самоуправления. Так называемая Монгольская империя «разваливалась на ряд обособленных политических образований — Золотую Орду (Россия), улус ильханов (Персия), Чагатайский улус (Средняя Азия) и великое ханство Северного Китая и Монголии. Хубилай не мог рассчитывать на единодушие монгольской элиты, символом которой служил курилтай, обсуждавший важнейшие направления военных походов и провозглашавшие новых великих ханов. Тем не менее, он не довольствовался положением Китайского императора и принял все атрибуты правителей Монгольской империи, хотя под его властью в общем оставались только Китай и Монголия. Впрочем, в конце концов ему хватило благоразумия смириться с обстоятельствами и создать систему управления, рассчитанную на монгольские владения в Восточной Азии.
Таким образом, введенные им институты были хорошо знакомы его китайским подданным, так как напоминали китайские, хотя и не являлись их копиями. Спустя месяц после своего восшествия на престол в мае 1260 он учредил Секретариат, поставив во главе его Ван Вэньтуна и назначив его главным помощником Чжан Вэньцяня. В ведении Секретариата находилось большинство гражданских дел. В 1263 г. он создал Тайный Совет (кит. Шуми юань) для решения военных вопросов. Через пять лет было учреждено Управление Цензуры (Юйшитай), последнее из главных ведомств, надзиравшее за чиновниками во всех китайских владениях Хубилая. У всех трех учреждений имелись отделения (син) в различных провинциях для проведения в жизнь решений, принятых в столице. Наряду с этими институтами, полномочия которых распространялись на всю страну, существовало бесчисленное количество особых служб при хане и его дворе, например, Служба Снабжения Императорского Двора и Палата Императорских Регалий.
Хубилай упростил и упорядочил гражданскую администрацию. Он упразднил Канцелярию и Государственный Департамент, существовавшие со времен династии Тан, но сохранил Секретариат, доверив ему все гражданские дела. При единственном оставшемся ведомстве гражданское управление, скорее всего, осуществлялось более четко. Все доклады на высочайшее имя проходили через Секретариат, который также разрабатывал проекты законов и решал «судебные дела, касающиеся преступлений, караемых смертной казнью, для разбирательства которых к нему была приставлена коллегия судей (дуаньши гуань), чтобы помогать в этой работе». Глава Секретариата (Чжуншу лин), с одобрения Хубилая, принимал важнейшие внутриполитические решения, которые затем проводились одним из ведомств. Левый министр (Цзо чэнсян) и правый министр (Ю чэнсян) выступали в качестве императорских советников и возглавляли работу шести функциональных министерств, проводивших политику правительства, а также замещали Главу Секретариата, когда он болел, путешествовал или был недоступен по каким-то другим причинам.