Федеральная система является противоположностью правительственной централизации. Два принципа либертарианства и авторитаризма, которые находятся в постоянном конфликте, должны прийти к соглашению: «Федерация разрешает все проблемы, которые возникают из-за нужды сочетать свободу и власть. Французская революция обеспечила основы для нового порядка, секретом которого обладает ее наследник — рабочий класс. Это новый порядок: объединить всех людей в «федерацию федераций». Это выражение использовалось не без осторожности: универсальная (единая) федерация была бы слишком большой; большие объединения должны объединиться друг с другом. В своем любимом провидческом стиле Прудон заявлял: «Двадцатый век откроет эру федераций».
Бакунин всего лишь развил и усилил федералистские идеи Прудона. Подобно Прудону, он признавал превосходство федерального единства перед авторитарным единством: «Когда проклятая власть Государства больше не будет существовать, сдерживать индивидуумов, ассоциации, коммуны, провинции или регионы, принуждая их к совместной жизни, они станут намного более тесно связаны, станут представлять собой гораздо более жизнеспособное, реальное и могущественное целое, чем то, в которое государство ныне сбивает их силой, равно подавляюще действуя на них всех». Авторитаристы «всегда путают... формальное, догматическое и правительственное единство с реальным и живым единством, которое может происходить только от самого свободного развития всех индивидуумов и групп, равно как и из федерального и совершенно свободного союза... рабочих объединений в коммуны и сверх коммун в регионы, сверх регионов — в нации».
Бакунин подчеркивал необходимость существования промежуточного звена между коммуной и национальным федеральным органом: провинции или региона, свободной федерации автономных коммун. Однако не стоит думать, что федерализм может привести к эгоизму или изоляции. Солидарность неотделима от свободы: «В то время как коммуны остаются абсолютно автономными, они ощущают... солидарность друг с другом и объединяются без того, чтобы терять хотя бы часть своей свободы». В современном мире моральные, материальные и интеллектуальные интересы создали реальное и мощное единство между различными частями одной нации и между разными нациями; это единство переживет Государство.
Федерализм, однако, — это палка о двух концах. Во время Французской революции «федерализм» жирондистов был реакционным, а роялистская школа Шарля Морра выступала в его защиту под именем «регионализма». В некоторых странах, типа США, федеральная конституция используется теми, кто лишает людей с цветной кожей гражданских прав. Бакунин думал, что только социализм может дать федерализму революционное содержание. По этой причине его испанские последователи выказали не очень большой энтузиазм в отношении буржуазной федералистской партии Пи-и-Маргалля, которая называла себя прудонистской, и даже в отношении ее «кантоналистского» левого крыла в течение короткого и безуспешного эпизода существования республики 1873 г.
Из идеи федерализма естественным образом вырастает интернационализм, то есть организация наций на федеральной основе в «большую отчизну, общую для всего человечества». И здесь Бакунин дал раскрыться буржуазной и утопической концепции федерализма, не основанного на международном и революционном социализме. Значительно обогнав свое время, он уже тогда был «европейцем» в современном понимании этого слова — он призывал к созданию Соединенных Штатов Европы как к единственному действенному методу «предотвращения какой бы то ни было возможности гражданской войны между народами европейской семьи». Но он был достаточно осторожен и отметил, что создание любого такого союза из государств в том виде, в котором они есть сейчас, обречено на крах.