В источниках есть упоминание о том, что до своего увлечения науками аль-Фараби был судьей, но, решив посвятить себя поискам истины, бросил эту должность, занявшись светскими делами, в частности преподавательской деятельностью. Рассказывается также и о том, как он приобщился к знаниям. Однажды один из близких людей отдал аль-Фараби на хранение большое количество книг, среди которых было много трактатов Аристотеля.
Аль-Фараби в часы досуга начал листать эти книги и настолько увлекся ими, что бросил должность кади. Этот случай якобы сыграл решающую роль в его судьбе, он стал великим ученым. Известно, что аль-Фараби до приезда в Багдад владел тюркским языком и некоторыми другими, но не знал арабского. Надо отметить, что он много времени уделял изучению языков и в этом достиг поразительных результатов в конце жизни он владел более чем семьюдесятью языками.
Живя в Багдаде, аль-Фараби в короткий срок в совершенстве овладел арабским языком и начал заниматься различными науками, прежде всего логикой. В это время в Багдаде наиболее популярным мыслителем и философом-наставником был Абу-Бишр Матта бен-Йунис. Он был известен не только в Багдаде, но и, пожалуй, во всех культурных центрах Арабского халифата как крупный комментатор логического наследия Аристотеля. Ряды его учеников пополнил аль-Фараби, который прилежно записал со слов Абу-Бишр Матта комментарии к трудам Аристотеля по логике.
Влияние багдадского учителя на аль-Фараби, по свидетельствам современников, было весьма значительным, ибо Абу-Бишр Матта обладал прекрасным стилем, тонкой культурой комментирования логического наследия Стагирита. Он удачно избегал сверхсложных конструкций, умело сочетая глубину с простотой изложения. Все эти достоинства стиля Абу-Бишр Матта были целиком усвоены его достойным учеником.
В период жизни в Багдаде аль-Фараби совершил поездку в город Харран со специальной целью обучиться некоторым особым приемам логики у мыслителя-христианина Йуханны бен-Хаилана, которыми тот прославился в мусульманском мире. Вернувшись в Багдад, аль-Фараби углубился в изучение наследия Аристотеля, он обретает легкость восприятия идей и совокупности задач и проблем, поставленных великим греком.
О трудоемкости усвоения наследия Аристотеля арабоязычными мыслителями говорит хотя бы фраза, которая была написана аль-Фараби на копии аристотелевского трактата «О душе». «Я прочел этот трактат двести раз». Детальное комментирование всех трудов античных авторов требовало буквального знания и запоминания текста. Ясно, что в этой фразе содержится призыв к постоянному, многократному возвращению к одним и тем же источникам, и в этом, по-видимому, состоит один из важнейших принципов обучения философии того времени. Однажды у аль-Фараби спросили «Кто больше знает — ты или Аристотель?» Он ответил «Если бы я жил в тот период и встретился с ним и занимался бы у него, то я мог бы быть его лучшим учеником».
Результатом разносторонних научных изысканий аль-Фараби явился трактат «О классификации наук», в котором в строгом порядке были перечислены науки того времени, определен предмет исследования каждой.
По свидетельствам современников, «ничего подобного никто ранее не писал и подобного плана не придерживался, и она незаменима для изучающих науки». В Багдаде аль-Фараби основательно пополняет свои знания входит в контакт с видными учеными и довольно быстро становится самым авторитетным среди них благодаря эрудиции, силе мысли и величию характера. Но в среде догматически настроенных богословов возникает неприязнь ко всему строю мышления аль-Фараби, нацеленному на открытие рационалистических путей познания и поиски достижения для людей счастья в земной жизни, а не в потустороннем мире. В конце концов аль-Фараби вынужден покинуть Багдад. Он направляется в Дамаск, но не останавливается в нем, путь его лежит в Египет.
В своей книге «Гражданская политика» он упоминает, что начал ее в Багдаде, а кончил в Каире (Миср). После путешествия аль-Фараби вернулся в Дамаск, где прожил до конца своих дней, ведя в нем уединенный образ жизни. Несмотря на покровительство правившего в те времена в Дамаске Сайф ад-Даулы бен-Хамдани, он избегал придворной жизни, редко присутствовал на приемах.