За десять лет в Бухаре он написал четыре фундаментальных трактата по математике.
В 1074 году его пригласили в Исфахан, центр государства Санджаров, ко двору сельджукского султана Мелик-шаха I. По инициативе и при покровительстве главного шахского визиря Низам аль-Мулька Хайям стал духовным наставником султана. Через два года Мелик-шах назначил его руководителем дворцовой обсерватории, одной из крупнейших в мире. Работая на этой должности, Омар Хайям не только продолжал занятия математикой, но и стал известным астрономом. С группой учёных он разработал солнечный календарь, более точный, чем григорианский. Составил «Маликшахские астрономические таблицы», включавшие небольшой звёздный каталог. Здесь же написал «Комментарии к трудностям во введениях книги Евклида» (1077 г.) из трёх книг; во второй и третьей книгах исследовал теорию отношений и учение о числе. Однако в 1092 году султан Мелик-шаха и визирь Низам ал-Мульк умерли, и Хайям был тут же обвинен в безбожном вольнодумстве. Он вынужден был уехать.
О последних часах жизни Хайяма известно со слов его младшего современника — Бейхаки, ссылающегося на слова зятя поэта.
Однажды во время чтения «Книги об исцелении» Абу Али ибн Сины Хайям почувствовал приближение смерти (а было тогда ему уже за восемьдесят). Остановился он в чтении на разделе, посвященном труднейшему метафизическому вопросу и озаглавленному «Единое во множественном», заложил между листов золотую зубочистку, которую держал в руке, и закрыл фолиант. Затем он позвал своих близких и учеников, составил завещание и после этого уже не принимал ни пищи, ни питья. Исполнив молитву на сон грядущий, он положил земной поклон и, стоя на коленях, произнёс: «Боже! По мере своих сил я старался познать Тебя. Прости меня! Поскольку я познал Тебя, постольку я к Тебе приблизился». С этими словами на устах Хайям и умер.
Хайяму принадлежит «Трактат о доказательствах задач алгебры и алмукабалы», в котором даётся классификация уравнений и излагается решение уравнений 1-й, 2-й и 3-й степени. В первых главах трактата Хайям излагает алгебраический метод решения квадратных уравнений, описанный ещё ал-Хорезми. В следующих главах он развивает геометрический метод решения кубических уравнений, восходящий к Архимеду: корни данных уравнений в этом методе определялись как общие точки пересечения двух подходящих конических сечений. Хайям привёл обоснование этого метода, классификацию типов уравнений, алгоритм выбора типа конического сечения, оценку числа (положительных) корней и их величины. До явных алгебраических формул Кардано Хайяму дойти не удалось, но он высказал надежду, что явное решение будет найдено в будущем.
Во введении к данному трактату Омар Хайям даёт первое известное определение алгебры как науки, утверждая: алгебра — это наука об определении неизвестных величин, состоящих в некоторых отношениях с величинами известными, причём такое определение осуществляется с помощью составления и решения уравнений.
В 1077 году Хайям закончил работу над важным математическим трудом — «Комментарии к трудностям во введениях книги Евклида». Трактат состоял из трёх книг; первая содержала оригинальную теорию параллельных прямых, вторая и третья посвящены усовершенствованию теории отношений и пропорций. В первой книге Хайям пытается доказать V постулат Евклида и заменяет его более простым и очевидным эквивалентом: две сходящиеся прямые должны пересечься. По сути, в ходе этих попыток Омар Хайям доказал первые теоремы геометрий Лобачевского и Римана.
Далее Хайям рассматривает в своём трактате иррациональные числа как вполне законные, определяя равенство двух отношений как последовательное равенство всех подходящих частных в алгоритме Евклида. Евклидову теорию пропорций он заменил численной теорией.
В третьей книге «Комментариев», посвящённой составлению (то есть умножению) отношений, Хайям по-новому трактует связь понятий отношения и числа.
Ещё одна математическая работа Хайяма — «Об искусстве определения количества золота и серебра в состоящем из них теле» — посвящена классической задаче на смешение, впервые решённой ещё Архимедом.
Хайям возглавлял группу астрономов Исфахана, которая разработала принципиально новый солнечный календарь. Он был принят официально в 1079 г. Основным предназначением этого календаря была как можно более строгая привязка Новруза (то есть начала года) к весеннему равноденствию, понимаемому как вхождение солнца в зодиакальное созвездие Овна. Количество дней в месяцах календаря «Джалали» варьировало в зависимости от сроков вступления солнца в тот или иной зодиакальный знак и могло колебаться от 29 до 32 дней. Были предложены и новые названия месяцев, а также дней каждого месяца по образцу зороастрийского календаря. Однако они не прижились, и месяцы стали именоваться в общем случае именем соответствующего знака зодиака.