Новой теорией, которая привела к противоречиям и открыла многим глаза на противоречия, существовавшие в более старых областях математики, была теория бесконечных множеств.
Наведение математической строгости в анализе привело к необходимости учитывать различие между сходящимися (т.е. имеющими конечную сумму) и расходящимися бесконечными рядами. Некоторые из таких рядов, например бесконечные ряды тригонометрических функций, названные рядами Фурье — в честь активно использовавшего их Жозефа Фурье, стали играть важную роль и при попытке строгого обоснования анализа породили немало проблем. К решению этих проблем и приступил Георг Кантор (1845-1918). Логика исследования привела его к рассмотрению теории числовых множеств, в частности к введению мощностей таких бесконечных множеств, как множество всех нечетных чисел, множество всех рациональных чисел (включающее в себя положительные и отрицательные целые числа, а также дроби) и множество всех вещественных чисел.Кантор порвал с многовековой традицией уже тем, что рассматривал бесконечные множества как единые сущности, притом сущности, доступные человеческому разуму. Начиная с Аристотеля математики проводили различие между актуальной бесконечностью
объектов и потенциальной бесконечностью. Чтобы пояснить эти понятия, рассмотрим возраст Вселенной. Если предположить, что Вселенная возникла в какой-то момент времени в далеком прошлом и будет существовать вечно, то ее возраст потенциально бесконечен: в любой момент времени возраст Вселенной конечен, но он продолжает возрастать и в конце концов превзойдет любое число лет. Множество (положительных) целых чисел также потенциально бесконечно: оборвав счет, например, на миллионе, мы всегда можем затем прибавить к нему 1, 2 и т.д. Но если Вселенная существовала в прошлом всегда, то ее возраст в любой момент времени актуально бесконечен. Аналогично множество целых чисел, рассматриваемое в «готовом виде» как существующая совокупность, актуально бесконечно.Вопрос о том, следует ли считать бесконечные множества актуально или потенциально бесконечными, имеет длинную историю. Аристотель в своей «Физике» ([6], т. 3, с. 59-221) утверждал: «Остается альтернатива, согласно которой бесконечное имеет потенциальное существование… Актуально бесконечное не существует». По мнению Аристотеля, актуальная бесконечность не нужна математике. Греки вообще считали бесконечность недопустимым понятием. Бесконечность — это нечто безграничное и неопределенное. Последующие дискуссии нередко лишь затемняли существо дела, так как математики говорили о бесконечности как о числе, не давая явного определения понятия бесконечности и не указывая свойства этого понятия. Так, Эйлер довольно легкомысленно утверждал в своей «Алгебре» (1770), что 1/0 — бесконечность, хотя и не счел нужным определить, что такое бесконечность, а лишь ввел для нее обозначение ∞. Без тени сомнения Эйлер утверждал также, что 2/0 вдвое больше, чем 1/0. Еще больше недоразумений возникало в тех случаях, когда речь шла об использовании символа ∞ для записи пределов при n,
стремящемся к бесконечности (например, для записи того, что предел 1/n при n, стремящемся к ∞, равен 0). В подобных случаях символ ∞ означает лишь, что n неограниченно возрастает и может принимать сколь угодно большие (но конечные!) значения, при которых разность между 0 и 1/n становится сколь угодно малой. Необходимость в обращении к актуальной бесконечности при таких предельных переходах не возникает.Большинство математиков (Галилей, Лейбниц, Коши, Гаусс и другие) отчетливо понимали различие между потенциально бесконечными и актуально бесконечными множествами и исключали актуально бесконечные множества из рассмотрения. Если им приходилось, например, говорить о множестве всех рациональных чисел, то они отказывались приписывать этому множеству число — его мощность. Декарт утверждал: «Бесконечность распознаваема, но не познаваема». Гаусс писал в 1831 г. Шумахеру: «В математике бесконечную величину никогда нельзя использовать как нечто окончательное; бесконечность — не более чем façon de parle
[манера выражаться], означающая предел, к которому стремятся одни величины, когда другие бесконечно убывают».