Производительность взлетела. В 1946 г. ЭНИАК мог выполнить жалкие 400 флопсов. Два десятилетия спустя эта цифра достигла 9 миллионов флопсов в CDC 6600, который считается первым коммерчески успешным суперкомпьютером[155]. Обработка чисел выросла до более чем 300 миллионов операций в винтажном Cray-1 1975 г. (названном в честь Сеймура Крэя (1925–1996), который когда-то работал в Control Data Corporation)[156]. В 1985 г. Cray-2 стала первой машиной, преодолевшей барьер в 1 миллиард флопсов, используя несколько процессоров.
Сегодня мы переходим от эры петафлопсных машин к эпохе экзафлопсных, где «экза-» означает возможности, на три порядка превосходящие (как по производительности, так и по объему памяти или связей) петафлопсных предшественников. Эти компьютеры будут способны выполнять по меньшей мере миллион миллионов флопсов, то есть единицу, за которой следуют 18 нулей. Чтобы сделать то же, что может экзафлопсная машина всего за секунду, вам придется выполнять по вычислению каждую секунду в течение 31 688 765 000 лет.
Зарождается следующее поколение экзафлопсных гигантов: в Японии – Fugaku; в Китае – Sunway OceanLite, Tianhe-3 и Shuguang; в США – Aurora, Frontier и El Capitan, а в Европе – Jupiter. Ненасытные ученые и компьютерные инженеры уже думают о машинах, которые станут в тысячу (зетта-шкала) или миллион раз (йотта-шкала) мощнее.
Скачок в компьютерной мощности к эре экзафлопсных технологий дался не так-то легко. Более ранние петафлопсные машины держались на двух технологических волнах. Первой был закон Мура, названный в честь Гордона Мура, который в 1965 г. заметил, что каждые 18–24 месяца количество транзисторов в микропроцессоре удваивается, и эта тенденция сохранялась более трех десятилетий[157]. Второй стало масштабирование Деннарда (в честь Роберта Деннарда), которое относится к способности увеличивать тактовую частоту (обработку в секунду) при уменьшении размера процессора[158].
Однако всему хорошему приходит конец. Масштабирование Деннарда сломалось примерно в 2005 г. Закон Мура также застрял. Год или два спустя последствия для высокопроизводительных вычислений были раскрыты американской группой Exascale, возглавляемой Питером Когге из Университета Нотр-Дам. Группа поняла, что прогнозируемая потребность в электроэнергии превышает гигаватт, потребляя столько же, сколько 110 миллионов светодиодов, 1,3 миллиона лошадей, около миллиона домов или, если верить фильму «Назад в будущее», достаточно, чтобы отправить автомобиль DeLorean в межвременное путешествие.
Чтобы избежать перегрева, для достижения высокой производительности теперь нужно использовать широкий подход (больше процессоров), а не глубокий (процессоры побыстрее). В результате экзафлопсные машины становятся «шире, а не шустрее»[159]. Суперкомпьютер – это не просто большой или быстрый компьютер: он работает совершенно по-другому, используя параллельную обработку вместо последовательной пошаговой, как в старомодных настольных компьютерах. Поэтому нет смысла сравнивать: суперкомпьютер и компьютер – не то же самое, что автомобиль «Формулы-1» и VW Golf. Он больше похож на целый парк VW Golf.
Таким образом, недостатки в масштабировании Мура и Деннарда означали, что наиболее очевидным способом увеличения производительности было распределение нагрузки между огромным количеством ядер или процессоров. Но это привело к головной боли с «параллелизмом»: координацией вычислений между миллиардами вычислительных объектов, учитывая, что каждый из них выполняет вычисления со скоростью миллиарда циклов в секунду. Учитывая недостатки традиционного кодирования, которое было нелегко масштабировать, задача выглядела устрашающе.
Сухой и мрачный вывод группы заключался в том, что существуют «конкретные серьезные консенсусные проблемы, для решения которых не существует очевидного технологического моста развития»[160]. Отчасти их пессимизм оправдался: регулярная десятилетняя пауза между появлением гигафлопсов, мегафлопсов, терафлопсов и петафлопсов к экзашкале увеличилась.
Этот барьер помогло преодолеть множество разработок. По словам Рика Стивенса, заместителя директора лаборатории Аргоннской национальной лаборатории недалеко от Чикаго, где совместно с Intel и Cray была разработана экзафлопсная машина Aurora, некоторые достижения в области аппаратного обеспечения были обусловлены конкуренцией в сфере бытовой электроники[161]. Элементы чипов сократились до нескольких нанометров (миллиардных долей метра), поэтому их схемы могли работать быстрее и эффективнее (для сравнения, ширина атома водорода составляет 0,1 нм). Искусственный интеллект обещает еще более эффективный дизайн чипов: на площади от десятков до сотен квадратных миллиметров разработчикам чипов придется втиснуть тысячи компонентов, таких как логика, память и процессоры, а также километры сверхтонких проводов[162].