Специально для новой версии чат-бота Grok стартап Илона Маска xAI намерен построить суперкомпьютер, который планируется запустить в эксплуатацию к осени 2025 года. Суперкомпьютер объединит 100 тыс. графических процессоров Nvidia H100, что в четыре раза превышает мощность самых крупных из существующих сегодня кластеров, используемых компанией Meta (признана экстремистской и запрещена в России. - Прим. ред.) для обучения своих моделей искусственного интеллекта. Все эти ресурсы понадобятся для обучения и запуска в эксплуатацию непрерывно развивающейся языковой модели Grok. Сообщение о проекте создания суперкомпьютера совпало с недавним объявлением xAI об очередном раунде финансирования стартапа в размере 6 млрд долл. Соответствующие средства будут использованы для вывода на рынок первых продуктов xAI, создания передовой инфраструктуры и ускорения разработки перспективных технологий.

Grok изначально задумывался как нечто большее, чем традиционный чат-бот. На запросы пользователей он стремится отвечать информативно и даже остроумно, одновременно подсказывая актуальные вопросы, которые им, возможно, даже не приходили в голову. При этом по мере дальнейшего развития требования к вычислительным мощностям заметно возросли. Если для обучения модели Grok 2 потребовалось 20 тыс. графических процессоров Nvidia H100, то для Grok 3 и более поздних версий понадобится уже 100 000 таких процессоров. Беспрецедентный рост требований к вычислительным мощностям требует перехода к суперкомпьютеру. В настоящее время лидерами в суперкомпьютерной гонке являются Frontier (США), Aurora (США), Eagle (США) и Fugaku (Япония). И хотя точные технические характеристики суперкомпьютера xAI пока неизвестны, он вполне может бросить вызов доминированию существующих сегодня машин.