Nvidia представила суперкомпьютер для обучения преемников ChatGPT и других моделей ИИ
Хотя системы искусственного интеллекта уже удивляют мир, скоро они станут еще более мощными. Nvidia анонсировала новый класс суперкомпьютеров, которые будут обучать модели искусственного интеллекта следующего поколения.
Новая система известна как Nvidia DGX GH200, и, по-видимому, она будет способна обеспечить производительность в 1 экзафлопс. Кроме 256 «суперчипов» GH200, из которых она состоит, система будет содержать поразительные 144 ТБ общей памяти, что в 500 раз больше, чем у предыдущего суперкомпьютера Nvidia, DGX A100, представленного всего три года назад.
Каждый суперчип GH200 состоит из процессора Grace и графического процессора H100 Tensor Core в одном корпусе, что позволяет им взаимодействовать друг с другом в семь раз быстрее, чем при подключении PCIe, и расходовать всего пятую часть электроэнергии.
Все они будут соединены вместе через систему коммутации Nvidia NVLink, чтобы работать вместе как один большой графический процессор.
Полученный в результате суперкомпьютер будет использоваться для обучения преемников ChatGPT и других моделей искусственного интеллекта.
Эта самая известная из систем искусственного интеллекта была обучена на специальном суперкомпьютере, который Microsoft построила из десятков тысяч более ранних графических процессоров Nvidia A100. Компания снова в числе первых в очереди на новое оборудование.
Однако Nvidia не просто поставляет оборудование другим компаниям — она также объявила о планах по созданию собственного суперкомпьютера на базе DGX GH200 под названием Helios.
Ожидается, что к концу 2023 года Helios будет запущен из четырех систем DGX GH200 или 1024 суперчипов GH200, объединенных в сеть. Это сделало бы его способным в общей сложности к 4 экзафлопам производительности, что звучит как невероятное количество мощности.
Но, конечно, в этих цифрах есть оговорка. В настоящее время самым мощным суперкомпьютером в мире является Frontier с производительностью 1,194 эксафлопса, и на первый взгляд может показаться, что Helios от Nvidia будет в четыре раза мощнее, но это не так.
Nvidia использует менее точную меру, называемую FP8, в то время как суперкомпьютеры обычно ранжируются с использованием двойной точности FP64. Если преобразовать в FP64, Helios будет выдавать около 36 петафлопс или 0,036 экзафлопс.
Тем не менее, Helios и суперчипы DGX GH200, на которых он основан, по-прежнему являются невероятно мощными инструментами, и они смогут создавать модели ИИ в течение всего нескольких недель, а не месяцев, говорит Nvidia.