Представлен самый быстрый в мире ИИ-чип с колоссальными 4 триллионами транзисторов

Новый мощный компьютерный чип сможет обучить системы искусственного интеллекта (ИИ) быстрее, чем когда-либо. Компания Cerebras Systems представила самый быстрый в мире чип искусственного интеллекта — Wafer Scale Engine 3 (WSE-3), который обеспечивает работу суперкомпьютера искусственного интеллекта Cerebras CS-3 с пиковой производительностью 125 петафлопс. И все это масштабируется до огромной величины.

Прежде чем система искусственного интеллекта сможет создать даже небольшое видео, ее необходимо обучить на очень большом объеме данных, используя при этом много энергии. Но новый чип и компьютеры, построенные на его основе, помогут ускорить этот процесс и сделать его более эффективным.

Каждый чип WSE-3 размером примерно с коробку для пиццы содержит ошеломляющие четыре триллиона транзисторов, обеспечивая вдвое большую производительность по сравнению с предыдущей моделью компании (которая также была предыдущим мировым рекордсменом) при той же стоимости и энергопотреблении.

Когда они объединены в систему CS-3, они, очевидно, могут обеспечить производительность целой комнаты, полной серверов, в одном блоке размером с небольшой ящик.

Cerebras утверждает, что CS-3 оснащен 900 000 ядрами искусственного интеллекта и 44 ГБ памяти, обеспечивая пиковую производительность до 125 петафлопс. Теоретически этого должно быть достаточно, чтобы поместить его в десятку лучших суперкомпьютеров в мире – хотя, конечно, он не проверялся в этих тестах.

Для хранения всех этих данных доступны варианты внешней памяти объемом 1,5 ТБ, 12 ТБ или массивные 1,2 петабайта (ПБ), что составляет 1200 ТБ. CS-3 может обучать модели ИИ, включающие до 24 триллионов параметров — для сравнения, большинство моделей ИИ в настоящее время имеют миллиарды параметров, а GPT-4, по оценкам, насчитывает около 1,8 триллиона параметров.

Ключевые характеристики:

• 4 триллиона транзисторов
• 900 000 ядер искусственного интеллекта
• 125 петафлопс пиковой производительности
• 44 ГБ встроенной SRAM
• 5-нм техпроцесс TSMC
• Внешняя память : 1,5 ТБ, 12 ТБ или 1,2 ПБ.
• Обучает модели ИИ по 24 триллионам параметров
• Размер кластера до 2048 систем CS-3.

В компании говорят, что CS-3 сможет обучать модель с одним триллионом параметров так же легко, как современные компьютеры на базе графических процессоров обучают простую модель с одним миллиардом параметров.

Благодаря процессу производства пластин для чипов WSE-3, CS-3 спроектирован таким образом, чтобы быть масштабируемым, позволяя объединять до 2048 устройств в один суперкомпьютер.

Его производительность сможет достичь 256 эксафлопс, тогда как лучшие суперкомпьютеры в мире в настоящее время все еще работают с чуть более чем одним эксафлопс. По словам специалистов компании, такая мощность позволила бы обучить модель Llama 70B с нуля всего за один день — беспрецедентный подвиг для генеративного ИИ.

«Когда мы начали этот путь восемь лет назад, все говорили, что суперпроцессоры размером с пластину (wafer-scale processors) — несбыточная мечта. Мы очень гордимся тем, что представляем третье поколение нашего новаторского искусственного интеллекта», — сказал Эндрю Фельдман, генеральный директор и соучредитель Cerebras. «WSE-3 — это самый быстрый чип искусственного интеллекта в мире, специально созданный для новейших передовых разработок в области искусственного интеллекта с 24 триллионами параметров. Мы очень рады представить на рынке WSE-3 и CS-3, которые помогут решить самые большие сегодняшние проблемы искусственного интеллекта».