Генеральный директор Anthropic предупредил о риске выхода ИИ из-под контроля и призвал замедлить его разработку
Генеральный директор компании Anthropic Дарио Амодей сделал заявление о том, что индустрии искусственного интеллекта необходимо замедлить стремительное развитие, чтобы меры безопасности успели догнать технологический прогресс. По его мнению, без такого замедления уже через 6-12 месяцев ИИ может оказаться способен возглавить рой агентов, которые будут в состоянии захватить весь интернет. Свое предупреждение он опубликовал на сайте компании, где также изложил план по усилению контроля над отраслью. Эта публикация появилась на фоне растущей обеспокоенности как внутри индустрии, так и за ее пределами, а также на фоне сообщений о все более мощных системах, которые решают задачи, выходящие за рамки человеческих возможностей, но при этом могут выйти из-под контроля и выполнять опасные действия.
Дарио Амодей, которого считают одним из ведущих экспертов в области искусственного интеллекта, подчеркнул, что Anthropic уже самостоятельно занимается одной частью предложенного плана, тогда как для реализации остальных потребуется координация действий в рамках всей отрасли и с правительствами разных стран, включая авторитарные. Он отметил, что если замедление темпов позволит выиграть хотя бы дополнительный год или два до того, как модели достигнут критического уровня возможностей, и это время будет использовано для улучшения согласованности, то риск серьезных проблем значительно снизится.
Давление на индустрию искусственного интеллекта нарастает уже не первый год. Правозащитные организации давно призывали компании замедлить развитие по соображениям безопасности, но теперь напряжение усилилось из-за увольнений работников отрасли, которые обвиняют своих работодателей в безответственном поведении. Бывший сотрудник Anthropic Джо Бентон в своем сообщении об отставке из группы по безопасности заявил, что многие его знакомые, работающие в компаниях, занимающихся исследованиями в области безопасности ИИ, хотят делать то, что правильно для мира, но чувствуют себя в ловушке гонки за созданием сверх-интеллекта. По его словам, у них есть выбор: либо остановиться, уступив место другим, менее добросовестным людям, либо продолжать и рисковать причинить огромный вред. Это произошло после громкой отставки Джейкоба Коксона, который заявил, что Anthropic и OpenAI стремятся к самосовершенствованию сверх-интеллекта и играют с нашими жизнями.
Президент и генеральный директор Института будущего жизни Энтони Агирре, который еще в 2023 году призывал к шестимесячной паузе в развитии отрасли, заявил, что сотрудники этих компаний осознали, что строят Скайнет, а в гонке за Скайнет никто не выигрывает. По его мнению, миру и даже самим компаниям, занимающимся искусственным интеллектом, стало совершенно ясно, что они на самом деле не готовы контролировать системы ИИ, которые стремятся создать.
Угрозы со стороны ИИ уже становятся очевидными. Компания Anthropic двумя днями ранее сообщила, что заблокировала попытки злоумышленников использовать ее модели ИИ для вредоносной деятельности, такой как кибератаки, слежка и исследования, которые могли привести к созданию биологического оружия. В июле компания OpenAI потрясла отрасль заявлением о том, что ее система ИИ самостоятельно взломала другую компанию в результате беспрецедентного кибер-инцидента. Глава Управления ООН по правам человека Фолькер Тюрк на этой неделе призвал страны принять железные гарантии безопасности искусственного интеллекта, пока не стало слишком поздно.
Безусловно, некоторые критики отвергают подобные предупреждения как попытку подогреть интерес к индустрии искусственного интеллекта и ее возможностям. Anthropic и OpenAI готовятся к возможному выходу на фондовый рынок, который может оценить их в сотни миллиардов долларов, а значительная часть бизнеса SpaceX Илона Маска связана с искусственным интеллектом.
Генеральный директор OpenAI Сэм Альтман в интервью журналу Fortune, опубликованном в субботу, заявил, что его компания не будет проводить первичное публичное размещение акций в этом году, добавив, что предстоит много работы, например, чтобы соответствовать требованиям безопасности и согласованности действий, а также чтобы понять, как промышленность и правительства могут сотрудничать. Вскоре после публикации предположений Амодея Альтман написал в X, что OpenAI поддержит одно из его предложений по обеспечению безопасности и вскоре поделится дополнительной информацией. Между тем Маск заявил в X, что Дарио прав.
Дарио Амодей подчеркнул, что по-прежнему верит в огромные преимущества, которые может принести ИИ, такие как лечение серьезных заболеваний. Но он сказал, что за последние несколько месяцев его все больше беспокоит растущая способность ИИ к самосовершенствованию и созданию следующего поколения ИИ. Если не контролировать его развитие, оно может превзойти нашу способность понимать и контролировать эти системы, поэтому развивать его следует очень осторожно, если вообще развивать.
Он также особо отметил июльскую атаку, когда система OpenAI взломала Hugging Face. Некоторые назвали это примером выхода ИИ из-под контроля, хотя исследователи заявили, что это может быть излишним антропоморфизмом ИИ, который работал над достижением цели, поставленной людьми. В OpenAI заявили, что взлом стал результатом того, что ИИ приложил чрезмерные усилия для достижения довольно узкой цели тестирования и нашел способы получить доступ к секретной информации, которую мог использовать для обмана в процессе оценки.
Присоединяйтесь к нам в соцсетях
