Игра в имитацию: как языковые модели научились обманывать нас в 73% случаев

Ученые опубликовали исследование, в котором утверждается, что большая лингвистическая модель (LLM) GPT-4.5 успешно прошла трехсторонний тест Тьюринга, «обманывая» людей в 73% случаев. Это первый известный случай, когда ИИ преодолел оригинальную конфигурацию теста, предложенную Аланом Тьюрингом, где модель сравнивалась не только с человеком, но и конкурировала за доверие участников. В эксперименте также участвовала LLaMa-3.1, которая выдавала себя за человека в 56% случаев, что превышает порог в 50%, считающийся критерием успеха по замыслу Тьюринга.

Исследователи из Университета Сан-Диего провели 1023 игровых сессии с участием 284 человек (студентов и онлайн-добровольцев). В рамках трехстороннего теста участники общались одновременно с реальным человеком и ИИ через текстовый интерфейс в течение пяти минут, пытаясь определить, кто из собеседников — человек.

Ключевым фактором успеха GPT-4.5 стало использование двухуровневой системы подсказок: базовая инструкция предлагала модели «притвориться человеком», а дополнительная — имитировать конкретную личность (молодого интроверта, знакомого с интернет-культурой). Без персонализации эффективность LLM резко снижалась.

Ключевые выводы

1. Роль персонализации: GPT-4.5 не просто копировала человеческие ответы, но превзошла реальных участников в «человечности» — ее чаще принимали за человека, чем живых собеседников. Это указывает на важность контекстных подсказок для реалистичности ИИ.
2. Критерии оценки участников: Люди ориентировались не на логику или знания, а на стиль общения, плавность диалога и эмоциональную окраску ответов. Это подтверждает, что тест Тьюринга измеряет имитацию, а не интеллект в классическом понимании.
3. Этические риски: Авторы предупреждают, что способность LLM маскироваться под людей открывает возможности для злоупотреблений — от социальной инженерии до создания ИИ-агентов, манипулирующих эмоциями.

Исследование еще не прошло рецензирование, и вызывает некоторые вопросы. Например, использование заранее заданной персоны может искусственно завышать результаты, поскольку в реальности ИИ редко получает столь детальные инструкции. Кроме того, короткая продолжительность теста (4.2 минуты в среднем) не позволяет оценить, насколько устойчива иллюзия «человечности» в долгосрочной перспективе.

Что все это значит?

Работа вновь поднимает дискуссию о природе «интеллекта» ИИ. Прохождение теста Тьюринга — символический рубеж, но он не означает появления сознания у машин. Однако это демонстрирует, что современные LLM достигли уровня, достаточного для интеграции в сервисы, требующие естественного общения (например, чат-боты или виртуальные ассистенты). Параллельно растут риски: уже сейчас мошенники используют ИИ для фишинга, а дальнейший прогресс может сделать такие атаки неотличимыми от взаимодействия с людьми.

Исследование подтверждает, что LLM вроде GPT-4.5 способны эффективно имитировать человека в контролируемых условиях, но их «успех» зависит от внешних настроек. Это не только технологический прорыв, но и сигнал к разработке регуляторных мер — например, обязательной маркировки ИИ-контента. Как отмечают авторы, главная опасность кроется не в самих моделях, а в ситуациях, где люди не осознают, что общаются с машиной.