Ученые ищут отзывы для исследований от ChatGPT из-за нехватки рецензентов
Сокращение числа научных рецензентов приводит к неожиданным последствиям для исследователей. Столкнувшись с недостаточным вкладом со стороны коллег-ученых, исследователи постепенно обращаются к ChatGPT, чтобы получить критику своей работы — и они находят это более полезным, чем обычные отзывы людей.
Ученые не могут публиковать свои работы в престижных научных журналах, не проведя предварительное рецензирование.
В ходе этого процесса исследователи из той же области изучают представленную работу, сравнивая ее с ранее опубликованными статьями и принципами, чтобы добавить глубины или наоборот, полностью опровергнуть выводы авторов.
Широко распространено мнение, что рецензирование укрепляет работу исследователей и способствует оригинальности, что делает его давним стандартом академических публикаций.
Но есть одна маленькая проблема: большинство журналов полагаются на рецензентов-добровольцев.
Это означает, что только исследователи, способные выполнять бесплатную работу, могут участвовать в процессе экспертной оценки, исключая, таким образом, тех, у кого нет возможностей (или стимула) для помощи.
То ли потому, что журналы работают с небольшой прибылью, то ли потому, что они пытаются защитить целостность каждого обзора, эта модель привела к относительно небольшому пулу рецензентов, который, естественно, становится еще меньше, когда исследователям требуется кто-то из их собственной области. В качестве ресурса рецензентов мало.
Джеймс Зоу, доцент кафедры биомедицинских данных в Стэнфордском университете, хотел проверить, смогут ли чат-боты с искусственным интеллектом заменить людей в процессе экспертной оценки.
Он и его коллеги собрали около 5000 предварительно рецензированных исследовательских работ от издательства Nature и Международной конференции по изучению представлений (ICLR). После передачи PDF-файлов в ChatGPT команда сравнила отзывы чат-бота с отзывами, ранее предоставленными людьми.
Примерно треть вопросов, высказанных ChatGPT, совпали с вопросами, поднятыми рецензентами, с немного большим совпадением с документами ICLR.
Джеймс Зоу поставил перед собой задачу обратиться к сотням исследователей, чьи работы участвовали в его эксперименте. Как показал опрос, проведенный его командой, более половины (57,4%) этих исследователей сочли отзывы ChatGPT «полезными» или «очень полезными».
Подавляющее большинство (82,4%) даже сочли отзывы ChatGPT более полезными, чем отзывы «по крайней мере некоторых» рецензентов. К сожалению, в опросе не было учтено, были ли отзывы ChatGPT иногда ошибочными, что очень важно.
Исследование (по иронии судьбы оно доступно только на arXiv, поскольку оно все еще ожидает экспертной оценки) раскрывает интересную дилемму.
Действительно ли ChatGPT лучше предоставляет ученым обратную связь, чем их собственные коллеги? Или преобладающая модель некомпенсационного рецензирования не позволяет квалифицированным рецензентам предоставлять высококачественный вклад?