ChatGPT выдумывает источники: почему, как часто и как проверить, что статья существует
Почему ChatGPT и другие чат-боты выдумывают правдоподобные статьи и ссылки, что показали исследования о доле выдуманных ссылок, четыре типа ошибок и пятиминутный чек-лист проверки каждого источника.
Часть серии: Искусственный интеллект в академической работе: как правильно использовать ChatGPT в семинарской и диссертации
Студент просит у ChatGPT «пять статей об экзаменационной тревожности» и получает идеальный список - реальные исследователи, реальные журналы, даже DOI. Только части статей не существует.
Почему так происходит
Языковая модель не «ищет» статьи - она предсказывает правдоподобный текст. Она знает, как выглядит ссылка, и собирает её из частей, а не извлекает из базы.
Насколько часто
В исследовании в Scientific Reports проверили 636 ссылок, созданных ChatGPT по 42 темам: 55% ссылок GPT-3.5 и 18% ссылок GPT-4 были полностью выдуманы; среди настоящих 43% и 24% содержали существенные ошибки (Walters & Wilder, 2023). Новые модели лучше, но нулевой доли не нашло ни одно исследование.
Четыре типа ошибок
- Статьи нет вообще.
- Статья есть, но неверные год, журнал или DOI.
- Автор реальный, а такой его статьи нет.
- Статья реальная, но утверждения в ней нет - самое опасное; бывает и в инструментах на базе статей.
Чек-лист: пять минут на источник
- Найдите точное название в кавычках в Google Scholar.
- Проверьте DOI на doi.org - ведёт ли он к той же статье?
- Сверьте год, журнал, том, страницы.
- Прочитайте хотя бы аннотацию - говорит ли статья то, что вы ей приписываете?
- В список - только прошедшее проверку, с данными из самой статьи.
Как пользоваться AI безопасно
Просите ключевые слова для поиска, а не источники; используйте инструменты на базе статей (AI-инструменты); оформляйте ссылки из Google Scholar или Zotero по шаблонам APA.
Частые вопросы
Выдумывает ли ChatGPT источники? Да, реже, чем раньше, но не ноль.
Что будет, если сдать выдуманный источник? В большинстве вузов это нарушение академической честности, даже без умысла.
Хотите, чтобы кто-то проверил список литературы? Мы проверяем каждый источник - существует ли, верны ли данные, говорит ли он то, что ему приписано. Получите расчёт стоимости. Полное руководство: AI в академической работе.
Источник
- Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, Article 14045. https://doi.org/10.1038/s41598-023-41032-5
Расскажите, что нужно, и мы вернёмся с экспертом в области «Поиск источников и обзор литературы» и ценой.
Обновлено: