Современные университеты и издательства всё чаще полагаются на детекторы ИИ для выявления сгенерированных текстов. Но технология даёт сбои: программы анализа регулярно принимают работы живых людей за творчество нейросетей. Особенно страдают авторы, пишущие строго по правилам или использующие простой английский. Об этом рассказывает издание TechInsider.
Пользователи интернета обнаружили, что популярные детекторы признают исторические документы продуктом ИИ. Декларация независимости США 1776 года — не исключение. Эксперименты журнала Nature подтвердили: сервис ZeroGPT при проверках выдавал вероятность генерации ИИ от 95% до 100%.
В основе детекторов лежит показатель «перпликсити» — оценка непредсказуемости выбора слов. Текст нейросети статистически более предсказуем, поэтому правильная, строго выверенная речь человека часто ошибочно признаётся машинной.
Исследования показывают: популярные утилиты дают до 16% ложноположительных результатов на англоязычных эссе, а для авторов, не являющихся носителями языка, этот показатель подскакивает до 61%. Нейросети развиваются стремительно, тексты новых моделей становятся всё более «человечными», а использование программ-«гуманизаторов» окончательно запутывает алгоритмы. Эксперты сходятся во мнении: автоматические оценки нельзя использовать как неопровержимое доказательство.
Учёные подчёркивают: детекторы ИИ принципиально отличаются от систем антиплагиата. Последние показывают конкретный первоисточник заимствования, тогда как детекторы генеративного текста не предоставляют наглядных доказательств. Ситуация усугубляется тем, что человеческий и машинный тексты не взаимоисключающие: ИИ учился на миллиардах человеческих слов, и любое его предложение гипотетически мог написать человек. Специалисты призывают университеты отказаться от слепого доверия технологиям и перестроить систему оценки знаний, обращая внимание на прозрачность процесса написания. Правда, это снижает процент удалённых тестов и домашних эссе, так как работа переносится в аудиторию.
Марзена Карпинска, лингвист и компьютерный специалист из Университета Саймона Фрейзера, исследовавшая масштабы применения ИИ, предупреждает: «Мы совершенно точно не можем массово отвергать людей из-за того, что детектор ИИ назвал их текст генерацией».