Ученые нашли способ отслеживать галлюцинации ИИ

Международная группа исследователей во главе с учеными из Хайфского Техниона (Израиль) предложила экономичный метод выявления сбоев в нейросетях. Он не требует полного понимания сложных внутренних механизмов ИИ.

Главная проблема контроля искусственного интеллекта — эффект «черного ящика». Современные нейросети содержат миллиарды параметров, и логика их решений остается скрытой. Из-за этого «галлюцинации» — уверенная выдача ложной информации — долгое время были непредсказуемы.

Ученые создали внешнего «инспектора»: легкую и дешевую нейросеть, которая обучается на внутренних сигналах большой модели. Когда ИИ галлюцинирует, геометрия его внутренних активаций отклоняется от нормы. Маленькая нейросеть быстро учится замечать эту разницу, давая пользователям инструмент контроля.

Работы группы доктора Хаггая Марона, ведущиеся совместно с NVIDIA, получили признание на престижных конференциях. Последние результаты представят на AAAI-2026 в Сингапуре.

Новый подход открывает возможности для создания систем предупреждения и стандартов безопасности в медицине, образовании, науке и госрегулировании. «Этот опыт открывает двери для интеграции ИИ в ответственные структуры», — отметил доктор Марон.