Маленькая сеть контролирует большую.
Исследовательская бригада из "Техниона" представила технологию, которая диагностирует ложь и "галлюцинации" нейросетевых чатов. Речь идет о случаях, когда БЯМы приводят вымышленные факты, цитаты и примеры, выдавая их за реальные и подтвержденные.
Например, при программировании, когда у чат-бота заканчивается "контекст" (то есть память, выделенная на хранение всей обсуждавшейся в чате информации), он зачастую начинает изобретать не существующие в коде переменные и функции, подменять одни задачи другими.
С подобными казусами сталкиваются также юристы, ученые и прочие представители гуманитарных профессий. Нередки случаи, в которых нейросеть по запросу пользователя просто выдумывает судебный "кейс", статью закона или другой норматив, приводит несуществующие исторические казусы и так далее.
Проблема заключается именно в том, что псевдомышление нейросети, как и человеческие раздумья, – "черный ящик", в котором при формировании очередной реплики за доли секунды прокручиваются миллиарды, а то и триллионы параметров в рамках непрозрачной внутренней логики.
Бригада под руководством доктора Хагая Мерона предложила своеобразный детектор лжи – простую и дешевую нейросеть, которая будет отслеживать не сами миллиарды параметров в логике основной сети, а схему сигналов при формировании реплики.
Когда большая ИИ-модель генерирует очередной токен (слово), система контроля собирает для обучения значения весов и сигналов. Для человека это просто "инфошум", а для машинного учета - формализуемая схема. Простую нейросеть обучают на этих внутренних сигналах. Как выяснили хайфские математики, когда модель галлюцинирует, геометрия ее внутренних активаций выглядит иначе, чем когда она пишет правду.
Человек эту математическую закономерность дешифровать не способен, а нейросеть, даже небольшая, быстро обучается видеть характерный "отпечаток", сигнализируя о ложности вывода в реплике основной модели.
Результаты работы бригады из "Техниона" будут представлены на конференции AAAI-2026 в Сингапуре.
Если этот механизм окажется успешным, патент можно будет применять в медицине, юриспруденции, научных исследованиях, государственном регулировании и других сферах, где полноценное внедрение искусственного интеллекта пока невозможно именно из-за его "галюциногенности".
комментарии