Если выводы Каммараты подтвердятся, это может изменить подход к изучению искусственного интеллекта.
Ник Каммарата, исследователь искусственного интеллекта, выдвинул интересную гипотезу, которая ставит под сомнение одно из ключевых представлений о самом устройстве ИИ.
У него там большая работа по этой теме, но если коротко, то суть в следующем.
Долгое время исследователи сталкивались с проблемой: отдельные искусственные нейроны реагировали на совершенно не связанные между собой вещи.
Считалось, что нейросети ради экономии ресурсов смешивают разную информацию в кучу, из-за чего разобраться в их внутренней работе было чрезвычайно сложно.
Однако Каммарата обнаружил, что за кажущимся хаосом часто скрываются вполне понятные закономерности.
Например, один нейрон реагировал одновременно на морды котиков и передние части автомобилей.
Раньше это считалось примером бессистемного смешивания информации, но исследование показало, что на самом деле нейрон распознает общую для них V-образную форму.
Исследуя разные нейросети, включая современные языковые модели, Каммарата обнаружил множество вот таких закономерностей.
Эксперименты также показали, что при нехватке нейронов модели ИИ могут не смешивать случайные понятия, а объединять похожие.
Например, один нейрон начинает распознавать автомобили в целом вместо отдельных типов машин (так действует и человек - обобщая).
Если выводы Каммараты подтвердятся, это может существенно изменить сам подход к изучению искусственного интеллекта.
В перспективе это позволит лучше понимать, почему модели ИИ принимают те или иные решения, и разрабатывать более надежные способы контроля над их поведением.
Блог автора в Telegram
комментарии