Склонен да измисля факти, вместо да отказва или да избягва въпроси
Сред най-големите "измислячи" били моделите на OpenAI
Новото поколение по-способни AI модели изглеждат всезнаещи и интелигентни, но могат да разпространяват доста умело лъжи. Тази тенденция се наблюдава и при големите езикови модели (LLM), които с всяка нова версия стават по-мощни. Ново изследване обаче показва, че тези по-развити модели са по-малко надеждни, тъй като са склонни да измислят факти, вместо да отказват или да избягват въпроси, на които не могат да отговорят, предава Futurism.
Проучването, публикувано в списание Nature, изследва водещи LLM системи, като ChatGPT на OpenAI, LLaMA на Meta, както и модела BLOOM, разработен от изследователската група BigScience. Въпреки че резултатите показват, че моделите стават по-точни в отговорите си, като цяло се наблюдава и увеличаване на грешните отговори в сравнение с по-старите версии.
"В наши дни те отговарят на почти всичко. Това води до повече правилни отговори, но също така и до повече грешни," казва съавторът на изследването Хосе Ернандес-Орало от Института за изкуствен интелект във Валенсия, Испания, в интервю за Nature.
Майк Хикс, философ на науката и технологиите от Университета на Глазгоу, оценява ситуацията по-критично. Според него това наподобява явлението, наречено "измишльотини".
"Моделите стават по-добри в преструването, че знаят отговора," коментира Хикс пред Nature.
Моделите са били подложени на въпроси по различни теми, включително математика и география, както и на задачи за подреждане на информация по даден ред. По-големите и по-мощни модели са давали най-точни отговори на сложните въпроси, но при по-трудните теми показват по-ниска точност.
Сред най-големите "измислячи" са били моделите на OpenAI - GPT-4 и GPT-3.5, които са отговаряли почти на всички зададени въпроси, дори когато не разполагат с необходимата информация.
Всички модели, включени в изследването, са демонстрирали тази тенденция. Според проучването, моделите от семейството на LLaMA не са успели да достигнат дори 60% точност при най-лесните въпроси.
В заключение, колкото по-големи и сложни стават моделите - като брой параметри и обем на обучителните данни - толкова повече грешни отговори дават.