Изследователи от Сан Франциско решават да сравнят отделните приложения –ChatGPT 3, Bing, Bard и някои от чатботовете на Google, за да видят кой от тях халюцинира най-много и предоставя грешни отговори. За това разказа доц. д-р Мариана Тодорова в предаването "Сценарий от бъдещето" на Радио "Фокус" с водещ Ива Дойчинова.

Почти веднага след пускането на продукта си Google констатира, че чатботът на компанията предоставя много неверни данни. "Така бивши служители на компанията създават Vectara, която има за цел да изследват кой чатбот колко и в каква дълбочина халюцинира и как това може да бъде избегнато. Те възнамеряват да преразгледат принципите на търсене, използвайки големи езикови модели", обясни доц. Тодорова.

Бившият изпълнителен директор на Google Амр Авадалах смята, че халюцинациите могат да бъдат онагледени най-добре чрез задачата за обобщение на информация. Разгледал е предимно текстове, които се използват в журналистиката.

"Той установява, че колкото по-сложна става материята, толкова повече се задълбочават халюцинациите. Само на ниво обобщение на съдържание той е видял, че OpenAI халюцинира само в 3% от случаите. При Meta процентите са 5. При Claude 2 на Anthropic, който претендира да бъде сериозен конкурент на OpenAI, халюцинациите надхвърлят 8%. Моделът на Google PaLM Chat е с най-висок процент – 27", посочи футурологът.

Vectara показва, че халюцинациите няма как да бъдат избегнати засега. "Не защото изкуственият интелект е програмиран да халюцинира, а защото е програмиран да търси асоциациите на всяка дума, която е сведена до тоукън в запитването. Затова той дава тези изкривявания", обясни доц. Тодорова.