Човек, който не е сигурен, се колебае, добавя „мисля, че” или казва, че не знае. Моделът не прави това. Той попълва празнината с най-правдоподобния текст и го поднася със същия тон, с който казва и верните неща.
Причината е в устройството му. Моделът не разбира смисъла на думите като вас. Той е научил кои думи обикновено вървят една след друга и предвижда следващата. През повечето време това дава верен отговор, защото верният отговор е и най-често срещаният. Проблемът идва, когато правдоподобното и вярното се разминат.
Затова въпросът не е дали AI ще сгреши, а къде една негова грешка ще ви струва скъпо и дали ще я хванете навреме. Отговорът зависи от процеса, не от инструмента.
Чест въпрос от залата„Новите модели нали станаха много по-точни?”
Да, и това е добра новина. Но по-точен модел греши по-рядко, не никога, и продължава да греши със същия уверен тон. По-малко грешки върху повече работа пак означава грешки, които ще стигнат навън, ако никой не ги чака на изхода.