Un nou studiu realizat de cercetătorii de la Universitatea Stanford a confirmat ceea ce utilizatorii din rețea au semnalat de câteva săptămâni: ChatGPT Plus, bazat pe GPT-4, s-a dovedit a fi într-adevăr mai puțin inteligent, spre deosebire de GPT-3.5, pe care se bazează versiunea gratuită a chatbot-ului.
În cadrul cercetării lor, autorii au comparat răspunsurile chatbot-ului bazat pe GPT-4 cu cele bazate pe GPT-3.5 la diverse solicitări. Au descoperit că comportamentul chatbot-ului și acuratețea răspunsurilor pentru anumite întrebări s-au deteriorat semnificativ în noua versiune.
Autorii au comparat modelele lingvistice GPT-4 și GPT-3.5, lansate în martie, respectiv ianuarie. Au descoperit că, în timp, precizia GPT-4 a scăzut semnificativ, pe când în cazul GPT-3.5 a crescut.
De exemplu, precizia răspunsului la întrebarea dacă 17077 este un număr prim a scăzut cu 95,2%, în timp ce pentru GPT-3.5 a crescut de la 7,4% la 86,8%. De asemenea, șansele de a executa cu succes cod scris de rețea s-au redus în versiunile actuale ale ambelor modele.
În trecut, vicepreședintele OpenAI, Peter Vellinder, a răspuns deja acuzațiilor utilizatorilor ChatGPT Plus:
"Nu, noi nu am făcut GPT-4 mai puțin inteligent. Dimpotrivă, facem fiecare nouă versiune mai inteligentă decât cea anterioară.
Acum avem o ipoteză: atunci când utilizați ceva mai activ, începeți să observați probleme pe care nu le-ați văzut anterior."
Peter Vellinder
Vicepreședinte al produsului la OpenAI
Într-unul dintre răspunsurile sale la acest tweet, Vellinder a cerut dovezi că chatbot-ul a devenit mai puțin eficient. Studiul realizat de cercetătorii de la Stanford a apărut la 5 zile după acest lucru, iar OpenAI nu a oferit încă un răspuns.
Aceasta nu este prima dată când GPT-4 a fost acuzat că furnizează informații incorecte. În martie, analiștii NewsGuard au descoperit că ChatGPT, bazat pe GPT-4, este mai ușor să inducă în eroare cu informații false, în timp ce OpenAI afirmă că a crescut acuratețea răspunsurilor cu 40% în comparație cu GPT-3.5. În teste, noua versiune a rețelei neuronale a fost mai puțin susceptibilă să dezvăluie informații false, inclusiv date incorecte despre evenimente contemporane și teorii ale conspirației.
