Stanfordin tutkijat huomaavat, että GPT-4 muuttuu tyhmemmäksi ajan myötä
Miscellanea / / July 20, 2023
ChatGPT: n maksullisen version tarkkuus oli alhaisempi kuin ilmaisen chatbotin.
Uusi opiskella Stanfordin yliopiston tutkijat vahvistivat sen, mistä verkkomiehet ovat valittaneet jo viikkoja: ChatGPT Plus, joka perustuu GPT-4 on todella tullut tyhmemmäksi - toisin kuin GPT-3.5, joka käyttää chatbotin ilmaista versiota.
Tutkimuksessaan kirjoittajat vertasivat vastauksia GPT-4:ään ja GPT-3.5:een perustuvien chatbotin eri pyyntöihin. Ne havaitsi, että chatbotin käyttäytyminen ja vastausten tarkkuus joihinkin pyyntöihin uudessa versiossa ovat merkittävästi pahentunut.
Kirjoittajat vertasivat maalis- ja tammikuussa julkaistuja GPT-4- ja GPT-3.5-kielimalleja. He havaitsivat, että tänä aikana GPT-4:n tarkkuus laski huomattavasti, kun taas GPT-3.5:n tarkkuus päinvastoin kasvoi.
Esimerkiksi vastauksen tarkkuus kysymykseen, onko 17077 alkuluku, laski 95,2 %, kun taas GPT-3,5 päinvastoin nousi 7,4 %:sta 86,8 %:iin. Myös hermoverkon kirjoittaman koodin onnistuneen suorittamisen mahdollisuus on pienentynyt molempien mallien nykyisissä versioissa.
Aiemmin OpenAI: n varapresidentti Peter Welinder on jo tehnyt vastasi ChatGPT Plus -käyttäjien syytöksiin:
Ei, emme tehneet GPT-4:stä tyhmempää. Kaikki on täsmälleen päinvastoin: teemme jokaisesta uudesta versiosta älykkäämmän kuin edellinen.
Nyt meillä on tämä hypoteesi: kun käytät jotain aktiivisemmin, alat havaita ongelmia, joita et nähnyt ennen.
Peter Welinder
OpenAI: n tuotejohtaja
Yhdessä tämän twiitin vastauksista Welinder kysyi todistaa, että chatbot on huonontunut. Stanfordin tutkijoiden tutkimus ilmestyi 5 päivää sen jälkeen - eikä OpenAI ole vielä saanut vastausta.
Tämä ei ole ensimmäinen kerta, kun GPT-4:ää syytetään väärien tietojen antamisesta. Maaliskuussa NewsGuardin analyytikot löydettyettä GPT-4:ään perustuva ChatGPT on helpompi saada valehtelemaan – kun taas OpenAI itse väittää vastausten tarkkuuden nousevan 40 % verrattuna GPT-3.5:een. SISÄÄN varsinkin NewsGuard-testeissä hermoverkon uusi versio ei todennäköisesti kumota väärää tietoa - mukaan lukien vääriä tietoja nykyaikaisista tapahtumista ja teorioista salaliitot.
Lue myös🧐
- 6 ChatGPT: n analogia
- James Cameron tekoälyn vaaroista: "Varoitin sinua vuonna 1984, mutta et kuunnellut"
- 8 tekoälyn myyttiä, joihin ohjelmoijatkin uskovat