Miks ChatGPT vastus iga kord muutub?

Sama küsimus, erinev nimekiri

SparkToro ja Gumshoe lasid 600 vabatahtlikul esitada ChatGPT-le, Claude'ile ja Google'i AI-le 12 soovitusküsimust, kokku 2 961 korda. Kaks vastust sisaldasid samu firmasid harvem kui üks kord sajast ja samas järjekorras umbes üks kord tuhandest. Nimekirjas oli kord kaks-kolm nime, kord kümme või rohkem.

Stabiilsem oli see, kas firma üldse vastuses on. Kui küsiti Ameerika läänerannikul asuvate vähihaiglate kohta, nimetas ChatGPT üht haiglat 69 vastuses 71-st, aga esimesena ainult 25 korral. Autorid järeldasid, et koht AI vastuses ei tähenda midagi, aga osakaal paljudes vastustes on mõõdetav.

Miks see juhtub

Kui küsimus vajab värsket infot, kirjutab ChatGPT selle ümber üheks või mitmeks lühikeseks otsinguks, saadab need otsingupartneritele, näiteks Bingile, ja koostab vastuse leitud lehtedest. Need otsingud ei ole iga kord samad.

Toronto ülikooli uurijad esitasid samu 651 küsimust 90 päeva järjest. ChatGPT eelistatud lehtedest kattus kahe nädala pärast varasemaga 40% ja kümne nädala pärast 14%. Kui nad saatsid küsimused ChatGPT-le arendajaliidese kaudu uuesti, oli sama päeva kahe korra otsingutes ühist sõnastust vaid 2,7% ja viidatud lehtedest olid ühised 15%.

Teine ülikoolide meeskond salvestas, mida ChatGPT veebileht taustal tegi, kui sama küsimust esitati 20 korda. Üle 40% leitud lehtedest ilmus ainult ühel korral kahekümnest. Veebisaidid olid stabiilsemad kui üksikud lehed, sest ChatGPT võttis sageli sama saidi teise lehe.

Ühe AI-nähtavuse mõõtja katses oli esikohal sama firma 78–87% juhtudest, kui veebiotsing oli välja lülitatud ja juhuslikkus viidud miinimumini, ja 48–68% juhtudest, kui otsing oli sees, nagu ostjad seda kasutavad. ChatGPT puhul oli see 48%. Mõõtja järeldab, et suurem osa kõikumisest tuleb otsingust: iga kord loetakse teisi lehti.

Vastust muudab ka kasutaja. ChatGPT lisab otsingule ligikaudse asukoha ja, kui mälu on sisse lülitatud, asju, mida ta sinust mäletab. Sinu ja su kliendi vastused ei pruugi olla samad isegi samal minutil.

Mudel vahetub, vahel vaikselt

Iga ChatGPT versioon otsib isemoodi. Samas ülikoolide uuringus tegi üks kiire versioon keskmiselt ühe otsingu vastuse kohta, teine 2,4 ja põhjalikult mõtlev versioon umbes 12. Kahel korral vahetus mudel pika mõõtmise keskel varumudeli vastu, ilma et ChatGPT oleks sellest teatanud. Mõõtmine, mis tehti eelmisel kvartalil, ei pruugi täna enam kehtida.

Mida see sinu jaoks tähendab

• Ära tee otsuseid ühe ekraanipildi põhjal, ei enda ega konkurendi oma. Kui keegi näitab sulle üht vastust tõestuseks, küsi, mitu korda küsimust esitati.
• Küsi sama küsimust mitu korda ja eri päevadel. Loe, mitmes vastuses sind nimetatakse, mitte mitmendal kohal.
• Jälgi oma saiti ja firma nime, mitte üht lehte. Üksikud lehed vahetuvad vastustes palju sagedamini kui saidid.
• Vaata samades vastustes ka konkurente. Kui kõigi osakaal muutub samal päeval, muutus tõenäoliselt AI, mitte sinu olukord.

Nii töötab ka aiagentuur.ee AI-nähtavuse kontroll: 12 küsimust eesti keeles, iga küsimus 3 korda ChatGPT-lt ja Claude'ilt. Raport näitab, kui tihti sind nimetati ja keda nimetati sinu asemel, mitte kohta edetabelis. Kuidas ise mõõta, loe juhendist Kuidas mõõta, kas ChatGPT soovitab sinu firmat?