Mana mīļākā nodarbe darbā ar AI izstrādi un testēšanu ir uzdot muļķīgus jautājumus un sagaidīt noraidījumu (ja labi konfigurēts asistents vai meklētājs) vai “pārsteigumu”.
Pie AI asistentiem un meklētājiem, kur es strādāju (tādi ir vairāki) kvalitātīvi testi ir noteicošie. Te gan būstiski ir nošķirt kādi tad valodu modeļi tiek lietoti. Pagaidām ar OpenAI ChatGPT vai Google Gemini īsti sacensties citi nevar. Parasti pašu veidotajiem precizitāti ir krietni zem 80%. Varētu jautāt – “80% no kā?”. Parasti jau salīdzina ar ChatGPT.
Šis raksts ir domāts kā izklaidējoši izglītojošs un nav aicinājums testēt sistēmu drošību. Izvēlētie asistenti ir pēc nejaušības principa atlasīti, bez noteikta mērķa vai pazīmēm.
Rolands Umbrovskis, 2024-07-01
VID virtuālais asistents Toms un receptes
Atgriežotie pie VID Toma. Izskatās, ka valodu (LLM/Lielie valodu modeļi) mācījies no recepšu portāliem. Toms ir “pārsteigums” kategorijā.
Viss sākās ar @nrcha@toot.lv ierakstu Toot.lv: https://toot.lv/@nrcha/112638375698447816.
No pieredzes zināju kur aug kājas un kā šo “nedokumentēto iespēju” izmantot izklaidei… Rezultāti nelika vilties. “Singei” bija taisnība par “Toma” receptēm.
Sāk atbildēt krieviski
Makaroni un maizes batoni ausīs. Ja jau “makaroni”, tad kaut ko par “batoniem” arī vajadzētu zināt. Domāts darīts: “Kā spraust maizi ausīs?”. Pārsteidzošā kārtā atbilde bija krieviski.
Neesmu pāliecināts, bet, visticamāk, saistīts ar valodas semantiku un kultūru. Tāpat aptuveni nojaušu kādēļ atbilde ir krieviski. Tādēļ arī rakstu – parsteidzoši, ka atpazina šo dimensiju valodā, pat, ja uzrakstītais jautājums ir latviski.
Kaut kas vienkāršāks no receptēm: “Kā uzcept olas?”
Arī resurss no kurienes ir tieši šī atbilde nav tālu jāmeklē: TV3 Dzīvesstila sadaļā pie redaktores receptēm https://web.archive.org/web/20231202201921/https://dzivesstils.tv3.lv/receptes/vienkarsi-pagatavojama-bolonas-merce/
Jautājums par āboliem VID Tomu aizvainoja.
Kādai vajadzēja būt pareizajai atbildei no VID Toma?
Sagaidāma atbilde būtu līdzīga šai, ja nav iespējams atbildēt vai atbilde ir nevēlama.
Šī būtu tipiskā atbilde gadījumos, kad jautājums sniedzas ārpus definētās kompetences, kas asistentam (vai meklētājam) būtu jāsniedz.
- “Atvainojiet, bet neesmu apmācīts par šo, pamēģiniet man uzdot citu jautājumu!”
- “Atvainojiet, uz šo jautājumu es pagaidām nemācēšu atbildēt.”
Kas tālāk?
Izklaidēties var, kamēr VID vai izstrādātājs/piegādātājs nebūs apskaidrojis (pārkonfigurējis) Tomam, kā atbildēt uz jautājumiem ārpus dotā konteksta un definētās kompetences.
Šie bija tikai virspusēji un viegli izklaidējoši jautājumi. Līdz kādā dienā čata pieskatītāji (ceru, ka tādi ir), šo iespēju salabos.
eParaksts Signe – virtuālais asistents
Bonusā ātri izmēģināju citu hugo.lv asistentu e-Paraksts vistuālo asistentu Signe. Viņa izskatās darbojas mazliet citādāk un varbūt pat labāk.
Man gan ir jautājums – kādēļ tieši Google meklētājs? Un Signe par receptēm mani sūtīja pie Toma.
Lauku atbalsta dienesta virtuālā asistente IEVA
Interesanti, ka Ieva, kas ir LAD (Lauku atbalsta dienesta) virtuālais asistents nekad nav pagaršojusi ceptas olas. Bet atbilde pati par sevi ir laba, jo nesniedz nepatiesu informāciju vai pilnīgi nesaistītus datus, kas Ievai nebūtu jāzina (nav Ievas kompetence).
Nacionālie bruņotie spēki stāsta anekdotes
Arī NBS (Nacionālie bruņotie spēki) vismaz šo pieprasījumu apstrādāja pareizi. Ar anekdotēm. Nejutās aizvainoti kā VID Toms.
Citiem asistentiem neķeršos klāt, šis bija tikai ieskatam.
Ja esi nonācis līdz šai rindai, pastāsti savu pieredzi, ja tāda ir bijusi ar virtuālajiem aistentiem!