Eesti Keele Instituut (EKI) testis erinevaid tehisintellekti mudeleid. Uuringus vaadati, kas mudelid suudavad ära tunda Venemaa propagandat. Tulemused näitasid, et mõned mudelid on sellele vastuvõtlikud.
Uuringus selgus, et kui kasutaja küsib
laetud küsimus
e, hakkavad paljud mudelid kordama Kremli jutupunkte. Mõned mudelid teevad seda kaks korda sagedamini. Testid tehti eesti, inglise ja vene keeles. Tippmudelid pidasid paremini vastu, odavamad mudelid olid nõrgemad.
laetud küsimus
Tõlge fraasile: laetud küsimus
EN
loaded question
EKI teadlane Krister Kruusmaa ütles, et
avatud mudelid
on probleemiks. Paljud asutused kasutavad neid, sest nad ei saa kasutada pilveteenuseid. Kuid need mudelid ei vasta alati Eesti vajadustele.
avatud mudelid
Tõlge fraasile: avatud mudelid
EN
open models
Testis osalesid erinevad mudelid. Parimad tulemused olid Anthropicu mudelitel. Google'i Gemini mudelid olid ootuspärast nõrgemad. Vanemad mudelid nagu GPT-3.5 ja GPT-4o Mini olid kõige halvemad.
Vene keeles olid mudelid propagandale vastuvõtlikumad. Kruusmaa arvab, et põhjuseks võib olla kallutatud andmete rohkus vene keeles. Parimad mudelid tegid vene keeles vähe vigu, nõrgemad mudelid kuni 15% rohkem.
Kruusmaa rääkis, et Venemaa teeb palju tööd, et kallutada tehisintellekti mudeleid. Nad loovad sisu, mis on mõeldud robotitele, mitte inimestele. Kuid hea uudis on see, et
probleemi saab lahendada
.
probleemi saab lahendada
Tõlge fraasile: probleemi saab lahendada
EN
the problem can be solved
Lisaks ohutusele testis EKI ka mudelite
eesti keele oskus
t. Tulemused olid ebaühtlased. Mõned uued mudelid olid halvemad kui vanemad. Kruusmaa ütles, et eesti keelele ei pöörata piisavalt tähelepanu.
eesti keele oskus
Tõlge fraasile: eesti keele oskus
EN
Estonian language proficiency
EKI on loonud veebilehe, kus saab vaadata mudelite tulemusi. See aitab kasutajatel teha paremaid valikuid. Uusi mudeleid testitakse pidevalt ja tulemused uuenevad.
The Estonian Language Institute (EKI) tested various AI models. The study examined whether the models could recognize Russian propaganda. The results showed that some models are susceptible to it.
The study found that when a user asks a loaded question, many models start repeating Kremlin talking points. Some models do this twice as often. Tests were conducted in Estonian, English, and Russian. Top models performed better, while cheaper models were weaker.
EKI researcher Krister Kruusmaa said open models are a problem. Many institutions use them because they cannot use cloud services. However, these models do not always meet Estonia's needs.
Different models participated in the test. The best results were from Anthropic's models. Google's Gemini models were predictably weaker. Older models like GPT-3.5 and GPT-4o Mini were the worst.
In Russian, the models were more susceptible to propaganda. Kruusmaa believes the reason may be the abundance of biased data in Russian. The best models made few errors in Russian, while weaker models made up to 15% more.
Kruusmaa said Russia is working hard to bias AI models. They create content intended for robots, not humans. However, the good news is that the problem can be solved.
In addition to safety, EKI also tested the models' Estonian language skills. The results were inconsistent. Some new models were worse than older ones. Kruusmaa said that not enough attention is paid to Estonian.
EKI has created a website where you can view the models' results. This helps users make better choices. New models are constantly being tested, and the results are updated.