Kui Arno isaga koolimajja jõudis, oli
koolimaja juba maha põlenud
. See on üks vastus, mida võib saada
eestikeelsel materjalil treenitud keelemudel
ilt.
koolimaja juba maha põlenud
Tõlge fraasile: koolimaja juba maha põlenud
EN
the school building had already burned down
eestikeelsel materjalil treenitud keelemudel
Tõlge fraasile: eestikeelsel materjalil treenitud keelemudel
EN
language model trained on Estonian material
Novaator uuris teadlastelt ja tegi eksperimendi, et teada saada, kas
põhikooliõpilased saavad tehnoloogiale usaldada
, kui küsimused puudutavad eesti keelt ja kultuuri.
põhikooliõpilased saavad tehnoloogiale usaldada
Tõlge fraasile: põhikooliõpilased saavad tehnoloogiale usaldada
EN
primary school students can trust technology
Eksperimendis kasutati viit
üldlevinud keelemudelit
: Grok, Claude Sonnet, Gemini, Chat GPT ja Mistral. Lisaks testiti Tallinna Tehnikaülikooli, Tartu Ülikooli ja Eesti Keele Instituudi juturobotit.
üldlevinud keelemudelit
Tõlge fraasile: üldlevinud keelemudelit
EN
common language models
Kõik mudelid vastasid 20 küsimusele. Küsimused olid jagatud kaheks:
eesti keel ja eesti kultuurilugu
. Näiteks küsimustes oli teema Juri Lotmani "
semiosfäär
" ja lause lõpetamine "Kui Arno isaga koolimajja jõudis…".
eesti keel ja eesti kultuurilugu
Tõlge fraasile: eesti keel ja eesti kultuurilugu
EN
Estonian language and cultural history
semiosfäär
Tõlge fraasile: semiosfäär
EN
semiosphere
Keeleküsimustes testiti mudelite oskust
murdekeeles
ja ka seda,
mitu täishäälikut on sõnas
"jäääär".
murdekeeles
Tõlge fraasile: murdekeeles
EN
in dialect
mitu täishäälikut on sõnas
Tõlge fraasile: mitu täishäälikut on sõnas
EN
how many vowels are in the word
Tartu Ülikooli professor Kairit Sirts ütles, et tulemused olid üllatavad. Grok oli kõige tundlikum eesti keele suhtes. Näiteks teadis Grok, kuidas öelda võro keeles "tolmuimeja": "pudsunudsija".
Sirts selgitas, et
mudelite treenimine toimib mitmes etapis
. Esimene etapp on tekstide peal treenimine, siis järgneb
järeltreening
, kus mudelile näidatakse ülesandeid ja juhiseid.
mudelite treenimine toimib mitmes etapis
Tõlge fraasile: mudelite treenimine toimib mitmes etapis
EN
model training works in several stages
järeltreening
Tõlge fraasile: järeltreening
EN
fine-tuning
Kultuuriloo küsimustes erinesid tulemused vähe. Sirts rääkis, et mudelid saavad
kultuuriteadmisi inglise keele treeningust
, kuid eesti keelele spetsiifilist infot neil vähem.
kultuuriteadmisi inglise keele treeningust
Tõlge fraasile: kultuuriteadmisi inglise keele treeningust
EN
cultural knowledge from English training
Küsimuste sõnastus mängib suurt rolli. Näiteks küsimus "Mitu täishäälikut on sõnas 'jäääär'?" on pigem matemaatiline.
Tallinna Tehnikaülikooli professor Tanel Alumäe ütles, et suured keeleandmed aitavad ka väiksemate keelte kvaliteeti tõsta. Eesti keeles on mudelid juba väga head, kuid teevad siiski vigu.
Alumäe testis mudelite keeleoskust sügisel. Ta leidis, et mudelid saavad hästi hakkama sõnade käänamisega, kuid täpse grammatikaga on probleeme.
Novaatori eksperimendi tulemused näitasid, et mudelitel oli keeruline anda lausele "Jüri sai palgi pantimise eest paraja palga" mitu tähendust.
Eesti teadlased arendavad avatud eestikeelset mudelit. See tähendab, et kogu treeningmaterjal on avalik ja kontrollitav. Eesti mudeli tulemused jäävad teistele alla, kuid teadlased plaanivad treenida suuremat mudelit.
Sirts selgitas, et mudeli treenimiseks kasutatakse Eesti Keele Instituudi andmeid ja veebiandmeid. Kuid mudel ei pruugi teada kultuuriloo küsimusi, kui ta pole lugenud näiteks "Kevade" raamatut.
Jaanus ja Albert on tegelased eesti kultuslauludes. Näiteks Grok ütles, et nad destilleerivad viina, ja Gemini mainis, nad räägivas raadios.
Sirts ütles, et eesmärk ei ole konkureerida suurte kommertsmudelitega, vaid luua
avatud eestikeelne mudel
, mida saab enda serveris kasutada. See on oluline, kui on vaja hoida andmeid konfidentsiaalsena.
avatud eestikeelne mudel
Tõlge fraasile: avatud eestikeelne mudel
EN
open Estonian language model
Alumäe lisas, et on vaja vähendata sõltuvust USA ja Hiina serveritest. Avatud mudel võimaldab kasutada andmeid ilma, et need lekivad välja.
Sirts arvas, et on oluline luua ja hoida kompetentsi. Tehnoloogiaettevõtted ei peaks dikteerima tingimusi ja hindu. Eestlane saab parandada avatud mudelit eesti keele tasemel ja
hoida kontrolli
.
hoida kontrolli
Tõlge fraasile: hoida kontrolli
EN
maintain control
When Arno and his father arrived at the schoolhouse, it had already burned down. This is one of the responses that can be obtained from a language model trained on Estonian-language material.
Novaator consulted researchers and conducted an experiment to find out whether elementary school students can trust technology when it comes to questions about Estonian language and culture.
The experiment used five widely known language models: Grok, Claude Sonnet, Gemini, Chat GPT, and Mistral. Additionally, chatbots from Tallinn University of Technology, the University of Tartu, and the Institute of the Estonian Language were tested.
All models answered 20 questions. The questions were divided into two categories: Estonian language and Estonian cultural history. For example, topics included Juri Lotman's "semiosphere" and completing the sentence "When Arno and his father arrived at the schoolhouse…".
Language questions tested the models' ability to understand dialects and, for instance, how many vowels are in the word "jäääär".
University of Tartu professor Kairit Sirts said the results were surprising. Grok was the most sensitive to Estonian language. For example, Grok knew how to say "dust remover" in Võro: "pudsunudsija".
Sirts explained that model training works in several stages. The first stage is training on texts, followed by fine-tuning, where tasks and instructions are shown to the model.
Cultural history questions showed little variation in results. Sirts mentioned that models gain cultural knowledge from English-language training but have less specific information for Estonian.
The wording of questions plays a big role. For example, the question "How many vowels are in the word 'jäääär'?" is more mathematical.
Tallinn University of Technology professor Tanel Alumäe stated that large language datasets help improve the quality of smaller languages. Estonian-language models are already very good but still make mistakes.
Alumäe tested the models' language skills in the fall. He found that models handle word inflection well but struggle with precise grammar.
The results of Novaator's experiment showed that models had difficulty providing multiple meanings for the sentence "Jüri earned a decent salary for pawning a log."
Estonian researchers are developing an open Estonian-language model. This means all training material is public and verifiable. Estonian model results lag behind others, but researchers plan to train a larger model.
Sirts explained that the model is trained using data from the Institute of the Estonian Language and web data. However, the model may not know answers to cultural history questions if it hasn't read, for example, the book "Kevade".
Jaanus and Albert are characters in Estonian cult songs. For example, Grok said they distill alcohol, and Gemini mentioned they speak on the radio.
Sirts said the goal is not to compete with large commercial models but to create an open Estonian-language model that can be used on one's own server. This is important when data confidentiality is needed.
Alumäe added that it is necessary to reduce dependence on US and Chinese servers. An open model allows data usage without leakage.
Sirts believed it is important to create and maintain competence. Technology companies should not dictate terms and prices. Estonians can improve the open model at the Estonian language level and maintain control.