Šodienas fakts21. novembris Arhīvs

15×

lielākā atšķirība starp valodām

Ne visas valodas tokenos maksā vienādi

Tērzēšanas roboti lasa tekstu kā tokenus – vārdu gabaliņus. Tokenizatori lielākoties veidoti no angļu teksta, tāpēc tas pats teikums citā valodā bieži sadalās vairākos tokenos. 2023. gada pētījumā starp valodām atrastas pat 15-kārtīgas atšķirības. Vairāk tokenu nozīmē lielākas izmaksas un mazāk vietas MI konteksta logā.

Avots: Petrovs u. c., arXiv (2023)