15×
lielākā atšķirība starp valodām
Ne visas valodas tokenos maksā vienādi
Tērzēšanas roboti lasa tekstu kā tokenus – vārdu gabaliņus. Tokenizatori lielākoties veidoti no angļu teksta, tāpēc tas pats teikums citā valodā bieži sadalās vairākos tokenos. 2023. gada pētījumā starp valodām atrastas pat 15-kārtīgas atšķirības. Vairāk tokenu nozīmē lielākas izmaksas un mazāk vietas MI konteksta logā.
Avots: Petrovs u. c., arXiv (2023)