Çfarë janë tokenët në AI?
Tokenët janë copëza teksti me të cilat punon modeli — ndonjëherë një fjalë e plotë, ndonjëherë pjesë e fjalës ose simbol. Para se të “mendojë”, modeli kthen fjalët e tua në një listë ID-sh tokenësh.
Numri i tokenëve ndikon në kostot, shpejtësinë dhe sa kontekst mbajmë në memorie (context window). Prandaj tokenizimi është hapi i parë real në çdo LLM.
Provo tokenizimin live në laboratorin e mej7.com — shkruaj tekst dhe shiko si ndahet.