Tokenët

Një model gjuhësor nuk mund t'i lexojë drejtpërdrejt shkronjat ose fjalët. Ai punon me numra, ndaj hapi i parë është ta presim tekstin në copëza të quajtura tokenë dhe ta zëvendësojmë çdo copëz me një numër identifikues (ID) të marrë nga një fjalor i fiksuar.

Një token mund të jetë një fjalë e tërë, një pjesë fjale, një shkronjë e vetme, një shenjë pikësimi, ose një fjalë së bashku me hapësirën para saj. Shumica e modeleve të sotme përdorin tokenizim në nënfjalë (subword), për shembull byte-pair encoding (BPE). Fjalori ndërtohet duke nisur nga njësi të vogla dhe duke bashkuar vazhdimisht çiftet që shfaqen më shpesh në një mostër të madhe teksti. Fjalët e shpeshta zakonisht bëhen një token i vetëm; fjalët e rralla ose të gjata ndahen në disa pjesë. Kështu fjalori mbetet i një madhësie të menaxhueshme (zakonisht dhjetëra mijëra deri në disa qindra mijëra hyrje), por prapë mund të paraqitet çdo tekst, shpesh duke u kthyer te bajtet individuale.

Pse ka rëndësi në praktikë:

• Dritarja e kontekstit dhe, në shumë shërbime, çmimi llogariten në tokenë, jo në fjalë. Në anglisht, një token është mesatarisht pak më pak se një fjalë (rregull i zakonshëm: rreth tre të katërtat e një fjale), por raporti ndryshon. Gjuhët që përfaqësohen më pak në tekstin e trajnimit të tokenizuesit, si shqipja, shpesh kërkojnë më shumë tokenë për fjalë.
• Numrat, kodi dhe shkrimet e pazakonta mund të ndahen në mënyra të papritura. Kjo është një nga arsyet pse modelet mund të vështirësohen në detyra si numërimi i shkronjave në një fjalë.
• ID-të e tokenëve i përkasin një tokenizuesi të vetëm. I njëjti tekst merr ID të ndryshme në modele të ndryshme, dhe një ID nuk ka kuptim vetvetiu. Hapi tjetër e kthen në vektor.

Thjeshtim: ndarjet dhe ID-të në vizualizim janë ilustruese. Tokenizuesit realë kanë fjalorët dhe rregullat e tyre.