Gjenerimi i Tokenit
Simulatori i gjenerimit të tokenit tjetër
Modeli gjeneron një token në herë, e shton në kontekst, dhe përsërit. Kliko një token kandidat për ta shtuar.
Në detaje
Një model gjuhësor prodhon tekst një token në herë:
- 1. Merr tekstin aktual (kontekstin) dhe kaloje nëpër model.
- 2. Merr një shpërndarje probabiliteti mbi tokenin tjetër.
- 3. Zgjidh një token (me mostrim ose duke marrë atë më të mundshmin).
- 4. Shtoje te teksti dhe përsërit.
Gjenerimi ndalon kur modeli prodhon një token të veçantë fund-sekuence ose arrin një kufi gjatësie. Meqë çdo token varet nga ata para tij, zgjedhjet e hershme ndikojnë në gjithçka që vijon, dhe meqë zgjedhja zakonisht përfshin rastësi, i njëjti prompt mund të japë përgjigje të ndryshme.
Kjo është edhe arsyeja pse përgjigjet më të gjata zgjasin më shumë: çdo token i ri kërkon një kalim tjetër nëpër model. Në praktikë, implementimet ruajnë çelësat dhe vlerat e tokenëve të mëparshëm (KV cache, shih rrugën Advanced) që të mos rillogariten çdo herë.
Thjeshtim: simulatori të lejon të zgjedhësh nga disa tokenë kandidatë. Një model real llogarit një probabilitet për çdo token të fjalorit.