Logits & Softmax
Si zgjedh AI fjalën tjetër?
Modeli prodhon një numër ("logit") për çdo token të mundshëm, pastaj <b>softmax</b> i kthen në probabilitete.
Temperaturë e ulët → shpërndarje më e përqendruar. Temperaturë e lartë → shpërndarje më e shpërndarë/e rastësishme. Kjo nuk e bën AI-në "më të zgjuar" apo "më budallaqe" — thjesht ndryshon rastësinë e zgjedhjes.
Në detaje
Vektori përfundimtar në pozicionin e fundit shumëzohet me matricën e unembedding-ut. Rezultati është një vlerë, e quajtur logit, për çdo token të fjalorit (50,257 në GPT-2). Logit-et mund të jenë çdo numër real; nuk janë probabilitete.
Softmax i kthen në probabilitete: p_i = e^(z_i) / Σ_j e^(z_j). Të gjitha rezultatet janë pozitive dhe mblidhen në 1. Vetëm diferencat mes logit-eve kanë rëndësi: shtimi i të njëjtit numër te të gjitha nuk ndryshon asgjë.
Temperatura (T) i pjesëton logit-et para softmax. Me T nën 1 shpërndarja bëhet më e mprehtë, ndaj tokenët e mundshëm bëhen edhe më të mundshëm. Me T mbi 1 bëhet më e sheshtë dhe tokenët më pak të mundshëm kanë më shumë shans. Kur T i afrohet 0, zgjedhja i afrohet marrjes gjithmonë të token-it më të lartë, dhe implementimet e trajtojnë T = 0 si "zgjidh gjithmonë më të lartin". Temperatura nuk ndryshon çfarë di modeli; ndryshon si mostron nga shpërndarja e vet. Temperaturat shumë të larta shpesh japin tekst të pakuptimtë.
Strategji të zakonshme mostrimi:
- Greedy: merr gjithmonë tokenin më të mundshëm.
- Top-k: mbaj vetëm k tokenët më të mundshëm, rinormalizo dhe mostro.
- Top-p (nucleus sampling): mbaj bashkësinë më të vogël tokenësh probabilitetet e të cilëve mblidhen në të paktën p, dhe mostro prej saj (Holtzman et al., 2019).
Produktet bisedore zakonisht i zgjedhin këto cilësime për ty.