Transformer

Një transformer është një grumbull blloqesh identike. Dizajni origjinal i 2017-ës kishte një enkoder dhe një dekoder; modelet bisedore të tipit GPT përdorin vetëm pjesën e dekoderit ("decoder-only"). Çdo bllok ka dy nënshtresa: multi-head self-attention dhe një rrjetë feed-forward (MLP).

• Lidhjet rezidiale. Dalja e çdo nënshtrese i shtohet hyrjes në vend që ta zëvendësojë. Kjo i jep çdo pozicioni një vektor që rritet, rrjedhën rezidiale (residual stream), nga e cila çdo shtresë lexon dhe në të cilën shton. Gjithashtu i bën rrjetat e thella shumë më të lehta për t'u trajnuar.
• Normalizimi i shtresës (layer normalization). E rishkallëzon vektorin e çdo token-i që numrat të qëndrojnë në një gamë të qëndrueshme. Dizajni i 2017-ës e aplikonte pas çdo nënshtrese; GPT-2 dhe shumica e modeleve të mëvonshme e aplikojnë para ("pre-LN"), që zakonisht e bën trajnimin më të qëndrueshëm.
• Nënshtresa e attention-it. Lëviz informacion mes pozicioneve.
• Nënshtresa MLP. Dy shtresa lineare me një aktivizim jolinear mes tyre. Fillimisht e zgjeron vektorin (zakonisht me faktor katër: 768 në 3,072 në GPT-2 small) dhe pastaj e ngushton përsëri. Aplikohet veçmas në çdo pozicion. Kërkimet sugjerojnë që shtresat MLP veprojnë pjesërisht si depo asociacionesh të mësuara (Geva et al., 2021), edhe pse ky është një fushë aktive kërkimi.

Pas bllokut të fundit, një normalizim përfundimtar dhe matrica e unembedding-ut e kthejnë vektorin e pozicionit të fundit në një rezultat për çdo token të fjalorit (seksioni 14). GPT-2 small ka 12 blloqe dhe rreth 124 milionë parametra; modelet më të mëdha kanë më shumë blloqe dhe vektorë më të gjerë.

Thjeshtim: diagrami tregon pjesët kryesore. Modelet reale ndryshojnë në detaje si lloji i normalizimit, funksioni i aktivizimit dhe skema e pozicionit.