Matematika e Transformerit (Q·K·V)
Brenda Transformerit: si shumëzohen vërtet Q, K dhe V
Një shpjegim i plotë dhe real i scaled dot-product attention: llogaritja e Q, K dhe V, transpozimi i K, shumëzimi, shkallëzimi, zbatimi i maskës trekëndore shkakësore (causal), dhe softmax — me numra realë, për një shembull të vogël me 4 tokenë.
Numrat këtu janë një shembull i vogël, i krijuar për t'u ndjekur lehtë me dorë — modelet reale përdorin qindra dimensione dhe vlera të tjera, por operacionet (shumëzim, transpozim, shkallëzim, maskim, softmax) janë saktësisht këto.
Kjo maskë trekëndore përdoret në modelet autoregresive (tip decoder) si GPT, që gjenerojnë tekst nga e majta në të djathtë. Modelet tip encoder (si BERT) zakonisht e anashkalojnë këtë maskë dhe lejojnë çdo token të shohë të gjithë sekuencën.
Në detaje
I gjithë operacioni është një formulë:
Attention(Q, K, V) = softmax( Q Kᵀ / √d_k + M ) V
ku M është maska: 0 për pozicionet e lejuara dhe −∞ për ato të ndaluara. Hapat në shembullin hap pas hapi janë:
- 1. Hyrja X: një rresht për çdo token.
- 2. Projeksionet: Q = X·W_Q, K = X·W_K, V = X·W_V.
- 3. Transpozimi i K, që shumëzimi të funksionojë.
- 4. Rezultatet S = Q Kᵀ: një tabelë n × n; hyrja (i, j) tregon sa mirë përputhet pyetja i me çelësin j.
- 5. Shkallëzimi me √d_k. Prodhimet pikë të vektorëve të gjatë priren të rriten me dimensionin d_k (nëse hyrjet janë të pavarura me variancë 1, varianca e prodhimit pikë është d_k). Rezultate shumë të mëdha e shtyjnë softmax drejt një rezultati pothuajse "one-hot" me gradientë shumë të vegjël. Ndarja me √d_k i mban rezultatet në një gamë të mirë.
- 6. Maska shkakësore: −∞ i shtohet pozicioneve të ndaluara (të ardhshme), ndaj ato marrin peshë saktësisht 0 pas softmax.
- 7. Softmax në çdo rresht: çdo rresht bëhet pesha që mblidhen në 1.
- 8. Shumëzimi me V: çdo rresht i daljes është mesatare e peshuar e rreshtave të value.
Format: Q dhe K janë n × d_k, V është n × d_v, tabela e rezultateve është n × n dhe dalja është n × d_v. Për shkak të tabelës n × n, kostoja e attention-it rritet me katrorin e gjatësisë së sekuencës, prandaj kontekstet e gjata janë të shtrenjta.
Thjeshtim: numrat në këtë shembull janë të vegjël dhe të shpikur që të mund t'i ndjekësh me dorë. GPT-2 small, për shembull, përdor d_k = 64 për kokë.