Përzierja e Values
Si përzien attention vektorët V
Fjali: THE CAT SAT. Zgjidh tokenin query, lëviz skorët Q·Kᵀ, dhe shiko si peshat softmax tkurrin çdo shigjetë V pastaj i mbledhin majë-pas-bishti në një dalje.
Maska shkakësore: tokeni i sheh vetëm pozicionet ≤ i. Softmax i kthen skorët në pesha që mbledhen 1; dalja është shuma e peshuar e vektorëve V.
Model lodër për intuitë, jo pesha reale të një modeli.
Çfarë po sheh
Fjala është e fiksuar: THE CAT SAT. Zgjedh cili token është query, pastaj i tërheq tri pikë të papërpunuara. Ato pikë zënë vendin e numrave që do të kishte prodhuar një qark QK. Softmax i kthen në tri pesha që mblidhen në një, dhe shiritat i tregojnë ato pesha. Djathtas, tri shigjeta janë vektorët value. Secila shigjetë shkallëzohet me peshën e vet, shigjetat e shkallëzuara vendosen majë më majë, dhe shigjeta portokalli është shuma e tyre. Ajo shumë është dalja e kësaj koke të vetme në pozicionin e zgjedhur.
Kjo është gjysma OV e historisë, e vizatuar që përzierja të shihet. Në një kokë reale vektorët value nuk janë tri shigjeta të zgjedhura për një diagram. Ata janë rrjedha reziduale në çdo pozicion, e shumëzuar me një matricë value të mësuar dhe pastaj me një matricë dalëse të mësuar. Gjeometria është e njëjta ide: dalja është shumë e peshuar, dhe peshat erdhën nga modeli i vëmendjes.
Çfarë është thjeshtuar këtu
Nuk ka W_V apo W_O të trajnuar. Shigjetat kanë drejtime të fiksuara që figura të mbetet e lexueshme. Maska shkakësore është rregull i vërtetë në këtë faqe: një token merr peshë vetëm nga vetja dhe nga tokenët e mëparshëm, prandaj një query te THE nuk i përdor CAT apo SAT. Numrat që tërheq janë të tutë. Nuk janë provë se si ndonjë model i trajton fjalët "the", "cat" dhe "sat".
Një kokë reale e shkruan daljen përsëri në një rrjedhë reziduale shumëdimensionale, të shtuar mbi atë që ishte tashmë aty. Ky vizatim e zëvendëson atë rrjedhë me një rrafsh. Mbivendosja, anulimi, dhe fakti që koka të tjera shkruajnë njëkohësisht mungojnë. Softmax është funksioni real, dhe shënimi në faqe i mban dy faktet që vlejnë: peshat mblidhen në një, dhe dalja është shuma e peshuar e value-ve.
Si lidhet me modelet reale
Kur studiuesit thonë që një kokë "kopjon" një token, duan të thonë që qarku OV shkruan një drejtim që unembedding do ta lexojë më vonë si atë token, dhe qarku QK e drejton atë shkrim te pozicioni i duhur. Shuma majë më majë është pamja e Mathematical Framework, e ulur në dy dimensione. Për ta parë në një model, ruhen value dhe peshat e vëmendjes, pastaj kontrollohet shkakësia: bëhet patch ose ablation e kokës dhe shihet nëse tokeni i kopjuar zhduket.
Vazhdo me qarqet QK/OV dhe qarqet, dhe me A Mathematical Framework for Transformer Circuits dhe punimin e identifikimit të objektit jo të drejtpërdrejtë. Laboratori i hartës së vëmendjes në MEJ7 është gjysma tjetër e së njëjtës lodër. Asnjëra gjysmë nuk është kokë e matur.