Multi-Head Attention
Disa "koka" vëmendjeje njëkohësisht
Modeli ekzekuton disa mekanizma attention paralelisht ("koka"), secili mund të mësojë modele të ndryshme.
Koka të ndryshme mund të mësojnë modele të ndryshme — shembujt këtu janë interpretime të thjeshtuara për vizualizim, jo role fikse të vërtetuara në çdo model.
Në detaje
Në vend të një operacioni të vetëm attention, një shtresë transformer ekzekuton disa paralelisht, të quajtura koka (heads). Çdo kokë ka matricat e veta W_Q, W_K dhe W_V, që i projektojnë vektorët në një madhësi më të vogël (zakonisht d_model pjesëtuar me numrin e kokave; në GPT-2 small, 12 koka × 64 = 768). Daljet e të gjitha kokave bashkohen dhe përzihen nga një matricë dalëse W_O, dhe rezultati i shtohet rrjedhës rezidiale (seksioni 13).
Pse disa koka? Çdo kokë mund të mësojë të shikojë pozicione të ndryshme me një model të ndryshëm. Kërkimet kanë gjetur koka që shikojnë kryesisht tokenin e mëparshëm, koka që e ndihmojnë modelin të kopjojë modele të përsëritura (induction heads), dhe koka që duket se ndjekin marrëdhënie sintaksore. Por jo çdo kokë ka rol të pastër e të lexueshëm nga njeriu, shumë duken të tepërta, dhe ajo që bën një kokë mund të ndryshojë mes modeleve.
Thjeshtim: rolet e treguara në vizualizim janë shembuj për intuitë, jo role të fiksuara të provuara për çdo model.