Interpretim Mekanistik
Shiko brenda: cilave fjalë u kushton vëmendje modeli?
Transformerët realë përdorin "vëmendjen" (attention) për të vendosur, për çdo fjalë, sa duhet të shikojë çdo fjalë tjetër. Ky është një lodër e frymëzuar nga vëmendja reale. Vlerat nuk vijnë nga një model i trajnuar. Shkruaj një fjali dhe shiko cilat token ndriçojnë për njëri-tjetrin.
Rreshtat janë tokenët "query", kolonat janë tokenët "key"; qelizat më të ndritshme tregojnë peshë më të fortë vëmendjeje (softmax mbi një funksion demonstrues bazuar në përmbajtje dhe distancë). Kokat reale të vëmendjes mësohen nga të dhënat dhe shpesh specializohen — një kokë ndoshta ndjek kryefjalë-folje, tjetra pikësimin. Ky version demonstrues është për intuitë, jo strukturën e brendshme të një modeli real.
Model lodër për intuitë, jo pesha reale të një modeli.
Çfarë po sheh
Shkruan një fjali të shkurtër. Faqja e ndan në tokenë dhe vizaton një rrjetë. Çdo rresht është një token query, tokeni që "pyet". Çdo kolonë është një token key, një token që ai mund ta shikojë. Një qelizë më e ndritshme do të thotë peshë më e madhe vëmendjeje pas softmax. Peshat e një rreshti lexohen si shpërndarje: janë pozitive dhe, në një kokë reale, mblidhen në një.
Në pamjen që përdor interpretueshmëria mekanistike, kjo rrjetë është dalja e qarkut QK. Query dhe key japin një pikë, pika maskohet që tokeni të mos shohë të ardhmen, dhe softmax i kthen pikët në pesha. Rrjeta nuk e tregon gjysmën tjetër të kokës. Nuk tregon çfarë informacioni kopjohet. Ajo është qarku OV, dhe laboratori i përzierjes së vlerave është vendi në MEJ7 që e vizaton hapin e kopjimit.
Çfarë është thjeshtuar këtu
Pikët nuk janë Q dhe K nga një model i trajnuar. Vijnë nga një rregull i fiksuar mësimor që shikon përmbajtjen e tokenëve dhe sa larg janë. Asgjë në këtë faqe nuk është mësuar me gradient descent. Ka një kokë, jo shumë kokat e një shtrese reale. Nuk ka rrjedhë reziduale nën rrjetë, ndaj nuk sheh përditësimin të shtohet mbi një vektor që rritet. Shënimi nën rrjetë e thotë të njëjtën gjë më shkurt: më e ndritshme do të thotë peshë më e fortë sipas atij rregulli lodër.
Një model real vëmendjeje shpesh është i rrallë dhe çuditërisht i veçantë. Punimet kanë gjetur koka që shikojnë kryesisht tokenin e mëparshëm, koka që kopjojnë një model të përsëritur (induction heads), dhe koka pa rol të pastër që njeriu ta emërtojë. Kjo lodër nuk mund t'i zbulojë, sepse s'ka çfarë të zbulohet. Nëse e ndërron fjalinë, rrjeta ndryshon sepse rregulli riaplikohet, jo sepse një qark e njohu fjalinë.
Si lidhet me modelet reale
Studiuesit prapë nisin me një pamje si kjo. E ruajnë modelin e vëmendjes së një koke reale me një bibliotekë si TransformerLens, pastaj bëjnë një pyetje shkakësore: nëse ky model përzihet, ose nëse koka hiqet, a prishet sjellja? Modeli vetëm nuk është shpjegimi. Identifikimi i objektit jo të drejtpërdrejtë në GPT-2 small është një qark i plotë me disa koka, jo një qelizë e ndritshme. Induction është një çift kokash, jo një rresht i vetëm i rrjetës.
Lexo te konceptet kryesore për kokat e vëmendjes, induction heads dhe qarqet. Punimet që hapen pastaj janë A Mathematical Framework for Transformer Circuits dhe In-context Learning and Induction Heads, të dyja te letërsia. Kur e do të njëjtën pamje mbi një model real, përdor TransformerLens dhe, për shtresën e vizatimit, CircuitsVis. Kjo faqe është intuita që duhet ta kesh para atyre mjeteve. Nuk i zëvendëson.