Shiko brenda attention, values, dhe rrjedhës residuale

Çfarë është Mechanistic Interpretability (interpretueshmëria mekanistike)?

Interpretueshmëria mekanistike është një fushë kërkimore që përpiqet ta "çmontojë" një rrjetë nervore në algoritme të kuptueshme për njeriun: të gjejë çfarë përfaqësojnë pjesët e brendshme të saj (veçoritë, ang. features) dhe si bashkohen ato në llogaritje (qarqet, ang. circuits), dhe t'i provojë këto shpjegime me eksperimente shkakësore mbi modelin.

Interpretueshmëria mekanistike (shpesh e shkurtuar "mech interp") është një degë e kërkimit në AI që përpiqet të kuptojë si e prodhon një rrjetë nervore rezultatin, duke studiuar pjesët e saj të brendshme, jo vetëm hyrjen dhe daljen. Qëllimi është ambicioz: marrim një model të trajnuar, që është një koleksion gjigant numrash, dhe e kthejmë në një shpjegim që një njeri mund ta lexojë, p.sh. "ky grup komponentësh zbulon shfaqjen e mëparshme të një fjale dhe kopjon atë që ka ardhur pas saj."

Pse ekziston

Modelet e sotme gjuhësore trajnohen, nuk programohen. Askush nuk shkruan rregullat që ndjekin. Zgjedhim një arkitekturë, i japim të dhëna dhe një objektiv, dhe trajnimi rregullon miliarda numra derisa modeli punon. Rezultati bën gjëra mbresëlënëse, por askush nuk mund ta hapë dhe të lexojë si e bën. Interpretueshmëria mekanistike përpiqet ta ndryshojë këtë. Motivimi është pjesërisht kuriozitet shkencor (cilët algoritme i zbulon gradient descent?) dhe pjesërisht siguri: nëse shohim çfarë llogarit vërtet një model, mund të zbulojmë mashtrim, paragjykim, aftësi të rrezikshme ose thjesht gabime, para se të bëjnë dëm.

Me çfarë merret

Studiuesit pyesin në disa nivele:

• Veçoritë (features): çfarë përfaqëson një drejtim ose një njësi brenda modelit? Punimet e publikuara raportojnë veçori për koncepte specifike, gjuhë, modele kodi ose emra entitetesh.
• Qarqet (circuits): cilat komponentë lidhen për të formuar një llogaritje? Një qark është një nënrrjetë e modelit, e ndërtuar nga koka vëmendjeje (attention heads) dhe shtresa MLP, që kryen një detyrë të identifikueshme.
• Algoritmet: a mund ta përshkruajmë gjithë llogaritjen si procedurë, si p.sh. mbledhja modulare me identitete trigonometrike, që studiuesit e gjetën në rrjeta të vogla të trajnuara për aritmetikë?
• Dinamika e trajnimit: si formohen këto qarqe gjatë të mësuarit, dhe pse aftësitë ndonjëherë shfaqen papritur?

Si e bëjnë (metodat kryesore)

1. Leximi i aktivizimeve të brendshme. Regjistrohet çfarë ndodh brenda modelit për një hyrje. Mjete të thjeshta si logit lens tregojnë çfarë "do të parashikonte" modeli në shtresa të ndërmjetme.
2. Probing. Trajnohet një klasifikues i vogël mbi aktivizimet për të testuar nëse një informacion është i pranishëm. Probing tregon korrelacion, jo se modeli e përdor.
3. Ablation. Hiqet ose zerohet një komponent dhe matet çfarë prishet. Kështu testohet nëse ka rëndësi.
4. Activation patching (gjurmim shkakësor). Modeli ekzekutohet me dy hyrje, një aktivizim i brendshëm kopjohet nga njëra në tjetrën dhe shihet si ndryshon dalja. Kjo tregon cilët komponentë mbartin informacion shkakësisht të rëndësishëm.
5. Autoenkoderët e rrallë (SAE) dhe dictionary learning. Meqë neuronet e vetme shpesh përgjigjen për shumë gjëra të palidhura (polisemantikë), studiuesit trajnojnë një rrjetë ndihmëse që gjen një bashkësi më të madhe drejtimesh më të interpretueshme, të quajtura veçori.
6. Gjurmimi i qarqeve dhe atribuimi. Ndiqet si veçoritë ndikojnë njëra-tjetrën shtresë pas shtrese për të prodhuar një përgjigje për një prompt të caktuar.
7. Steering (drejtimi). Shtohet ose zbritet një drejtim në aktivizimet e modelit për të ndryshuar sjelljen, që teston nëse drejtimi bën vërtet atë që pretendohet.

Pamja që përdorin studiuesit për transformer

Shumica e punës e shikon transformerin përmes rrjedhës reziduale (residual stream): një vektor që rritet për çdo pozicion token-i, nga i cili çdo shtresë lexon dhe në të cilin shkruan. Kokat e vëmendjes lëvizin informacion mes pozicioneve. Shtresat MLP përpunojnë informacionin në një pozicion. Çdo kokë vëmendjeje mund të ndahet në pjesën "ku të shikojë" (qarku QK) dhe pjesën "çfarë të kopjojë" (qarku OV). Kjo pamje vjen nga punimi i vitit 2021 "A Mathematical Framework for Transformer Circuits" dhe është themeli i shumicës së punëve të mëvonshme.

Gjetje të famshme (të thjeshtuara)

• Induction heads: një çift kokash vëmendjeje që e lejon modelin të vazhdojë modele si "A B ... A → B". Shfaqen papritur gjatë trajnimit dhe lidhen me in-context learning.
• Qarku i identifikimit të objektit jo të drejtpërdrejtë në GPT-2 small: një qark i dokumentuar kokash vëmendjeje që e lejon modelin ta plotësojë "When Mary and John went to the store, John gave a drink to ___" me "Mary".
• Grokking dhe mbledhja modulare: rrjeta të vogla të trajnuara për aritmetikë u çmontuan në një algoritëm të bazuar në veçori Fourier.
• Superpozicioni: modelet duket se ruajnë më shumë veçori sesa dimensione, duke i mbivendosur, që është një arsye pse neuronet janë të vështira për t'u interpretuar.
• Veçori në shkallë të madhe: autoenkoderët e rrallë u aplikuan në modele gjuhësore të shkallës së prodhimit, duke nxjerrë miliona veçori, dhe grafet e atribuimit u përdorën për të studiuar arsyetim shumëhapësh brenda një modeli.

Çfarë nuk mund ta bëjë ende (kufijtë)

• Shpjegimet mund të jenë të pjesshme, dhe një shpjegim që tingëllon i saktë mund të mos jetë besnik ndaj asaj që bën vërtet modeli.
• SAE-të nuk rindërtojnë aktivizimet në mënyrë perfekte, dhe veçoritë që gjejnë varen nga zgjedhjet e trajnimit.
• Shumica e analizave të hollësishme të qarqeve janë në modele të vogla ose detyra të ngushta. Shkallëzimi te modelet më të mëdha është problem i hapur.
• Nuk ka ende konsensus se si matet nëse një interpretim është i saktë.
• Fusha është e re, dhe disa përfundime të hershme janë rishikuar.

Si përshtatet MEJ7

Laboratorët e mechanistic interpretability në MEJ7 janë modele lodër (toy) të ndërtuara për intuitë: hartat e vëmendjes, përzierja e vlerave, rrjedha reziduale dhe embeddings 3D që sheh këtu janë ilustruese, jo pesha reale modelesh. Për interpretueshmëri mekanistike të vërtetë, përdor mjetet dhe kurset te faqet Rruga e të mësuarit dhe Mjetet.

Konceptet kyçe

Rrjedha reziduale

Rrjedha reziduale është rruga që merr informacioni i një token-i nëpër transformer. Në çdo pozicion ka një vektor. Ai nis si embedding i token-it, plus informacioni i pozicionit. Çdo kokë vëmendjeje dhe çdo shtresë MLP e lexon atë vektor dhe i shton një përditësim, në vend që ta zëvendësojë. Informacioni i hershëm mbetet, përveçse kur një shtresë e mëvonshme shton diçka që e anulon.

Kjo pamje vjen nga punimi i vitit 2021 "A Mathematical Framework for Transformer Circuits". Me të, studiuesi pyet në një shtresë të caktuar: çfarë është shkruar deri këtu, dhe cili komponent e shkroi. Logit lens është një lexim i thjeshtë i së njëjtës rrjedhë: vektori i një shtrese të ndërmjetme dekodohet sikur të ishte vektori përfundimtar, dhe shihet cilin token tregon tani.

Shënim më i thellë. Në një model real rrjedha ka qindra ose mijëra dimensione. Një komponent zakonisht shkruan vetëm në disa drejtime, ndaj dy përditësime mund ta ndajnë rrjedhën pa e fshirë njëra-tjetrën. Laboratori i rrjedhës reziduale në MEJ7 është një vizatim lodër i këtij ngjitjeje. Numrat e dimensioneve dhe të mbivendosjes aty janë hamendësime ilustruese, jo matje nga një model i trajnuar.

Kokat e vëmendjes dhe qarqet QK/OV

Një kokë vëmendjeje e lëviz informacionin mes pozicioneve të token-ave. I njëjti kuadër e ndan punën në dy. Qarku QK vendos ku shikon koka: query dhe key japin një pikë për çdo pozicion të mëparshëm, dhe softmax i kthen pikat në pesha. Qarku OV vendos çfarë kopjohet: vektori value i një pozicioni hartohet në rrjedhën reziduale, pastaj përzihet sipas atyre peshave.

Një shtresë ka shumë koka. Ato e lexojnë të njëjtën rrjedhë dhe i shkruajnë përditësimet përsëri në të. Në studime të botuara, disa koka shikojnë kryesisht tokenin e mëparshëm, disa ndihmojnë të kopjohet një model i përsëritur, dhe disa nuk kanë rol të pastër që njeriu ta lexojë. Koka nuk është një fjali e ruajtur. Është një llogaritje e vogël lineare plus një shumë e peshuar.

Shënim më i thellë. Harta e vëmendjes dhe laboratori i përzierjes së vlerave në MEJ7 e tregojnë formën e kësaj ideje me një funksion pikëzimi lodër dhe tre shigjeta të fiksuara. Ato nuk janë matricat QK ose OV të një modeli të trajnuar. Në një model real ato matrica mësohen, dhe çfarë kopjon një kokë duhet matur, jo hamendësuar nga vizatimi.

Shtresat MLP

Shtresa MLP, e quajtur edhe rrjeta feed-forward, punon në një pozicion token-i. Nuk i sheh pozicionet e tjera. E lexon rrjedhën reziduale në atë pozicion, e zgjeron vektorin nëpër një shtresë të fshehur më të gjerë me një aktivizim jolinear, pastaj shkruan një përditësim më të vogël. Vëmendja është ajo që e lëviz informacionin përgjatë fjalisë. MLP është ajo që e transformon në vend.

Një lexim i përdorur gjerësisht, nga Geva et al. (2021), i sheh këto shtresa si memorie çelës-vlerë: matrica e parë mund të dallojë një model, dhe e dyta mund të shtojë drejtimin e lidhur në rrjedhë. Kjo është pamje e dobishme, jo provë që çdo neuron ruan një fakt. Puna e mëvonshme shpesh i gjen asociacionet të shpërndara në shumë drejtime.

Shënim më i thellë. MEJ7 nuk e hap një MLP reale. Laboratori i rrjetës nervore në nivelin mesatar tregon një rrjetë të vogël feed-forward me pesha mësimore. Një mjet kërkimor si transcoder përpiqet ta rishkruajë një MLP si një bashkësi të rrallë veçorish më të interpretueshme. Ky është përafrim, dhe nuk e rindërton shtresën në mënyrë të përsosur.

Veçoritë

Një veçori, në këtë fushë, është një drejtim në hapësirën e aktivizimeve që përputhet me diçka që njeriu mund ta emërtojë: një koncept, një gjuhë, një model kodi, një emër entiteti, ose një veti më abstrakte. Nuk është automatikisht një neuron. Një drejtim mund të jetë kombinim i shumë neuroneve, dhe një neuron mund të marrë pjesë në shumë drejtime.

Studiuesit i kërkojnë veçoritë duke lexuar aktivizimet, duke trajnuar sonda të vogla, dhe duke i zbërthyer aktivizimet me autoenkoderë të rrallë. Një sondë mund të tregojë që informacioni është i pranishëm. Nuk tregon, vetvetiu, që modeli e përdor atë informacion për përgjigjen. Testi shkakësor, si patching ose steering, është ai që kontrollon përdorimin.

Shënim më i thellë. Punimet e botuara kanë raportuar veçori për koncepte të caktuara dhe për modele të nivelit të ulët. Lista nuk është katalog i gjithçkaje që di një model. Veçoritë ndahen edhe në të tjera më të imta kur fjalori rritet, ndaj një veçori e gjetur në një madhësi fjalori nuk është objekt përfundimtar.

Superpozicioni

Superpozicioni është ideja që një model ruan më shumë veçori sesa ka dimensione, duke i lënë ato veçori të mbivendosen. Nëse modeli rrallë i do dy veçori njëherësh, mund t'i vendosë në dimensione të përbashkëta dhe prapë ta rikthejë secilën mjaft shpesh. Toy Models of Superposition (Elhage et al., 2022) e studion këtë në rrjeta të vogla, ku gjeometria mund të vizatohet vërtet.

Pasoja praktike është që një neuron i vetëm bëhet njësi e dobët shpjegimi. Ai përgjigjet për një përzierje. Tekstet që e aktivizojnë më shumë tregojnë disa tema të palidhura, dhe asnjëra nuk është e gjithë historia. Një drejtim i rrallë përgjatë shumë neuroneve mund të jetë më i pastër se vetë neuroni.

Shënim më i thellë. Superpozicioni është një shpjegim pse interpretimi është i vështirë, i mbështetur te modelet lodër dhe te suksesi i zbërthimeve të rralla. Nuk është matje që çdo model prodhimi e përdor të njëjtin paketim. Unaza e embeddings në MEJ7 është vizatim 3D i idesë "gjërat e ngjashme qëndrojnë më afër", jo hartë e veçorive të mbivendosura brenda një modeli real.

Polisemantikia

Polisemantikia do të thotë që një neuron përgjigjet për disa gjëra që nuk janë i njëjti koncept. Një neuron mund të aktivizohet për një fjalë të caktuar, për një copë kodi, dhe për një temë të palidhur, sepse superpozicioni i ka palosur ato veçori mbi të njëjtën njësi. Fjala e kundërt, monosemantikia, përshkruan një njësi që përputhet me një koncept të pastër.

Prandaj renditja e neuroneve sipas aktivizimeve më të larta shpesh duket e zhurmshme. Neuroni është real, dhe aktivizimet janë reale, por neuroni është prerja e gabuar e hapësirës. Autoenkoderët e rrallë janë një përpjekje për ta prerë hapësirën sipas drejtimeve që aktivizohen rrallë dhe, më shpesh, nënkuptojnë një gjë.

Shënim më i thellë. Një neuron që duket monosemantik në një dataset të vogël mund të jetë prapë polisemantik në një më të gjerë. Edhe një veçori e rrallë që duket e pastër mund të gabojë për atë që përdor modeli. Besnikëria, pra nëse shpjegimi përputhet me llogaritjen, duhet testuar. Nuk ka ende një pikë të vetme të rënë dakord për këtë.

Qarqet

Një qark është një nënrrjetë e modelit që kryen një llogaritje të identifikueshme. Copat zakonisht janë koka vëmendjeje dhe shtresa MLP, të lidhura nëpër rrjedhën reziduale. Pretendimi nuk është "këto pjesë janë pranë njëra-tjetrës". Pretendimi është "kjo bashkësi e vogël mjafton për këtë sjellje, dhe heqja e saj e prish atë sjellje".

Shembulli klasik i dokumentuar është identifikimi i objektit jo të drejtpërdrejtë në GPT-2 small (Wang et al., 2022): një grup kokash që e plotëson "When Mary and John went to the store, John gave a drink to ___" me "Mary". Induction heads janë një qark tjetër, një çift që vazhdon një model të përsëritur. Të dyja u studiuan me ablation dhe me activation patching, jo vetëm duke parë një diagram.

Shënim më i thellë. Shumica e qarqeve të gjurmuara plotësisht janë në modele të vogla ose në detyra të ngushta. Një qark që shpjegon një familje promptesh mund të dështojë te një familje e afërt. Kërkimi i automatizuar, si ACDC (Conmy et al., 2023), ndihmon të gjenden kandidatë. Nuk e zëvendëson kontrollin që historia është e besueshme.

Induction heads

Një induction head është një model vëmendjeje që plotëson një përsëritje. Nëse konteksti përmban "A B" dhe më vonë një "A", koka ndihmon të parashikohet "B". Në përshkrimin e botuar, këtë e bën një çift kokash: njëra shënon që një token është shfaqur më parë, dhe një kokë e mëvonshme kopjon atë që ka ardhur pas tij. Modeli shkruhet "A B ... A → B".

Olsson et al. (2022) raportojnë që këto koka shfaqen mjaft papritur gjatë trajnimit dhe që lidhen me in-context learning, aftësinë për të përdorur një model të treguar brenda prompt-it aktual. Kjo është provë nga modelet që ata studiuan. Nuk është pretendim që çdo aftësi në kontekst, në çdo model, është vetëm induction.

Shënim më i thellë. Një induction head nuk shihet te laboratori lodër i vëmendjes në MEJ7. Ai laborator i pikëzon tokenët me një rregull të fiksuar mësimor, ndaj qelizat e ndriçuara nuk janë një qark i mësuar "kopjo vazhdimin e mëparshëm". Për ta studiuar gjënë reale, njerëzit ngarkojnë një model të vogël në TransformerLens dhe kërkojnë modelin previous-token dhe copy mbi tekst të përsëritur.

Autoenkoderët e rrallë

Një autoenkoder i rrallë, ose SAE, është një rrjetë e vogël shtesë e trajnuar mbi aktivizimet e një modeli. Ai përpiqet ta rindërtojë çdo aktivizim si shumë të pak drejtimeve nga një fjalor i madh. Dënimi i rrallësisë i shtyn shumicën e hyrjeve të fjalorit të qëndrojnë të fikura, ndaj ato që ndizen janë kandidatë për veçori. Kjo është dictionary learning e aplikuar te rrjedha reziduale ose te një MLP.

Bricken et al. (2023) treguan veçori të interpretueshme në një transformer të vogël. Punime të mëvonshme e aplikuan të njëjtën ide në shkallë më të madhe, përfshirë Claude 3 Sonnet (Templeton et al., 2024) dhe koleksionin e hapur Gemma Scope (Lieberum et al., 2024). Punë e pavarur, përfshirë Cunningham et al. (2023) dhe Gao et al. (2024), studion si të trajnohen dhe të maten këta fjalorë.

Shënim më i thellë. Një SAE nuk i rindërton aktivizimet në mënyrë të përsosur, dhe veçoritë ndryshojnë me madhësinë e fjalorit, me rregullimin e rrallësisë dhe me të dhënat e trajnimit. Një panel i bukur veçorish nuk është ende provë që modeli e përdor atë veçori. Patching, ablation ose steering prapë duhen. MEJ7 nuk ekzekuton një SAE. Neuronpedia është një vend publik ku veçoritë e trajnuara mund të shfletohen.

Activation patching

Activation patching, i quajtur edhe gjurmim shkakësor në disa punime, teston cila vlerë e brendshme ka vërtet rëndësi. Modeli ekzekutohet me dy hyrje, një të pastër dhe një të prishur. Pastaj një aktivizim, te një komponent dhe një pozicion, kopjohet nga ekzekutimi i pastër te ai i prishur, dhe matet sa kthehet dalja. Nëse përgjigjja kthehet, ai aktivizim mbante diçka që modeli e përdori.

Metoda është më e fortë se një sondë, sepse e ndryshon llogaritjen dhe e sheh rezultatin. Është edhe e lehtë të lexohet tepër. Një komponent mund të dalë lart sepse mban një kopje informacioni që e mban edhe një komponent tjetër, ose sepse prishja ishte e ngushtë. Patching zakonisht përsëritet nëpër pozicione dhe shtresa, pastaj kontrollohet me një ablation.

Shënim më i thellë. Meng et al. (2022) e përdorën gjurmimin shkakësor për të gjetur ku përdoren disa asociacione faktesh, dhe pastaj i redaktuan. Ai rezultat vlen për modelet dhe faktet që ata testuan. Nuk do të thotë që çdo fakt rri në një qelizë të redaktueshme. Asnjë laborator i MEJ7 nuk bën patching. Nuk ka një ekzekutim të dytë nga i cili të kopjohet.

Logit lens

Logit lens e lexon një vektor të ndërmjetëm të rrjedhës reziduale me unembedding-un e vetë modelit, matricën që e kthen vektorin përfundimtar në një pikë për çdo token. Pyetja është: po të përgjigjej modeli nga kjo shtresë, cili token do të ishte në krye? Është një pamje e lirë se si formohet parashikimi, dhe nuk kërkon sondë të trajnuar shtesë.

Shtresat e hershme shpesh janë të paqarta, dhe të mëvonshmet mprehen. Ndonjëherë një token bëhet i mundshëm në mes të rrjetës dhe pastaj rishikohet. Kjo është një shenjë se kur mbërriti informacioni, jo një qark i plotë. Lente mund të mashtrojë, sepse unembedding është trajnuar të lexojë vektorin përfundimtar, jo çdo vektor të ndërmjetëm. Një variant i rregulluar, tuned lens, ekziston për këtë arsye. MEJ7 nuk e përfshin.

Shënim më i thellë. Përdore lenten si vështrim të parë, pastaj kontrollo me patching. Një token që duket i mundshëm në shtresën 6 mund të injorohet nga rruga reale që prodhon përgjigjen përfundimtare. Animacioni i rrjedhës në MEJ7 tregon një vektor lodër që ngjitet nëpër shtresa. Nuk e dekodon atë vektor në fjalorin e një modeli real.

Steering

Steering shton ose zbret një drejtim në aktivizime ndërsa modeli punon, pastaj sheh nëse ndryshon sjellja. Nëse një drejtim supozohet të nënkuptojë "kjo është një refuzim" ose "kjo është një temë e caktuar", shtimi i tij duhet ta shtyjë tekstin në atë anë, dhe zbritja në anën tjetër. Është test shkakësor i një veçorie, jo vetëm përshkrim i saj.

Drejtimi mund të vijë nga një sondë, nga diferenca mes dy grupeve promptesh, ose nga një veçori e autoenkoderit të rrallë. Representation engineering (Zou et al., 2023) është një version i afërt nga lart-poshtë i së njëjtës ide: gjej një drejtim për një koncept dhe përdore për ta lexuar ose për ta drejtuar. Suksesi te një prompt demonstrues nuk është sukses te çdo prompt.

Shënim më i thellë. Steering mund të ndryshojë stilin, temën ose një sjellje të matur dhe prapë ta lërë pjesën tjetër të qarkut të paprekur. Një steering i dështuar nuk do të thotë gjithmonë që drejtimi s'ka kuptim. Shkalla mund të jetë e gabuar, ose drejtimi mund të ketë rëndësi vetëm në një shtresë. Rrëshqitësit e MEJ7 i ndryshojnë pikët lodër. Nuk i shtojnë një drejtim të mësuar një modeli gjuhësor.

Grokking

Grokking është një surprizë e trajnimit. Një rrjetë e vogël së pari e memorizon bashkësinë e trajnimit, duket keq te shembujt e rinj për një kohë të gjatë, dhe pastaj, shumë më vonë, përgjithëson. Peshët vazhdojnë të ndryshojnë edhe pasi humbja e trajnimit është ulur. Nanda et al. (2023) studiuan një rast të pastër: një transformer të vogël të trajnuar për mbledhje modulare. Ata e çmontuan zgjidhjen e vonë në një algoritëm që përdor veçori Fourier, shuma valësh, jo një tabelë kërkimi.

Punimi ka rëndësi sepse algoritmi mund të thuhet dhe pastaj të kontrollohet. Është edhe i ngushtë. Nuk thotë që një model gjuhësor "e grok-on gjuhën" sipas një kalendari, dhe nuk jep një datë kur një model i madh do ta kuptojë papritur një detyrë. Kërcimet e papritura gjatë trajnimit janë vëzhgim më vete. Induction heads janë një shembull i raportuar i një aftësie që shfaqet mprehtë.

Shënim më i thellë. Nëse e përsërit eksperimentin e mbledhjes modulare, përdor rregullimin e botuar dhe prit të kalosh kohë reale në analizë, jo një pasdite me një rrëshqitës lodër. MEJ7 nuk ka animacion grokking, sepse një i ndershëm do të duhej ta trajnonte rrjetën e vogël dhe ta tregonte ndryshimin e fazës, jo një kurbë të vizatuar.

Letërsia e rekomanduar

Rendi i rekomanduar i leximit është zgjedhje editoriale e MEJ7, jo renditje objektive. Rishikuar së fundmi më 6 nëntor 2026.

Hapi 0: Hyrje e lehtë (lexo/shiko së pari)

1. Zoom In: An Introduction to Circuits — Olah et al., 2020. Distill. Deklarata fillestare e axhendës së qarqeve: veçori, qarqe dhe universalitet.
2. Neural Networks — 3Blue1Brown. Video series. Baza vizuale për rrjetat nervore dhe transformer.
3. A Comprehensive Mechanistic Interpretability Explainer & Glossary — Neel Nanda. neelnanda.io. Fjalor i gjatë praktik nga një prej studiuesve kryesorë.

Hapi 1: Themelet e transformer-it

4. A Mathematical Framework for Transformer Circuits — Elhage et al., 2021. Anthropic, Transformer Circuits. Prezanton pamjen e rrjedhës reziduale dhe qarqet QK/OV. Punimi më i rëndësishëm për të nisur.
5. Attention Is All You Need — Vaswani et al., 2017. NeurIPS. Punimi origjinal i transformer.
6. Let's build GPT — Andrej Karpathy. Video. Ndërto një GPT të vogël nga zero për t'i kuptuar të gjitha komponentët.

Hapi 2: Qarqet dhe mekanizmat

7. In-context Learning and Induction Heads — Olsson et al., 2022. Anthropic, Transformer Circuits. Prova që induction heads shtyjnë in-context learning.
8. Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small — Wang et al., 2022. arXiv. Analizë e plotë qarku në një model real.
9. Progress measures for grokking via mechanistic interpretability — Nanda et al., 2023. ICLR. Çmontim i algoritmit të mbledhjes modulare në një rrjetë të vogël.
10. Locating and Editing Factual Associations in GPT — Meng et al., 2022. NeurIPS. Gjurmim shkakësor se ku ruhen faktet dhe si redaktohen.
11. Transformer Feed-Forward Layers Are Key-Value Memories — Geva et al., 2021. EMNLP. E shikon shtresën MLP si memorie modelesh.
12. Towards Automated Circuit Discovery for Mechanistic Interpretability — Conmy et al., 2023. NeurIPS. Automatizimi i gjetjes së qarqeve (ACDC).

Hapi 3: Superpozicioni dhe veçoritë

13. Toy Models of Superposition — Elhage et al., 2022. Anthropic, Transformer Circuits. Pse neuronet janë polisemantikë dhe si funksionon superpozicioni në modele të vogla.
14. Towards Monosemanticity: Decomposing Language Models With Dictionary Learning — Bricken et al., 2023. Anthropic, Transformer Circuits. Autoenkoderët e rrallë gjejnë veçori të interpretueshme në një transformer të vogël.
15. Sparse Autoencoders Find Highly Interpretable Features in Language Models — Cunningham et al., 2023. arXiv. Rezultate të pavarura me SAE.
16. Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet — Templeton et al., 2024. Anthropic, Transformer Circuits. SAE të aplikuara në një model të shkallës së prodhimit.
17. Scaling and evaluating sparse autoencoders — Gao et al., 2024. OpenAI. Metoda dhe metrika për SAE të mëdha.
18. Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2 — Lieberum et al., 2024. Google DeepMind. Koleksion i hapur SAE për studiuesit.

Hapi 4: Pamje e përgjithshme dhe shkalla e madhe

19. Circuit Tracing: Revealing Computational Graphs in Language Models and On the Biology of a Large Language Model — Anthropic, 2025. Transformer Circuits. Grafe atribuimi për studimin e llogaritjeve shumëhapëshe në një model të madh.
20. Mechanistic Interpretability for AI Safety — A Review — Bereska and Gavves, 2024. arXiv. Përmbledhje e gjerë e fushës dhe lidhjes me sigurinë.
21. A Practical Review of Mechanistic Interpretability for Transformer-Based Language Models — Rai et al., 2024. arXiv. Përmbledhje e orientuar drejt praktikuesve.
22. Representation Engineering: A Top-Down Approach to AI Transparency — Zou et al., 2023. arXiv. Qasje e lidhur nga lart-poshtë (lexim dhe drejtim përfaqësimesh).
23. 200 Concrete Open Problems in Mechanistic Interpretability — Neel Nanda. Alignment Forum. Burim idesh për projekte kërkimore.

Blogje dhe vende ku lexohet

• Transformer Circuits Thread (transformer-circuits.pub): punimet e Anthropic.
• Distill (distill.pub, arkiv): artikuj vizualë.
• Alignment Forum / LessWrong: diskutime dhe postime nga studiues.
• neelnanda.io: udhëzues dhe video.

Rruga e të mësuarit

Kurset kryesore

ARENA (Alignment Research Engineer Accelerator)

arena.education. Program trajnimi teknik (fillimisht prezencial në Londër) kurrikula e plotë e të cilit është publike. Përfshin kapituj për transformer nga zero, hyrje në interpretueshmërinë mekanistike, superpozicion dhe autoenkoderë të rrallë, qarqe si identifikimi i objektit jo të drejtpërdrejtë, e më shumë, me ushtrime kodimi dhe zgjidhje. Krijuar nga Callum McDougall dhe bashkëpunëtorë. Një nga rrugët falas më të mirë të strukturuara në fushë. Kontrollo faqen për programet dhe materialet aktuale.

Kush e meriton: ata që dinë Python dhe PyTorch bazë dhe duan të kodojnë vetë.

Neel Nanda — materialet e fillimit

neelnanda.io. Udhëzues praktikë se si të fillosh, fjalor i gjatë, video me analiza punimesh dhe kodim, dhe lista problemesh të hapura. Falas.

Karpathy — "Neural Networks: Zero to Hero"

karpathy.ai/zero-to-hero, përfshirë Let's build GPT. Ndërton nga backpropagation deri te një GPT. Parakusht ideal.

3Blue1Brown — Neural Networks

3blue1brown.com/topics/neural-networks. Intuita vizuale më e mirë për fillestarët.

MATS (ML Alignment & Theory Scholars)

matsprogram.org. Program kërkimor selektiv që çiftëzon pjesëmarrësit me mentorë, përfshirë studiues të interpretueshmërisë mekanistike. Për ata gati për kërkim real. Kontrollo aplikimet aktuale.

BlueDot Impact — kurse për sigurinë e AI

bluedot.org. Kurse hyrëse për sigurinë e AI, kontekst i dobishëm pse interpretueshmëria ka rëndësi. Jo specifike për mech interp.

Rruga hap pas hapi (me kohë orientuese)

Këto janë vlerësime orientuese, jo premtime. Ritmi varet nga përvoja jote.

Mjetet

Laboratorët e MEJ7 janë lodra. Këto janë bibliotekat dhe faqet që njerëzit përdorin mbi modele reale.

Lidhjet u kontrolluan më 6 nëntor 2026. Programet lëvizin; konfirmo që një projekt mirëmbahet ende para se të mbështetesh te ai.

Fjalori

Shpjegimet më të gjata janë te konceptet kryesore. Fjalori i Neel Nanda është referenca e gjatë e fushës.

Pyetje të shpeshta

Çfarë është mech interp me fjalë të thjeshta?

Është studimi i asaj që ndodh brenda një modeli AI, duke u përpjekur të gjejë "instalimin" real të brendshëm që prodhon përgjigjet, në vend që ta trajtojë si kuti të zezë.

Si ndryshon nga AI e shpjegueshme?

Shumë metoda XAI shpjegojnë cilat hyrje patën rëndësi. Interpretueshmëria mekanistike synon të shpjegojë vetë llogaritjen e brendshme.

A duhet të di matematikë?

Të duhet algjebër lineare bazë (vektorë, matrica, prodhim pikë) dhe pak probabilitet. Matematika e avancuar ndihmon më vonë, por s'është e nevojshme për të nisur.

A duhet të programoj?

Po, puna praktike përdor Python dhe PyTorch. Konceptet mund t'i mësosh së pari me laboratorët vizualë të MEJ7.

Nga të fillojë një fillestar?

Nis me laboratorët fillestar dhe mesatar të MEJ7, pastaj videon e Karpathy për GPT, pastaj hyrjen e ARENA dhe "A Mathematical Framework for Transformer Circuits".

Cilët janë papers më të mirë?

Shih listën tonë, që nis me "A Mathematical Framework for Transformer Circuits" dhe mbulon induction heads, superpozicionin dhe autoenkoderët e rrallë.

A është laboratori real?

Jo. Është ilustrim lodër për intuitë. Analiza reale përdor biblioteka si TransformerLens mbi modele reale.

A ka perspektivë karriere?

Është fushë aktive kërkimi në laboratorë AI dhe grupe akademike, por mundësitë janë konkurruese dhe ndryshojnë shpejt. Kontrollo listat aktuale të punëve dhe programeve.

Autor: mej7.com, projekt edukativ i pavarur. Rishikuar së fundmi: 6 nëntor 2026.