Konceptet kryesore të interpretueshmërisë mekanistike

Interpretueshmëria mekanistike është një fushë kërkimore që përpiqet ta "çmontojë" një rrjetë nervore në algoritme të kuptueshme për njeriun: të gjejë çfarë përfaqësojnë pjesët e brendshme të saj (veçoritë, ang. features) dhe si bashkohen ato në llogaritje (qarqet, ang. circuits), dhe t'i provojë këto shpjegime me eksperimente shkakësore mbi modelin.

Rrjedha reziduale

Rrjedha reziduale është rruga që merr informacioni i një token-i nëpër transformer. Në çdo pozicion ka një vektor. Ai nis si embedding i token-it, plus informacioni i pozicionit. Çdo kokë vëmendjeje dhe çdo shtresë MLP e lexon atë vektor dhe i shton një përditësim, në vend që ta zëvendësojë. Informacioni i hershëm mbetet, përveçse kur një shtresë e mëvonshme shton diçka që e anulon.

Kjo pamje vjen nga punimi i vitit 2021 "A Mathematical Framework for Transformer Circuits". Me të, studiuesi pyet në një shtresë të caktuar: çfarë është shkruar deri këtu, dhe cili komponent e shkroi. Logit lens është një lexim i thjeshtë i së njëjtës rrjedhë: vektori i një shtrese të ndërmjetme dekodohet sikur të ishte vektori përfundimtar, dhe shihet cilin token tregon tani.

Shënim më i thellë. Në një model real rrjedha ka qindra ose mijëra dimensione. Një komponent zakonisht shkruan vetëm në disa drejtime, ndaj dy përditësime mund ta ndajnë rrjedhën pa e fshirë njëra-tjetrën. Laboratori i rrjedhës reziduale në MEJ7 është një vizatim lodër i këtij ngjitjeje. Numrat e dimensioneve dhe të mbivendosjes aty janë hamendësime ilustruese, jo matje nga një model i trajnuar.

Kokat e vëmendjes dhe qarqet QK/OV

Një kokë vëmendjeje e lëviz informacionin mes pozicioneve të token-ave. I njëjti kuadër e ndan punën në dy. Qarku QK vendos ku shikon koka: query dhe key japin një pikë për çdo pozicion të mëparshëm, dhe softmax i kthen pikat në pesha. Qarku OV vendos çfarë kopjohet: vektori value i një pozicioni hartohet në rrjedhën reziduale, pastaj përzihet sipas atyre peshave.

Një shtresë ka shumë koka. Ato e lexojnë të njëjtën rrjedhë dhe i shkruajnë përditësimet përsëri në të. Në studime të botuara, disa koka shikojnë kryesisht tokenin e mëparshëm, disa ndihmojnë të kopjohet një model i përsëritur, dhe disa nuk kanë rol të pastër që njeriu ta lexojë. Koka nuk është një fjali e ruajtur. Është një llogaritje e vogël lineare plus një shumë e peshuar.

Shënim më i thellë. Harta e vëmendjes dhe laboratori i përzierjes së vlerave në MEJ7 e tregojnë formën e kësaj ideje me një funksion pikëzimi lodër dhe tre shigjeta të fiksuara. Ato nuk janë matricat QK ose OV të një modeli të trajnuar. Në një model real ato matrica mësohen, dhe çfarë kopjon një kokë duhet matur, jo hamendësuar nga vizatimi.

Shtresat MLP

Shtresa MLP, e quajtur edhe rrjeta feed-forward, punon në një pozicion token-i. Nuk i sheh pozicionet e tjera. E lexon rrjedhën reziduale në atë pozicion, e zgjeron vektorin nëpër një shtresë të fshehur më të gjerë me një aktivizim jolinear, pastaj shkruan një përditësim më të vogël. Vëmendja është ajo që e lëviz informacionin përgjatë fjalisë. MLP është ajo që e transformon në vend.

Një lexim i përdorur gjerësisht, nga Geva et al. (2021), i sheh këto shtresa si memorie çelës-vlerë: matrica e parë mund të dallojë një model, dhe e dyta mund të shtojë drejtimin e lidhur në rrjedhë. Kjo është pamje e dobishme, jo provë që çdo neuron ruan një fakt. Puna e mëvonshme shpesh i gjen asociacionet të shpërndara në shumë drejtime.

Shënim më i thellë. MEJ7 nuk e hap një MLP reale. Laboratori i rrjetës nervore në nivelin mesatar tregon një rrjetë të vogël feed-forward me pesha mësimore. Një mjet kërkimor si transcoder përpiqet ta rishkruajë një MLP si një bashkësi të rrallë veçorish më të interpretueshme. Ky është përafrim, dhe nuk e rindërton shtresën në mënyrë të përsosur.

Veçoritë

Një veçori, në këtë fushë, është një drejtim në hapësirën e aktivizimeve që përputhet me diçka që njeriu mund ta emërtojë: një koncept, një gjuhë, një model kodi, një emër entiteti, ose një veti më abstrakte. Nuk është automatikisht një neuron. Një drejtim mund të jetë kombinim i shumë neuroneve, dhe një neuron mund të marrë pjesë në shumë drejtime.

Studiuesit i kërkojnë veçoritë duke lexuar aktivizimet, duke trajnuar sonda të vogla, dhe duke i zbërthyer aktivizimet me autoenkoderë të rrallë. Një sondë mund të tregojë që informacioni është i pranishëm. Nuk tregon, vetvetiu, që modeli e përdor atë informacion për përgjigjen. Testi shkakësor, si patching ose steering, është ai që kontrollon përdorimin.

Shënim më i thellë. Punimet e botuara kanë raportuar veçori për koncepte të caktuara dhe për modele të nivelit të ulët. Lista nuk është katalog i gjithçkaje që di një model. Veçoritë ndahen edhe në të tjera më të imta kur fjalori rritet, ndaj një veçori e gjetur në një madhësi fjalori nuk është objekt përfundimtar.

Superpozicioni

Superpozicioni është ideja që një model ruan më shumë veçori sesa ka dimensione, duke i lënë ato veçori të mbivendosen. Nëse modeli rrallë i do dy veçori njëherësh, mund t'i vendosë në dimensione të përbashkëta dhe prapë ta rikthejë secilën mjaft shpesh. Toy Models of Superposition (Elhage et al., 2022) e studion këtë në rrjeta të vogla, ku gjeometria mund të vizatohet vërtet.

Pasoja praktike është që një neuron i vetëm bëhet njësi e dobët shpjegimi. Ai përgjigjet për një përzierje. Tekstet që e aktivizojnë më shumë tregojnë disa tema të palidhura, dhe asnjëra nuk është e gjithë historia. Një drejtim i rrallë përgjatë shumë neuroneve mund të jetë më i pastër se vetë neuroni.

Shënim më i thellë. Superpozicioni është një shpjegim pse interpretimi është i vështirë, i mbështetur te modelet lodër dhe te suksesi i zbërthimeve të rralla. Nuk është matje që çdo model prodhimi e përdor të njëjtin paketim. Unaza e embeddings në MEJ7 është vizatim 3D i idesë "gjërat e ngjashme qëndrojnë më afër", jo hartë e veçorive të mbivendosura brenda një modeli real.

Polisemantikia

Polisemantikia do të thotë që një neuron përgjigjet për disa gjëra që nuk janë i njëjti koncept. Një neuron mund të aktivizohet për një fjalë të caktuar, për një copë kodi, dhe për një temë të palidhur, sepse superpozicioni i ka palosur ato veçori mbi të njëjtën njësi. Fjala e kundërt, monosemantikia, përshkruan një njësi që përputhet me një koncept të pastër.

Prandaj renditja e neuroneve sipas aktivizimeve më të larta shpesh duket e zhurmshme. Neuroni është real, dhe aktivizimet janë reale, por neuroni është prerja e gabuar e hapësirës. Autoenkoderët e rrallë janë një përpjekje për ta prerë hapësirën sipas drejtimeve që aktivizohen rrallë dhe, më shpesh, nënkuptojnë një gjë.

Shënim më i thellë. Një neuron që duket monosemantik në një dataset të vogël mund të jetë prapë polisemantik në një më të gjerë. Edhe një veçori e rrallë që duket e pastër mund të gabojë për atë që përdor modeli. Besnikëria, pra nëse shpjegimi përputhet me llogaritjen, duhet testuar. Nuk ka ende një pikë të vetme të rënë dakord për këtë.

Qarqet

Një qark është një nënrrjetë e modelit që kryen një llogaritje të identifikueshme. Copat zakonisht janë koka vëmendjeje dhe shtresa MLP, të lidhura nëpër rrjedhën reziduale. Pretendimi nuk është "këto pjesë janë pranë njëra-tjetrës". Pretendimi është "kjo bashkësi e vogël mjafton për këtë sjellje, dhe heqja e saj e prish atë sjellje".

Shembulli klasik i dokumentuar është identifikimi i objektit jo të drejtpërdrejtë në GPT-2 small (Wang et al., 2022): një grup kokash që e plotëson "When Mary and John went to the store, John gave a drink to ___" me "Mary". Induction heads janë një qark tjetër, një çift që vazhdon një model të përsëritur. Të dyja u studiuan me ablation dhe me activation patching, jo vetëm duke parë një diagram.

Shënim më i thellë. Shumica e qarqeve të gjurmuara plotësisht janë në modele të vogla ose në detyra të ngushta. Një qark që shpjegon një familje promptesh mund të dështojë te një familje e afërt. Kërkimi i automatizuar, si ACDC (Conmy et al., 2023), ndihmon të gjenden kandidatë. Nuk e zëvendëson kontrollin që historia është e besueshme.

Induction heads

Një induction head është një model vëmendjeje që plotëson një përsëritje. Nëse konteksti përmban "A B" dhe më vonë një "A", koka ndihmon të parashikohet "B". Në përshkrimin e botuar, këtë e bën një çift kokash: njëra shënon që një token është shfaqur më parë, dhe një kokë e mëvonshme kopjon atë që ka ardhur pas tij. Modeli shkruhet "A B ... A → B".

Olsson et al. (2022) raportojnë që këto koka shfaqen mjaft papritur gjatë trajnimit dhe që lidhen me in-context learning, aftësinë për të përdorur një model të treguar brenda prompt-it aktual. Kjo është provë nga modelet që ata studiuan. Nuk është pretendim që çdo aftësi në kontekst, në çdo model, është vetëm induction.

Shënim më i thellë. Një induction head nuk shihet te laboratori lodër i vëmendjes në MEJ7. Ai laborator i pikëzon tokenët me një rregull të fiksuar mësimor, ndaj qelizat e ndriçuara nuk janë një qark i mësuar "kopjo vazhdimin e mëparshëm". Për ta studiuar gjënë reale, njerëzit ngarkojnë një model të vogël në TransformerLens dhe kërkojnë modelin previous-token dhe copy mbi tekst të përsëritur.

Autoenkoderët e rrallë

Një autoenkoder i rrallë, ose SAE, është një rrjetë e vogël shtesë e trajnuar mbi aktivizimet e një modeli. Ai përpiqet ta rindërtojë çdo aktivizim si shumë të pak drejtimeve nga një fjalor i madh. Dënimi i rrallësisë i shtyn shumicën e hyrjeve të fjalorit të qëndrojnë të fikura, ndaj ato që ndizen janë kandidatë për veçori. Kjo është dictionary learning e aplikuar te rrjedha reziduale ose te një MLP.

Bricken et al. (2023) treguan veçori të interpretueshme në një transformer të vogël. Punime të mëvonshme e aplikuan të njëjtën ide në shkallë më të madhe, përfshirë Claude 3 Sonnet (Templeton et al., 2024) dhe koleksionin e hapur Gemma Scope (Lieberum et al., 2024). Punë e pavarur, përfshirë Cunningham et al. (2023) dhe Gao et al. (2024), studion si të trajnohen dhe të maten këta fjalorë.

Shënim më i thellë. Një SAE nuk i rindërton aktivizimet në mënyrë të përsosur, dhe veçoritë ndryshojnë me madhësinë e fjalorit, me rregullimin e rrallësisë dhe me të dhënat e trajnimit. Një panel i bukur veçorish nuk është ende provë që modeli e përdor atë veçori. Patching, ablation ose steering prapë duhen. MEJ7 nuk ekzekuton një SAE. Neuronpedia është një vend publik ku veçoritë e trajnuara mund të shfletohen.

Activation patching

Activation patching, i quajtur edhe gjurmim shkakësor në disa punime, teston cila vlerë e brendshme ka vërtet rëndësi. Modeli ekzekutohet me dy hyrje, një të pastër dhe një të prishur. Pastaj një aktivizim, te një komponent dhe një pozicion, kopjohet nga ekzekutimi i pastër te ai i prishur, dhe matet sa kthehet dalja. Nëse përgjigjja kthehet, ai aktivizim mbante diçka që modeli e përdori.

Metoda është më e fortë se një sondë, sepse e ndryshon llogaritjen dhe e sheh rezultatin. Është edhe e lehtë të lexohet tepër. Një komponent mund të dalë lart sepse mban një kopje informacioni që e mban edhe një komponent tjetër, ose sepse prishja ishte e ngushtë. Patching zakonisht përsëritet nëpër pozicione dhe shtresa, pastaj kontrollohet me një ablation.

Shënim më i thellë. Meng et al. (2022) e përdorën gjurmimin shkakësor për të gjetur ku përdoren disa asociacione faktesh, dhe pastaj i redaktuan. Ai rezultat vlen për modelet dhe faktet që ata testuan. Nuk do të thotë që çdo fakt rri në një qelizë të redaktueshme. Asnjë laborator i MEJ7 nuk bën patching. Nuk ka një ekzekutim të dytë nga i cili të kopjohet.

Logit lens

Logit lens e lexon një vektor të ndërmjetëm të rrjedhës reziduale me unembedding-un e vetë modelit, matricën që e kthen vektorin përfundimtar në një pikë për çdo token. Pyetja është: po të përgjigjej modeli nga kjo shtresë, cili token do të ishte në krye? Është një pamje e lirë se si formohet parashikimi, dhe nuk kërkon sondë të trajnuar shtesë.

Shtresat e hershme shpesh janë të paqarta, dhe të mëvonshmet mprehen. Ndonjëherë një token bëhet i mundshëm në mes të rrjetës dhe pastaj rishikohet. Kjo është një shenjë se kur mbërriti informacioni, jo një qark i plotë. Lente mund të mashtrojë, sepse unembedding është trajnuar të lexojë vektorin përfundimtar, jo çdo vektor të ndërmjetëm. Një variant i rregulluar, tuned lens, ekziston për këtë arsye. MEJ7 nuk e përfshin.

Shënim më i thellë. Përdore lenten si vështrim të parë, pastaj kontrollo me patching. Një token që duket i mundshëm në shtresën 6 mund të injorohet nga rruga reale që prodhon përgjigjen përfundimtare. Animacioni i rrjedhës në MEJ7 tregon një vektor lodër që ngjitet nëpër shtresa. Nuk e dekodon atë vektor në fjalorin e një modeli real.

Steering

Steering shton ose zbret një drejtim në aktivizime ndërsa modeli punon, pastaj sheh nëse ndryshon sjellja. Nëse një drejtim supozohet të nënkuptojë "kjo është një refuzim" ose "kjo është një temë e caktuar", shtimi i tij duhet ta shtyjë tekstin në atë anë, dhe zbritja në anën tjetër. Është test shkakësor i një veçorie, jo vetëm përshkrim i saj.

Drejtimi mund të vijë nga një sondë, nga diferenca mes dy grupeve promptesh, ose nga një veçori e autoenkoderit të rrallë. Representation engineering (Zou et al., 2023) është një version i afërt nga lart-poshtë i së njëjtës ide: gjej një drejtim për një koncept dhe përdore për ta lexuar ose për ta drejtuar. Suksesi te një prompt demonstrues nuk është sukses te çdo prompt.

Shënim më i thellë. Steering mund të ndryshojë stilin, temën ose një sjellje të matur dhe prapë ta lërë pjesën tjetër të qarkut të paprekur. Një steering i dështuar nuk do të thotë gjithmonë që drejtimi s'ka kuptim. Shkalla mund të jetë e gabuar, ose drejtimi mund të ketë rëndësi vetëm në një shtresë. Rrëshqitësit e MEJ7 i ndryshojnë pikët lodër. Nuk i shtojnë një drejtim të mësuar një modeli gjuhësor.

Grokking

Grokking është një surprizë e trajnimit. Një rrjetë e vogël së pari e memorizon bashkësinë e trajnimit, duket keq te shembujt e rinj për një kohë të gjatë, dhe pastaj, shumë më vonë, përgjithëson. Peshët vazhdojnë të ndryshojnë edhe pasi humbja e trajnimit është ulur. Nanda et al. (2023) studiuan një rast të pastër: një transformer të vogël të trajnuar për mbledhje modulare. Ata e çmontuan zgjidhjen e vonë në një algoritëm që përdor veçori Fourier, shuma valësh, jo një tabelë kërkimi.

Punimi ka rëndësi sepse algoritmi mund të thuhet dhe pastaj të kontrollohet. Është edhe i ngushtë. Nuk thotë që një model gjuhësor "e grok-on gjuhën" sipas një kalendari, dhe nuk jep një datë kur një model i madh do ta kuptojë papritur një detyrë. Kërcimet e papritura gjatë trajnimit janë vëzhgim më vete. Induction heads janë një shembull i raportuar i një aftësie që shfaqet mprehtë.

Shënim më i thellë. Nëse e përsërit eksperimentin e mbledhjes modulare, përdor rregullimin e botuar dhe prit të kalosh kohë reale në analizë, jo një pasdite me një rrëshqitës lodër. MEJ7 nuk ka animacion grokking, sepse një i ndershëm do të duhej ta trajnonte rrjetën e vogël dhe ta tregonte ndryshimin e fazës, jo një kurbë të vizatuar.

Autor: mej7.com, projekt edukativ i pavarur. Rishikuar së fundmi: 6 nëntor 2026.