Çfarë është Mechanistic Interpretability (interpretueshmëria mekanistike)?

Interpretueshmëria mekanistike është një fushë kërkimore që përpiqet ta "çmontojë" një rrjetë nervore në algoritme të kuptueshme për njeriun: të gjejë çfarë përfaqësojnë pjesët e brendshme të saj (veçoritë, ang. features) dhe si bashkohen ato në llogaritje (qarqet, ang. circuits), dhe t'i provojë këto shpjegime me eksperimente shkakësore mbi modelin.

Interpretueshmëria mekanistike (shpesh e shkurtuar "mech interp") është një degë e kërkimit në AI që përpiqet të kuptojë si e prodhon një rrjetë nervore rezultatin, duke studiuar pjesët e saj të brendshme, jo vetëm hyrjen dhe daljen. Qëllimi është ambicioz: marrim një model të trajnuar, që është një koleksion gjigant numrash, dhe e kthejmë në një shpjegim që një njeri mund ta lexojë, p.sh. "ky grup komponentësh zbulon shfaqjen e mëparshme të një fjale dhe kopjon atë që ka ardhur pas saj."

Pse ekziston

Modelet e sotme gjuhësore trajnohen, nuk programohen. Askush nuk shkruan rregullat që ndjekin. Zgjedhim një arkitekturë, i japim të dhëna dhe një objektiv, dhe trajnimi rregullon miliarda numra derisa modeli punon. Rezultati bën gjëra mbresëlënëse, por askush nuk mund ta hapë dhe të lexojë si e bën. Interpretueshmëria mekanistike përpiqet ta ndryshojë këtë. Motivimi është pjesërisht kuriozitet shkencor (cilët algoritme i zbulon gradient descent?) dhe pjesërisht siguri: nëse shohim çfarë llogarit vërtet një model, mund të zbulojmë mashtrim, paragjykim, aftësi të rrezikshme ose thjesht gabime, para se të bëjnë dëm.

Me çfarë merret

Studiuesit pyesin në disa nivele:

• Veçoritë (features): çfarë përfaqëson një drejtim ose një njësi brenda modelit? Punimet e publikuara raportojnë veçori për koncepte specifike, gjuhë, modele kodi ose emra entitetesh.
• Qarqet (circuits): cilat komponentë lidhen për të formuar një llogaritje? Një qark është një nënrrjetë e modelit, e ndërtuar nga koka vëmendjeje (attention heads) dhe shtresa MLP, që kryen një detyrë të identifikueshme.
• Algoritmet: a mund ta përshkruajmë gjithë llogaritjen si procedurë, si p.sh. mbledhja modulare me identitete trigonometrike, që studiuesit e gjetën në rrjeta të vogla të trajnuara për aritmetikë?
• Dinamika e trajnimit: si formohen këto qarqe gjatë të mësuarit, dhe pse aftësitë ndonjëherë shfaqen papritur?

Si e bëjnë (metodat kryesore)

1. Leximi i aktivizimeve të brendshme. Regjistrohet çfarë ndodh brenda modelit për një hyrje. Mjete të thjeshta si logit lens tregojnë çfarë "do të parashikonte" modeli në shtresa të ndërmjetme.
2. Probing. Trajnohet një klasifikues i vogël mbi aktivizimet për të testuar nëse një informacion është i pranishëm. Probing tregon korrelacion, jo se modeli e përdor.
3. Ablation. Hiqet ose zerohet një komponent dhe matet çfarë prishet. Kështu testohet nëse ka rëndësi.
4. Activation patching (gjurmim shkakësor). Modeli ekzekutohet me dy hyrje, një aktivizim i brendshëm kopjohet nga njëra në tjetrën dhe shihet si ndryshon dalja. Kjo tregon cilët komponentë mbartin informacion shkakësisht të rëndësishëm.
5. Autoenkoderët e rrallë (SAE) dhe dictionary learning. Meqë neuronet e vetme shpesh përgjigjen për shumë gjëra të palidhura (polisemantikë), studiuesit trajnojnë një rrjetë ndihmëse që gjen një bashkësi më të madhe drejtimesh më të interpretueshme, të quajtura veçori.
6. Gjurmimi i qarqeve dhe atribuimi. Ndiqet si veçoritë ndikojnë njëra-tjetrën shtresë pas shtrese për të prodhuar një përgjigje për një prompt të caktuar.
7. Steering (drejtimi). Shtohet ose zbritet një drejtim në aktivizimet e modelit për të ndryshuar sjelljen, që teston nëse drejtimi bën vërtet atë që pretendohet.

Pamja që përdorin studiuesit për transformer

Shumica e punës e shikon transformerin përmes rrjedhës reziduale (residual stream): një vektor që rritet për çdo pozicion token-i, nga i cili çdo shtresë lexon dhe në të cilin shkruan. Kokat e vëmendjes lëvizin informacion mes pozicioneve. Shtresat MLP përpunojnë informacionin në një pozicion. Çdo kokë vëmendjeje mund të ndahet në pjesën "ku të shikojë" (qarku QK) dhe pjesën "çfarë të kopjojë" (qarku OV). Kjo pamje vjen nga punimi i vitit 2021 "A Mathematical Framework for Transformer Circuits" dhe është themeli i shumicës së punëve të mëvonshme.

Gjetje të famshme (të thjeshtuara)

• Induction heads: një çift kokash vëmendjeje që e lejon modelin të vazhdojë modele si "A B ... A → B". Shfaqen papritur gjatë trajnimit dhe lidhen me in-context learning.
• Qarku i identifikimit të objektit jo të drejtpërdrejtë në GPT-2 small: një qark i dokumentuar kokash vëmendjeje që e lejon modelin ta plotësojë "When Mary and John went to the store, John gave a drink to ___" me "Mary".
• Grokking dhe mbledhja modulare: rrjeta të vogla të trajnuara për aritmetikë u çmontuan në një algoritëm të bazuar në veçori Fourier.
• Superpozicioni: modelet duket se ruajnë më shumë veçori sesa dimensione, duke i mbivendosur, që është një arsye pse neuronet janë të vështira për t'u interpretuar.
• Veçori në shkallë të madhe: autoenkoderët e rrallë u aplikuan në modele gjuhësore të shkallës së prodhimit, duke nxjerrë miliona veçori, dhe grafet e atribuimit u përdorën për të studiuar arsyetim shumëhapësh brenda një modeli.

Çfarë nuk mund ta bëjë ende (kufijtë)

• Shpjegimet mund të jenë të pjesshme, dhe një shpjegim që tingëllon i saktë mund të mos jetë besnik ndaj asaj që bën vërtet modeli.
• SAE-të nuk rindërtojnë aktivizimet në mënyrë perfekte, dhe veçoritë që gjejnë varen nga zgjedhjet e trajnimit.
• Shumica e analizave të hollësishme të qarqeve janë në modele të vogla ose detyra të ngushta. Shkallëzimi te modelet më të mëdha është problem i hapur.
• Nuk ka ende konsensus se si matet nëse një interpretim është i saktë.
• Fusha është e re, dhe disa përfundime të hershme janë rishikuar.

Si përshtatet MEJ7

Laboratorët e mechanistic interpretability në MEJ7 janë modele lodër (toy) të ndërtuara për intuitë: hartat e vëmendjes, përzierja e vlerave, rrjedha reziduale dhe embeddings 3D që sheh këtu janë ilustruese, jo pesha reale modelesh. Për interpretueshmëri mekanistike të vërtetë, përdor mjetet dhe kurset te faqet Rruga e të mësuarit dhe Mjetet.

Autor: mej7.com, projekt edukativ i pavarur. Rishikuar së fundmi: 6 nëntor 2026.