Letërsia e rekomanduar për interpretueshmërinë mekanistike

Rendi i rekomanduar i leximit është zgjedhje editoriale e MEJ7, jo renditje objektive. Rishikuar së fundmi më 6 nëntor 2026.

Hapi 0: Hyrje e lehtë (lexo/shiko së pari)

1. Zoom In: An Introduction to Circuits — Olah et al., 2020. Distill. Deklarata fillestare e axhendës së qarqeve: veçori, qarqe dhe universalitet.
2. Neural Networks — 3Blue1Brown. Video series. Baza vizuale për rrjetat nervore dhe transformer.
3. A Comprehensive Mechanistic Interpretability Explainer & Glossary — Neel Nanda. neelnanda.io. Fjalor i gjatë praktik nga një prej studiuesve kryesorë.

Hapi 1: Themelet e transformer-it

4. A Mathematical Framework for Transformer Circuits — Elhage et al., 2021. Anthropic, Transformer Circuits. Prezanton pamjen e rrjedhës reziduale dhe qarqet QK/OV. Punimi më i rëndësishëm për të nisur.
5. Attention Is All You Need — Vaswani et al., 2017. NeurIPS. Punimi origjinal i transformer.
6. Let's build GPT — Andrej Karpathy. Video. Ndërto një GPT të vogël nga zero për t'i kuptuar të gjitha komponentët.

Hapi 2: Qarqet dhe mekanizmat

7. In-context Learning and Induction Heads — Olsson et al., 2022. Anthropic, Transformer Circuits. Prova që induction heads shtyjnë in-context learning.
8. Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small — Wang et al., 2022. arXiv. Analizë e plotë qarku në një model real.
9. Progress measures for grokking via mechanistic interpretability — Nanda et al., 2023. ICLR. Çmontim i algoritmit të mbledhjes modulare në një rrjetë të vogël.
10. Locating and Editing Factual Associations in GPT — Meng et al., 2022. NeurIPS. Gjurmim shkakësor se ku ruhen faktet dhe si redaktohen.
11. Transformer Feed-Forward Layers Are Key-Value Memories — Geva et al., 2021. EMNLP. E shikon shtresën MLP si memorie modelesh.
12. Towards Automated Circuit Discovery for Mechanistic Interpretability — Conmy et al., 2023. NeurIPS. Automatizimi i gjetjes së qarqeve (ACDC).

Hapi 3: Superpozicioni dhe veçoritë

13. Toy Models of Superposition — Elhage et al., 2022. Anthropic, Transformer Circuits. Pse neuronet janë polisemantikë dhe si funksionon superpozicioni në modele të vogla.
14. Towards Monosemanticity: Decomposing Language Models With Dictionary Learning — Bricken et al., 2023. Anthropic, Transformer Circuits. Autoenkoderët e rrallë gjejnë veçori të interpretueshme në një transformer të vogël.
15. Sparse Autoencoders Find Highly Interpretable Features in Language Models — Cunningham et al., 2023. arXiv. Rezultate të pavarura me SAE.
16. Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet — Templeton et al., 2024. Anthropic, Transformer Circuits. SAE të aplikuara në një model të shkallës së prodhimit.
17. Scaling and evaluating sparse autoencoders — Gao et al., 2024. OpenAI. Metoda dhe metrika për SAE të mëdha.
18. Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2 — Lieberum et al., 2024. Google DeepMind. Koleksion i hapur SAE për studiuesit.

Hapi 4: Pamje e përgjithshme dhe shkalla e madhe

19. Circuit Tracing: Revealing Computational Graphs in Language Models and On the Biology of a Large Language Model — Anthropic, 2025. Transformer Circuits. Grafe atribuimi për studimin e llogaritjeve shumëhapëshe në një model të madh.
20. Mechanistic Interpretability for AI Safety — A Review — Bereska and Gavves, 2024. arXiv. Përmbledhje e gjerë e fushës dhe lidhjes me sigurinë.
21. A Practical Review of Mechanistic Interpretability for Transformer-Based Language Models — Rai et al., 2024. arXiv. Përmbledhje e orientuar drejt praktikuesve.
22. Representation Engineering: A Top-Down Approach to AI Transparency — Zou et al., 2023. arXiv. Qasje e lidhur nga lart-poshtë (lexim dhe drejtim përfaqësimesh).
23. 200 Concrete Open Problems in Mechanistic Interpretability — Neel Nanda. Alignment Forum. Burim idesh për projekte kërkimore.

Blogje dhe vende ku lexohet

• Transformer Circuits Thread (transformer-circuits.pub): punimet e Anthropic.
• Distill (distill.pub, arkiv): artikuj vizualë.
• Alignment Forum / LessWrong: diskutime dhe postime nga studiues.
• neelnanda.io: udhëzues dhe video.

Autor: mej7.com, projekt edukativ i pavarur. Rishikuar së fundmi: 6 nëntor 2026.