Si të fillosh interpretueshmërinë mekanistike
Kurset kryesore
ARENA (Alignment Research Engineer Accelerator)
arena.education. Program trajnimi teknik (fillimisht prezencial në Londër) kurrikula e plotë e të cilit është publike. Përfshin kapituj për transformer nga zero, hyrje në interpretueshmërinë mekanistike, superpozicion dhe autoenkoderë të rrallë, qarqe si identifikimi i objektit jo të drejtpërdrejtë, e më shumë, me ushtrime kodimi dhe zgjidhje. Krijuar nga Callum McDougall dhe bashkëpunëtorë. Një nga rrugët falas më të mirë të strukturuara në fushë. Kontrollo faqen për programet dhe materialet aktuale.
Kush e meriton: ata që dinë Python dhe PyTorch bazë dhe duan të kodojnë vetë.
Neel Nanda — materialet e fillimit
neelnanda.io. Udhëzues praktikë se si të fillosh, fjalor i gjatë, video me analiza punimesh dhe kodim, dhe lista problemesh të hapura. Falas.
Karpathy — "Neural Networks: Zero to Hero"
karpathy.ai/zero-to-hero, përfshirë Let's build GPT. Ndërton nga backpropagation deri te një GPT. Parakusht ideal.
3Blue1Brown — Neural Networks
3blue1brown.com/topics/neural-networks. Intuita vizuale më e mirë për fillestarët.
MATS (ML Alignment & Theory Scholars)
matsprogram.org. Program kërkimor selektiv që çiftëzon pjesëmarrësit me mentorë, përfshirë studiues të interpretueshmërisë mekanistike. Për ata gati për kërkim real. Kontrollo aplikimet aktuale.
BlueDot Impact — kurse për sigurinë e AI
bluedot.org. Kurse hyrëse për sigurinë e AI, kontekst i dobishëm pse interpretueshmëria ka rëndësi. Jo specifike për mech interp.
Rruga hap pas hapi (me kohë orientuese)
| Hapi | Çfarë të bësh | Orientim kohe |
|---|---|---|
| 0. Parakushte | Python, bazat e PyTorch, algjebër lineare (vektorë, matrica, prodhim pikë). Në MEJ7: Fillestar. | 2-6 javë |
| 1. Bazat e AI | MEJ7 lab (tokens, embeddings, attention), 3Blue1Brown | 1-2 javë |
| 2. Transformer nga zero | Karpathy "Let's build GPT" dhe/ose ARENA "Transformers from scratch" | 2-3 javë |
| 3. Mjetet dhe eksperimentet e para | TransformerLens, logit lens, ndjekja e një tutoriali "Intro to Mech Interp" | 1-2 javë |
| 4. Punimet kryesore | "A Mathematical Framework", Induction Heads, Toy Models of Superposition, IOI | 3-6 javë |
| 5. Përsërit një rezultat | Rikrijo induction heads ose IOI ose grokking vetë | 2-4 javë |
| 6. Projekt i vetin | Merr një problem nga "200 Concrete Open Problems", shkruaj rezultatet | 1-3 muaj |
Këto janë vlerësime orientuese, jo premtime. Ritmi varet nga përvoja jote.
Autor: mej7.com, projekt edukativ i pavarur. Rishikuar së fundmi: 6 nëntor 2026.