Përtej vizualizimeve — në mekanikën e vërtetë
Backpropagation, attention si kod, KV-cache, MoE routing, RLHF, kuantizim dhe interpretueshmëri — me diagramë interaktive në thellësi të thjeshtë, teknike dhe kërkimore.
Rregulla zinxhiri në një graf të vogël
Trajnimi rregullon peshat duke rrjedhur gradientët e humbjes prapa nëpër çdo shumëzim dhe aktivim — saktësisht çka regjistron autograd.
loss.backward() # ∂L/∂W grumbullohet me rregullin e zinxhirit
Self-attention, rresht pas rreshti
Ec nëpër të njëjtat operacione që implementojnë framework-et si PyTorch brenda çdo blloku transformer.
Rezultatet scaled dot-product
Çdo rresht pyet sa duhet të lexojë nga çdo pozicion — softmax i kthen në pesha.
Pse ruajtja e K dhe V ka rëndësi
Gjatë gjenerimit, K dhe V e tokenëve të kaluar nuk ndryshojnë — t'i rillogaritësh çdo hap do të ishte humbje. KV-cache i ruan që tokeni i ri të kalojë vetëm një kalim shtrese.
Intuita FlashAttention
Attention bëhet memory-bound në sekuenca të gjata. Kernel-et e tile-izuara fuzionojnë softmax me matmul.
Routing Mixture-of-Experts
Vetëm disa ekspertë FFN aktivizohen për token. Router-i zgjedh top-k — shumë parametra, compute i moderuar.
Peshë me pak bit
INT8/INT4 zvogëlon memorien; kurva merr shkallë me pak precizion.
Nga modeli bazë te asistenti i dobishëm
Trajnimi shpesh shtreson: pretrain në tekst → fine-tune për udhëzime → model shpërblimi → RLHF e shtyn politikën drejt përgjigjeve të preferuara nga njerëzit.
LoRA: adapterë me rang të ulët
Ngri W, trajno A·B të vogla — miliona parametra në vend të miliardëve.
h = W @ x + (B @ A) @ x # rang r ≪ d
Circuits & interpretim mekanistik
Interpretueshmëria e avancuar = teste causale: patch aktivimesh, ablate heads, mat logits.
Pista Mech Interp ka playground-un — harta e attention, përzierja e values, rrjedha residuale, dhe embedding 3D. Hape pasi të kuptosh matematikën e attention këtu.
Të duhet laboratori vizual?
Tokenët, embedding-et, NN lab dhe gjenerimi janë në shtegun mesatar.