Çfarë është attention në modelet Transformer?
Attention (vëmendje) është mekanizmi me të cilin, për çdo token, modeli vendos sa të “shikojë” tokenët e tjerë në kontekst. Rezultati është një kombinim i vlerave ku fjalët e lidhura mund të kenë peshë më të lartë.
Transformerët përdorin shpesh multi-head attention — disa “koka” që mësojnë lloje të ndryshme lidhjesh (subjekt-folje, emër-i afërt, etj.).
mej7.com ofron harta attention demonstruese dhe seksione Q/K/V për intuition — jo matje nga një model prodhimi.
Harta e vëmendjes te niveli i interpretueshmërisë mekanistike është po ashtu model lodër. Shpjegimi i fushës është te çfarë është interpretueshmëria mekanistike, dhe laboratori te harta e vëmendjes.