Çfarë është attention në modelet Transformer?
Attention (vëmendje) është mekanizmi me të cilin, për çdo token, modeli vendos sa të “shikojë” tokenët e tjerë në kontekst. Rezultati është një kombinim i vlerave ku fjalët e lidhura mund të kenë peshë më të lartë.
Transformerët përdorin shpesh multi-head attention — disa “koka” që mësojnë lloje të ndryshme lidhjesh (subjekt-folje, emër-i afërt, etj.).
mej7.com ofron harta attention demonstruese dhe seksione Q/K/V për intuition — jo matje nga një model prodhimi.