Informacioni i pozicionit

Attention vetëm nuk ka kuptim të rendit. Nëse tokenët hyrës do të permutoheshin dhe asgjë tjetër nuk do të ndryshonte, daljet thjesht do të permutoheshin në të njëjtën mënyrë. Por rendi mbart kuptim ("the dog bit the man" nuk është "the man bit the dog"), ndaj modelet shtojnë informacion pozicioni.

• Transformer-i origjinal i 2017-ës shtoi sinjale pozicioni sinusoidale të fiksuara te embeddings e tokenëve.
• GPT-2 shtoi embeddings pozicioni të mësuara, një vektor i mësuar për çdo pozicion deri në kufirin e tij prej 1,024.
• Shumë modele të fundit përdorin rotary position embeddings (RoPE), që i rrotullojnë vektorët query dhe key me një kënd që varet nga pozicioni, ndaj rezultatet e attention-it varen nga largësia mes dy tokenëve.
• Ekzistojnë skema të tjera. Zgjedhja ndikon sa mirë i përballon një model tekstet më të gjata se ato që pa gjatë trajnimit.

Te modelet vetëm-dekoder, maska shkakësore mund t'i lejojë modelit të nxjerrë edhe disa informacione pozicioni në mënyrë implicite. Detajet ndryshojnë nga modeli në model, por ideja e përbashkët është që pozicioni duhet furnizuar, sepse attention nuk e jep vetë.