Dritarja e Kontekstit
Sa mund të "mbajë mend" modeli njëherësh
Modeli mund të shohë vetëm një numër të kufizuar tokenësh njëkohësisht — dritarja e kontekstit.
Dritaret e kontekstit matëhen në tokenë dhe ndryshojnë sipas modelit.
Në detaje
Dritarja e kontekstit është numri maksimal i tokenëve që modeli mund t'i marrë parasysh njëherësh. Përfshin promptin tënd, bisedën e mëparshme dhe përgjigjen e vetë modelit deri tani. GPT-2 kishte dritare 1,024 tokenësh; modelet moderne shkojnë nga mijëra deri në qindra mijëra tokenë ose më shumë, sipas modelit.
Kufijtë ekzistojnë sepse attention krahason çdo token me të gjithë ata të mëparshëm, ndaj kostoja e tij rritet me katrorin e gjatësisë në një implementim të drejtpërdrejtë, dhe sepse çelësat e vlerat e ruajtura zënë memorie.
Çfarë ndodh kur teksti nuk futet varet nga aplikacioni. Mund të refuzojë, të presë mesazhet më të vjetra ose t'i përmbledhë. Disa arkitektura përdorin sliding-window attention, ku çdo token mund të shohë vetëm një dritare të fundit.
Dy pika të tjera:
- Të futesh në dritare nuk garanton që modeli e përdor gjithë informacionin njësoj mirë. Studime kanë gjetur që modelet mund të jenë më të dobëta në përdorimin e informacionit të vendosur në mes të një konteksti të gjatë (Liu et al., 2023).
- Modeli nuk i mban mend bisedat e mëparshme, të veçanta, përveç nëse aplikacioni ruan informacion dhe e furnizon sërish në kontekst.