Embeddings
Tokenët bëhen vektorë
Çdo ID tokeni kërkohet në një tabelë dhe kthehet në një <b>vektor</b> — një listë numrash. Fjalë me kuptime të ngjashme priren të kenë vektorë të afërt me njëri-tjetrin.
Hapësira e embeddings më poshtë është reduktuar në 2 dimensione për sy njerëzor — modelet reale përdorin qindra ose mijëra dimensione.
Vizualizim i thjeshtuar për qëllime edukative — pozicionet janë ilustruese, jo koordinata reale nga një model prodhimi.
Ky është shembulli klasik i asaj që kapin embeddings: marrëdhëniet mes fjalëve sillen pak si shigjeta që mund t'i mbledhësh dhe zbresësh.
Gjeometri ilustruese në një hapësirë 2D të thjeshtuar — aritmetika reale e embeddings ndodh në qindra dimensione dhe nuk del gjithmonë kaq e pastër.
Në detaje
Pas tokenizimit, çdo ID tokeni përdoret për të gjetur një rresht në një tabelë të madhe të quajtur matrica e embedding-ut. Ai rresht është një vektor, një listë numrash (768 numra në GPT-2 small, mijëra në modele më të mëdha), dhe është përfaqësimi fillestar i token-it te modeli. Vlerat e tabelës janë parametra të mësuar gjatë trajnimit, jo të dizajnuar me dorë.
Trajnimi i shtyn tokenët që përdoren në mënyra të ngjashme drejt vektorësh të ngjashëm, ndaj drejtimet në këtë hapësirë shpesh pasqyrojnë aspekte të kuptimit ose të gramatikës. Prandaj "mace" dhe "qen" priren të jenë më afër njëra-tjetrës sesa me "karburator". Ilustrimi klasik është analogjia king − man + woman ≈ queen, e raportuar për embeddings si word2vec (Mikolov et al., 2013). Merre si ilustrim, jo si ligj: në ato eksperimente fjalët e pyetjes zakonisht përjashtohen nga kandidatët, rezultatet ndryshojnë, dhe embeddings hyrëse të modeleve moderne nuk sillen kaq pastër.
Dy pika të rëndësishme:
- 1. Embedding-u i një token-i është i njëjtë kudo që shfaqet. "Bank" nis nga i njëjti vektor në "river bank" dhe në "bank account". Shtresat e mëvonshme, mbi të gjitha attention, e bëjnë përfaqësimin të varet nga konteksti.
- 2. Hapësirat reale të embedding-ut kanë qindra deri në mijëra dimensione. Pamja 2D është një projeksion për sytë e njeriut dhe humb informacion.
Thjeshtim: pozicionet në vizualizim janë ilustruese, jo koordinata nga një model real.