Embedding 3D
Fjalët jetojnë si pika në hapësirë — rrotullo dhe shiko
Çdo token bëhet një vektor numrash — një pikë në një hapësirë shumë-dimensionale ku kuptimet e ngjashme ulen afër njëra-tjetrës. Ja një prerje 3D e kësaj ideje, duke u rrotulluar ngadalë.
Pozicionet këtu janë ilustruese, jo të llogaritura nga një model real embedding-u — por ideja themelore është pikërisht kjo: fjalët e lidhura (kafshë, veprime, vende) grupohen bashkë në hapësirën ku vërtet arsyeton një transformer.
Model lodër për intuitë, jo pesha reale të një modeli.
Çfarë po sheh
Një unazë fjalësh rrotullohet në tre dimensione. Fjalët e kafshëve rrinë më afër fjalëve të tjera të kafshëve, veprimet më afër veprimeve, vendet më afër vendeve. Pamja është pretendimi i përditshëm për embeddings: një token është një pikë, dhe pikat e lidhura u tërhoqën pranë gjatë trajnimit. Mund ta rrotullosh unazën dhe të shohësh që "afër" varet nga këndi. Dy fjalë që duken pranë përballë mund të ndahen kur e kthen renë.
Interpretueshmëria mekanistike e trashëgon këtë gjeometri dhe pastaj bën një pyetje më të mprehtë. Një veçori nuk është pika. Një veçori është një drejtim nëpër hapësirë. Shumë drejtime mund të paketohen në të njëjtat dimensione, që është superpozicioni. Unaza është vetëm ideja e parë, që distanca do të thotë diçka. Nuk është hartë e atyre drejtimeve.
Çfarë është thjeshtuar këtu
Koordinatat u zgjodhën që grupet t'i duken të qarta një njeriu që shikon ekranin. Nuk u morën nga matrica e embedding-ut të një modeli, dhe nuk u prodhuan nga një algoritëm uljeje dimensionesh si PCA. Një embedding real ka qindra ose mijëra dimensione. Çdo pamje 3D i hedh shumicën, ndaj fqinjësitë në figurë nuk janë fqinjësi në model. Shënimi te kanavaca thotë që pozicionet janë ilustruese. Ky është i gjithë statusi i figurës.
Unaza e ngrin edhe një vektor për fjalë. Në një transformer rrjedha reziduale në një pozicion nis afër embedding-ut dhe pastaj lëviz kur shtresat shkruajnë në të. Pika që do të doje për një veçori shpesh është ai vektor i mëvonshëm, jo embedding-u hyrës. Kjo faqe nuk e tregon lëvizjen.
Si lidhet me modelet reale
Word2vec e bëri të famshme pamjen "king minus man plus woman", dhe mësimi i embeddings në nivelin mesatar të MEJ7 e trajton tashmë atë si ilustrim me kufij të njohur. Autoenkoderët e rrallë janë mjeti që kjo fushë e përdor kur dimensionet e papërpunuara janë tepër të përziera për t'u emërtuar. Ata kërkojnë drejtime që ndizen rrallë dhe përputhen me një koncept që njeriu e njeh. Ato drejtime nuk shihen duke e rrotulluar këtë unazë.
Lexo veçoritë, superpozicionin dhe autoenkoderët e rrallë, pastaj Toy Models of Superposition dhe Towards Monosemanticity. Për të shfletuar veçori nga modele reale, përdor Neuronpedia. Përdore këtë unazë për të mbajtur mend që modeli i ruan tokenët si gjeometri. Mos e përdor si provë se çfarë grupon ndonjë model i caktuar.