Ndiq Një Token
NDIQ NJË TOKEN
Shiko si udhëton një token i vetëm nëpër gjithë modelin
Zgjidh një fjalë më poshtë, pastaj kalo hap pas hapi çfarë i ndodh saktësisht asaj — nga teksti bruto deri te kontributi i saj në përgjigjen përfundimtare.
HAPI1 / 9
Ky udhëtim përdor numra të thjeshtuar, ilustrues, që udhëtimi të jetë i lehtë për t'u ndjekur — sekuenca e operacioneve (tokenizim, embedding, attention, transformim, parashikim) pasqyron modelet reale.
Në detaje
Ky shembull hap pas hapi ndjek një token të vetëm nga hyrja te dalja:
- 1. Teksti ndahet në tokenë, dhe secili bëhet një ID.
- 2. ID kërkohet në tabelën e embedding-ut për të marrë një vektor.
- 3. Shtohet informacioni i pozicionit.
- 4. Vektori kalon nëpër blloqe. Në çdo bllok, attention mbledh informacion nga pozicionet e mëparshme dhe MLP e përpunon, me rezultatet të shtuara te rrjedha rezidiale.
- 5. Aplikohet një normalizim përfundimtar, dhe unembedding e kthen vektorin e fundit në logit-e.
- 6. Softmax jep probabilitete, dhe zgjidhet një token.
- 7. Ai token shtohet dhe procesi përsëritet për tjetrin.
Thjeshtim: numrat janë ilustrues. Rendi i operacioneve përputhet me modelet reale.