Pipeline i Plotë

Ja e gjithë rruga me radhë:

1. 1. Teksti ndahet në tokenë.
2. 2. Çdo token bëhet një ID dhe pastaj një vektor embedding-u.
3. 3. Shtohet informacioni i pozicionit.
4. 4. Vektorët kalojnë nëpër shumë blloqe: attention lëviz informacion mes pozicioneve, dhe MLP përpunon çdo pozicion, të gjitha me lidhje rezidiale dhe normalizim.
5. 5. Vektori i fundit kthehet në logit-e, një për çdo token të fjalorit.
6. 6. Softmax (me temperaturë dhe një metodë mostrimi) jep një token.
7. 7. Tokeni shtohet, dhe hapat 4 deri 6 përsëriten derisa përgjigjja mbaron.

Të gjithë numrat e përfshirë, peshat, u mësuan më herët gjatë trajnimit, kryesisht duke parashikuar tokenin tjetër, dhe pastaj u formuan nga fine-tuning dhe trajnimi me preferenca që modeli të bëhet një asistent i dobishëm.