Nga parashikuesi te asistenti

Një model që është vetëm para-trajnuar e vazhdon tekstin. Nuk i ndjek udhëzimet në mënyrë të besueshme. Asistentët zakonisht ndërtohen në disa faza:

1. 1. Para-trajnimi: parashikimi i tokenit tjetër mbi një koleksion shumë të madh teksti. Kjo i jep modelit njohuri të gjera për gjuhën dhe botën, dhe gjithashtu gabimet e paragjykimet e tij.
2. 2. Fine-tuning i mbikëqyrur: trajnim i mëtejshëm me shembuj përgjigjesh të mira ndaj udhëzimeve ose pyetjeve, zakonisht të shkruara ose të përzgjedhura nga njerëz.
3. 3. Trajnimi me preferenca: njerëz (ose modele të udhëhequra nga rregulla) krahasojnë përgjigje alternative, dhe modeli trajnohet të prodhojë llojin e preferuar. Një qasje është të mësuarit përforcues nga reagimi njerëzor (RLHF): nga krahasimet mësohet një model shpërblimi dhe pastaj përdoret për ta përmirësuar asistentin (Ouyang et al., 2022). Direct preference optimization (DPO) është një alternativë më e thjeshtë (Rafailov et al., 2023).
4. 4. Vënia në përdorim: aplikacioni shton udhëzime (system prompts), masa sigurie dhe nganjëherë mjete si kërkimi.

Metodat e sakta ndryshojnë mes kompanive dhe nuk publikohen gjithmonë. Këto faza ndryshojnë sjelljen, si toni, dobia dhe refuzimet, por nuk e kthejnë modelin në një bazë të dhënash faktesh të verifikuara (seksioni 21).