Parametrat
Çfarë do të thotë 7B ose 70B parametra?
Një parametër ≈ një vlerë numerike e mësuar (peshë). Sa më shumë parametra, aq më shumë numra ka modeli për të përshtatur — por kjo nuk garanton "inteligjencë" më të lartë.
Numri i parametrave nuk barazohet drejtpërdrejt me inteligjencën — arkitektura, të dhënat, mënyra e trajnimit dhe optimizimi luajnë gjithashtu rol vendimtar.
Në detaje
Parametrat janë të gjithë numrat që mëson një model: matricat e embedding-ut, matricat e attention-it, peshat e MLP, bias-et dhe shkallët e normalizimit. "7B" do të thotë rreth 7 miliardë prej tyre.
Madhësia ka një kosto konkrete. Nëse çdo parametër ruhet në 16 bit (2 bajt), 7 miliardë parametra zënë rreth 14 GB dhe 70 miliardë zënë rreth 140 GB, vetëm për peshat. Teknika si kuantizimi (rruga Advanced) e ulin këtë.
Më shumë parametra zakonisht i japin modelit më shumë kapacitet, por cilësia varet edhe nga sasia dhe cilësia e të dhënave të trajnimit, sasia e llogaritjes së trajnimit, arkitektura dhe fazat e mëvonshme të trajnimit. Studimet e ligjeve të shkallëzimit (scaling laws) (Kaplan et al., 2020; Hoffmann et al., 2022) gjetën që humbja bie në mënyrë të parashikueshme kur rriten parametrat, të dhënat dhe llogaritja, dhe që për një buxhet të caktuar madhësia e modelit dhe sasia e të dhënave duhet të rriten së bashku. Disa modele të mëdha më të hershme u trajnuan me shumë pak të dhëna për madhësinë e tyre.
Te modelet mixture-of-experts (rruga Advanced), numri total i parametrave është më i madh se ai i përdorur për çdo token.