Funksionet e Aktivizimit
Funksionet e aktivizimit
Pas çdo shumëzimi, rezultati kalon nëpër një funksion aktivizimi që i jep rrjetit aftësinë të mësojë modele jo-lineare.
Në detaje
Pa funksione aktivizimi, një grumbull shtresash do të shembej në një transformim linear të vetëm, pavarësisht sa shtresa ka. Një funksion aktivizimi aplikon një funksion të thjeshtë jolinear mbi çdo numër, dhe kjo i lejon rrjetat të mësojnë lidhje të lakuara e komplekse.
- ReLU: f(x) = max(0, x). Vlerat negative bëhen zero; ato pozitive kalojnë të pandryshuara. E thjeshtë dhe e shpejtë.
- Sigmoid: f(x) = 1 / (1 + e^(−x)). Shtyp çdo numër në intervalin nga 0 në 1.
- Tanh: shtyp numrat në intervalin nga −1 në 1.
Sigmoid dhe tanh bëhen shumë të sheshta për hyrje shumë të mëdha pozitive ose negative, gjë që mund ta ngadalësojë të mësuarit. ReLU e shmang këtë për hyrje pozitive, por një neuron mund të ngecë duke dhënë zero për gjithçka.
Modelet e mëdha transformer përdorin kryesisht variante më të buta. GPT-2 dhe BERT përdorin GELU, dhe shumë modele të fundit përdorin variante me porta si SwiGLU. Parimi është i njëjtë: një hap jolinear pas çdo hapi linear.