Gradient Descent
Peizazhi i humbjes (loss landscape)
Trajnimi lëviz "topin" drejt zonave me loss më të ulët, hap pas hapi.
Në detaje
Imagjino humbjen si funksion të të gjithë parametrave, një "peizazh". Gradienti tregon drejtimin në të cilin humbja rritet më shpejt. Për ta ulur humbjen, parametrat bëjnë një hap të vogël në drejtim të kundërt:
vlera e re = vlera e vjetër − shkalla e të mësuarit × gradienti
Shkalla e të mësuarit (learning rate) përcakton madhësinë e hapit: shumë e vogël dhe trajnimi është i ngadaltë; shumë e madhe dhe kalon caqet ose bëhet i paqëndrueshëm.
Trajnimi real përdor grupe të vogla shembujsh të zgjedhur rastësisht (mini-batches, prandaj zbritje gradienti "stokastike"), zakonisht me optimizues adaptivë si Adam ose AdamW dhe një orar që e ndryshon shkallën e të mësuarit me kohën.
Topi që rrokulliset nga një kodër është një metaforë me kufij. Peizazhet reale të humbjes kanë miliarda dimensione dhe nuk duken si një tas i vetëm i lëmuar.