mej7.comHow AI Works

LoRA / PEFT

Mësimi 9 nga 10 · niveli I Avancuar · vizualizim interaktiv (model mësimor i thjeshtuar)

PEFT

LoRA: adapterë me rang të ulët

Ngri W, trajno A·B të vogla — miliona parametra në vend të miliardëve.

W (frozen)+B @ A→W′
h = W @ x + (B @ A) @ x   # rang r ≪ d