KV Cache
KV CACHE
Pse ruajtja e K dhe V ka rëndësi
Gjatë gjenerimit, K dhe V e tokenëve të kaluar nuk ndryshojnë — t'i rillogaritësh çdo hap do të ishte humbje. KV-cache i ruan që tokeni i ri të kalojë vetëm një kalim shtrese.
Llogaritje e kursyer (ilustruese)0%
Memorie KV (për shtresë, skematik)16× d_model