Attention
Ku duhet të fokusohet modeli?
Zgjidh një fjalë dhe shiko sa "vëmendje" i kushton çdo fjale tjetër në fjali — si vija lidhëse ashtu edhe si heatmap.
Attention nuk do të thotë thjesht "AI-ja e kupton çfarë është e rëndësishme" — është një mekanizëm matematikor që lejon çdo token të përfshijë informacion nga tokenët e tjerë, me shkallë të ndryshme peshe.
Në detaje
Attention i lejon çdo token të mbledhë informacion nga tokenë të tjerë. Për çdo pozicion, modeli llogarit një bashkësi peshash mbi pozicionet që i lejohet t'i shikojë (peshat janë jonegative dhe mblidhen në 1) dhe ndërton një përfaqësim të ri si përzierje e peshuar e informacionit që gjen aty.
Merr fjalinë "The animal didn't cross the street because it was too tired." Për ta përfaqësuar "it" në mënyrë të dobishme, modeli ka nevojë për informacion nga "animal". Attention është mekanizmi i mësuar që e bën këtë të mundur. Te modelet vetëm-dekoder si GPT, çdo token mund të shikojë vetëm veten dhe tokenët para tij (maska shkakësore, causal mask), sepse modeli gjeneron tekst nga e majta në të djathtë.
Një kujdes: peshat e attention-it tregojnë ku një kokë lexon, por nuk janë një shpjegim i plotë pse modeli dha një dalje. Kërkimet kanë treguar se një peshë e lartë vëmendjeje nuk do të thotë gjithmonë që tokeni ishte vendimtar (Jain & Wallace, 2019; Wiegreffe & Pinter, 2019). Gjithashtu, një model real ka shumë koka në shumë shtresa; një hartë nxehtësie tregon vetëm një fetë.
Thjeshtim: fjalia dhe peshat në vizualizim janë ilustruese.