Mõisted, mida peaksite teadma enne Transformersiga tutvumist

Närvivõrgud õpivad numbrite kaudu, nii et iga sõna kaardistatakse vektoritega, et esindada konkreetset sõna. Manustuskihti võib pidada otsingutabeliks, mis salvestab sõnade manuseid ja otsib need indeksite abil.

 

 

Sõnad, millel on sama tähendus, on eukleidilise kauguse/koosinuse sarnasuse poolest lähedased. Näiteks allolevas sõnaesituses on "laupäev", "pühapäev" ja "esmaspäev" seotud sama mõistega, nii et näeme, et sõnad on sarnased.
 

Sõna asukoha määramine, Miks on vaja sõna asukohta määrata? kuna trafo kodeerijal pole korduvust nagu korduvatel närvivõrkudel, peame sisendmanustesse lisama teavet positsioonide kohta. Seda tehakse asukohakodeeringu abil. Töö autorid kasutasid sõna asukoha modelleerimiseks järgmisi funktsioone.

 

 

Püüame selgitada positsioonikodeeringut.

 

 

Siin viitab "pos" sõna asukohale jadas. P0 viitab esimese sõna positsioonile; „d” tähendab sõna/märgi manustamise suurust. Selles näites d=5. Lõpuks viitab "i" igale manustamise viiest individuaalsest mõõtmest (st 5, 0, 1,2,3,4, XNUMX, XNUMX)

kui "i" on ülaltoodud võrrandis erinev, saate hunniku erineva sagedusega kõveraid. Asendi manustamise väärtuste lugemine erinevate sageduste suhtes, erinevate väärtuste andmine erinevatel manustamismõõtmetel P0 ja P4 jaoks.

 

Selle päring, Q tähistab vektorsõna võtmed K on kõik teised sõnad lauses ja väärtus V tähistab sõna vektorit.

Tähelepanu eesmärk on arvutada välja võtmetermini olulisus võrreldes sama isiku/asja või mõistega seotud päringuterminiga.

Meie puhul on V võrdne Q-ga.

Tähelepanumehhanism annab meile sõna tähtsuse lauses.

 

 

Kui arvutame päringu ja võtmete vahelise normaliseeritud punktkorrutise, saame tensori, mis tähistab üksteise sõnade suhtelist tähtsust päringu jaoks.

 

 

Punktkorrutise Q ja K.T arvutamisel proovime hinnata, kuidas vektorid (st päringu ja võtmete vahelised sõnad) on joondatud, ja tagastame lause iga sõna kaalu.

Seejärel normaliseerime tulemuse d_k ruudus ja funktsioon softmax reguleerib terminid ja skaleerib need ümber 0 ja 1 vahel.

Lõpuks korrutame tulemuse (st kaalud) väärtusega (st kõigi sõnadega), et vähendada ebaoluliste sõnade tähtsust ja keskenduda ainult kõige olulisematele sõnadele.

Mitme peaga tähelepanu väljundvektor lisatakse algsele positsioonilisele sisendile. Seda nimetatakse jääkühenduseks / vahelejätmiseks. Jääkühenduse väljund läbib kihi normaliseerimise. Normaliseeritud jääkväljund suunatakse edasiseks töötlemiseks läbi punktsuunalise edasisaatmisvõrgu.

 

Mask on maatriks, mis on sama suur kui tähelepanu skoorid, mis on täidetud nullide ja negatiivsete lõpmatustega.

 

 

Maski põhjuseks on see, et kui võtate maskeeritud skooride pehme maksimumi, muutuvad negatiivsed lõpmatused nulliks, jättes tulevaste märkide jaoks nulli tähelepanu.

See käsib mudelil nendele sõnadele mitte keskenduda.

Funktsiooni Softmax eesmärk on haarata reaalarvud (positiivsed ja negatiivsed) ja muuta need positiivseteks arvudeks, mille summa on 1.

 

 
 
Ravikumar Naduvin on hõivatud PyTorchi abil NLP-ülesannete loomise ja mõistmisega.

 
Originaal. Loaga uuesti postitatud.
 

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
• Allikas: https://www.kdnuggets.com/2023/01/concepts-know-getting-transformer.html?utm_source=rss&utm_medium=rss&utm_campaign=concepts-you-should-know-before-getting-into-transformer