Graafiset hermoverkot (GNN) ovat nousseet vakiotyökalupakiksi oppiaksesi kaaviotiedoista. GNN: t pystyvät ajamaan parannuksia ongelmiin liittyvillä ongelmilla eri aloilla, kuten sisällön suositteleminen tai huumeiden löytäminen. Toisin kuin muuntyyppiset tiedot, kuten kuvat, oppiminen kaaviotiedoista vaatii erityisiä menetelmiä. Määritelty Michael Bronstein:
[..] nämä menetelmät perustuvat jonkinlaiseen viestin muotoon, joka välittää kaavion, jolloin eri solmut voivat vaihtaa tietoja.
Erityisten tehtävien suorittamiseksi kaavioilla (solmujen luokittelu, linkkien ennustus jne.) GNN-kerros laskee solmun ja reunan esitykset ns. rekursiivinen naapuruston diffuusio (Tai viesti kulkee). Tämän periaatteen mukaan kukin kaaviosolmu vastaanottaa ja yhdistää ominaisuuksia naapureiltaan edustamaan paikallista kuvaajan rakennetta: erityyppiset GNN-kerrokset suorittavat erilaisia aggregaatiostrategioita.
GNN-kerroksen yksinkertaisimmat formulaatiot, kuten Graph Convolutional Networks (GCNs) tai GraphSage, suorittavat isotrooppisen aggregaation, jossa kukin naapuri osallistuu yhtä lailla päivittämään keskussolmun esityksen. Tämä blogiviesti esittelee minisarjan (2 artikkelia), joka on omistettu Graph Attention Networks (GAT) -analyyseille, jotka määrittelevät anisotropiaoperaation rekursiivisessa naapuruusdiffuusiossa. Anisotropia-paradigmaa hyödyntämällä oppimiskykyä parannetaan tarkkailumekanismilla, joka antaa jokaisen naapurin panokselle eri merkityksen.
Jos tästä perusteellisesta opetussisällöstä on hyötyä sinulle, tilaa AI-tutkimuksen postituslista hälytys, kun julkaisemme uutta materiaalia.
GCN vs GAT - Matematiikan lämmittely
Lämmittely perustuu Deep Graph Libraryn ilmoittamiin GAT-yksityiskohtiin verkkosivusto.
Ennen kuin ymmärrämme GAT-kerroksen käyttäytymisen, kerrotaan uudelleen matematiikka GCN-kerroksen suorittaman aggregaation takana.
GCN-kerros - yhdistämistoiminto
N on solmun yhden hypyn naapureiden joukko i. Tämä solmu voitaisiin myös sisällyttää naapureihin lisäämällä itsesilmukka.
c on graafin rakenteeseen perustuva normalisointivakio, joka määrittää isotrooppisen keskimääräisen laskennan.
σ on aktivaatiofunktio, joka tuo epälineaarisuuden muunnokseen.
W on ominaisuuksien muunnokseen hyväksytty oppittavien parametrien painematriisi.
GAT-kerros laajentaa GCN-kerroksen perusaggregaatiofunktiota ja antaa jokaiselle reunalle erilaisen tärkeyden huomiokertoimien kautta.
GAT-kerroksen yhtälöt
Yhtälö (1) on alemman kerroksen upotuksen lineaarinen muunnos Hei, ja W on sen oppittava painomatriisi. Tämä muunnos auttaa saavuttamaan riittävän ilmaisuvoiman muuntaa syöttöominaisuudet korkean tason ja tiheiksi ominaisuuksiksi.
Yhtälö (2) laskee pareittain normalisoimattoman huomiopisteen kahden naapurin välillä. Täällä se yhdistää ensin z kahden solmun upottaminen, missä || tarkoittaa ketjutusta. Sitten se vie tällaisen ketjutuksen pistetuloksen ja oppittavan painovektorin a. Loppujen lopuksi pistetuotteen tulokseen lisätään LeakyReLU. Huomiopisteet osoittavat naapurisolmun merkityksen sanomanvälityskehyksessä.
Yhtälö (3) käyttää softmaxia normalisoimaan huomiopisteet kunkin solmun saapuvilla reunoilla. Softmax koodaa edellisen vaiheen lähdön todennäköisyysjakaumassa. Tämän seurauksena huomiopisteet ovat paljon vertailukelpoisempia eri solmuissa.
Yhtälö (4) on samanlainen kuin GCN-aggregaatti (katso yhtälö osan alussa). Naapureiden upotukset kootaan yhteen huomiopisteiden mukaan skaalattuna. Tämän skaalausprosessin tärkein seuraus on oppia eri panos kustakin naapurisolmusta.
NumPy-toteutus
Ensimmäinen vaihe on valmistaa ainesosat (matriisit) edustamaan yksinkertaista käyrää ja suorittamaan lineaarinen muunnos.
NumPy-koodi
print('nn----- One-hot vector representation of nodes. Shape(n,n)n')
X = np.eye(5, 5)
n = X.shape[0]
np.random.shuffle(X)
print(X) print('nn----- Embedding dimensionn')
emb = 3
print(emb) print('nn----- Weight Matrix. Shape(emb, n)n')
W = np.random.uniform(-np.sqrt(1. / emb), np.sqrt(1. / emb), (emb, n))
print(W) print('nn----- Adjacency Matrix (undirected graph). Shape(n,n)n')
A = np.random.randint(2, size=(n, n))
np.fill_diagonal(A, 1) A = (A + A.T)
A[A > 1] = 1
print(A)
Ensimmäinen matriisi määrittelee solmujen yhden kuuman koodatun esityksen (solmu 1 on lihavoitu). Sitten määritellään painomatriisi hyödyntäen määriteltyä upotusulottuvuutta. Olen korostanut kolmannen sarakevektorin W koska kuten pian näette, tämä vektori määrittelee solmun 1 päivitetyn esityksen (1-arvo alustetaan 3. sijaintiin). Voimme suorittaa lineaarisen muunnoksen saavuttaaksemme riittävän ilmaisuvoiman solmuominaisuuksille alkaen näistä ainesosista. Tämän vaiheen tarkoituksena on muuttaa (yhden koodauksen koodatut) tulo-ominaisuudet matalaksi ja tiheäksi esitykseksi.
Seuraava toimenpide on ottaa käyttöön oman huomion kertoimet jokaiselle reunalle. Yhdistämme lähdesolmun ja kohdesolmun edustuksen reunojen esittämiseksi. Tämän ketjutusprosessin mahdollistaa vierekkäisyysmatriisi A, joka määrittelee kaavion kaikkien solmujen väliset suhteet.
GAT-kerros (yhtälö 2)
NumPy-koodi
# equation (2) - First part
print('nn----- Concat hidden features to represent edges. Shape(len(emb.concat(emb)), number of edges)n')
edge_coords = np.where(A==1)
h_src_nodes = z1[edge_coords[0]]
h_dst_nodes = z1[edge_coords[1]]
z2 = np.concatenate((h_src_nodes, h_dst_nodes), axis=1)
Edellisessä lohkossa olen korostanut 4 riviä, jotka edustavat solmuun 4 liitettyjä 1 sisäistä reunaa. Kunkin rivin 3 ensimmäistä elementtiä määrittävät solmun 1 naapureiden upotuksen, kun taas kunkin rivin 3 muuta elementtiä määritetään itse solmu 1 (kuten huomaat, ensimmäinen rivi koodaa itsesilmukan).
Tämän toimenpiteen jälkeen voimme ottaa huomioon tarkkailukertoimet ja kertoa ne reunaesityksestä, joka johtuu ketjutusprosessista. Lopuksi Leaky Relu -toimintoa käytetään tämän tuotteen tulokseen.
NumPy-koodi
# equation (2) - Second part
print('nn----- Attention coefficients. Shape(1, len(emb.concat(emb)))n')
att = np.random.rand(1, z2.shape[1])
print(att) print('nn----- Edge representations combined with the attention coefficients. Shape(1, number of edges)n')
z2_att = z2.dot(att.T)
print(z2_att) print('nn----- Leaky Relu. Shape(1, number of edges)')
e = leaky_relu(z2_att)
print(e)
Tämän prosessin lopussa saavutimme eri pisteet kaavion jokaiselle reunalle. Yläosassa olen korostanut ensimmäiseen reunaan liittyvän kertoimen kehitystä. Sitten, jotta kerroin olisi helposti vertailukelpoinen eri solmujen välillä, softmax-funktiota käytetään kaikkien naapureiden panoksiin jokaisessa kohdesolmussa.
Kuten näette, sen sijaan, että meillä olisi 1 arvo reunojen määrittelemiseksi, skaalattiin uudelleen jokaisen naapurin osuus. Viimeinen vaihe on laskea naapuruston aggregaatti: naapureiden upotukset sisällytetään kohdesolmuun, skaalattuna huomiopisteiden avulla.
Tulevassa artikkelissa kuvaan Multi-Head GAT -kerroksen taustalla olevia mekanismeja, ja näemme joitain sovelluksia linkin ennustustehtävälle.
Viitteet
Koodin juokseva versio on saatavana seuraavassa muistikirja. Löydät myös DGL-toteutuksen, josta on hyötyä tarkistettaessa toteutuksen oikeellisuus.
Alkuperäinen paperi Graph Attention Networks -sivustolta Petar Veličkovićilta, Guillem Cucurullilta, Arantxa Casanovalta, Adriana Romerolta, Pietro Liòlta, Yoshua Bengioiselta saatavilla arXiv.
Ehdotan myös aiheen syvällistä selitystä videosta Aleksa Gordić.
Tämä artikkeli julkaistiin alunperin Kohti datatieteitä ja julkaistu uudelleen TOPBOTS: lle tekijän luvalla.
Nauti tästä artikkelista? Tilaa lisää AI-päivityksiä.
Ilmoitamme sinulle, kun julkaisemme lisää teknistä koulutusta.
