See kolmeosaline seeria näitab, kuidas kasutada graafi närvivõrke (GNN) ja Amazon Neptuun filmisoovituste loomiseks kasutades IMDb ja Box Office Mojo Movies/TV/OTT litsentseeritav andmepakett, mis pakub laias valikus meelelahutuse metaandmeid, sealhulgas üle 1 miljardi kasutaja hinnangu; krediiti enam kui 11 miljonile näitleja- ja meeskonnaliikmele; 9 miljonit filmi, telesaadet ja meelelahutust; ja globaalsed kassaaruannete andmed enam kui 60 riigist. Paljud AWS-i meedia- ja meelelahutuskliendid litsentseerivad IMDb-andmeid selle kaudu AWS-i andmevahetus parandada sisu avastamist ning suurendada klientide seotust ja hoidmist.
In Osa 1, arutasime GNN-ide rakendusi ning seda, kuidas IMDb andmeid päringute jaoks teisendada ja ette valmistada. Selles postituses käsitleme Neptuuni kasutamist, et luua manuseid, mida kasutatakse 3. osas meie kataloogivälise otsingu tegemiseks. Käime ka üle Amazon Neptune ML, Neptune'i masinõppe (ML) funktsioon ja kood, mida oma arendusprotsessis kasutame. 3. osas käsitleme oma teadmiste graafiku manustamist kataloogivälise otsingu kasutusjuhtumi puhul.
Lahenduse ülevaade
Suured ühendatud andmestikud sisaldavad sageli väärtuslikku teavet, mida võib olla raske välja võtta, kasutades ainult inimintuitsioonil põhinevaid päringuid. ML-tehnikad võivad aidata leida varjatud korrelatsioone miljardite seostega graafikutelt. Need korrelatsioonid võivad olla abiks toodete soovitamisel, krediidivõime ennustamisel, pettuste tuvastamisel ja paljudel muudel kasutusjuhtudel.
Neptune ML võimaldab ehitada ja treenida kasulikke ML-mudeleid suurtel graafikutel tundide, mitte nädalate jooksul. Selle saavutamiseks kasutab Neptune ML GNN-tehnoloogiat, mida toidab Amazon SageMaker ja Deep Graph Library (DGL) (mis on avatud lähtekoodiga). GNN-id on tehisintellekti arenev valdkond (näiteks vt Põhjalik uuring graafiliste närvivõrkude kohta). Praktilist õpetust GNN-ide kasutamise kohta koos DGL-iga vt Graafikute närvivõrkude õppimine Deep Graph Library abil.
Selles postituses näitame, kuidas kasutada Neptune'i meie torustikus manuste loomiseks.
Järgmine diagramm kujutab IMDb andmete üldist voogu allalaadimisest manustamiseni.
Lahenduse juurutamiseks kasutame järgmisi AWS-teenuseid:
Selles postituses juhendame teid läbi järgmiste kõrgetasemeliste sammude.
- Seadistage keskkonnamuutujad
- Looge eksporditöö.
- Looge andmetöötlustöö.
- Esitage koolitustöö.
- Laadige alla manustused.
Neptune ML käskude kood
Selle lahenduse rakendamise osana kasutame järgmisi käske:
Me kasutame neptune_ml export
oleku kontrollimiseks või Neptune ML-i ekspordiprotsessi alustamiseks ja neptune_ml training
Neptune ML mudelitreeningu töö alustamiseks ja oleku kontrollimiseks.
Nende ja muude käskude kohta lisateabe saamiseks vaadake Neptuuni tööpingi maagiate kasutamine sülearvutites.
Eeldused
Selle postituse jätkamiseks peaks teil olema järgmine teave.
- An AWS-i konto
- SageMakeri, Amazon S3 ja AWS CloudFormationi tundmine
- Neptune'i klastris laaditud graafikuandmed (vt Osa 1 rohkem informatsiooni)
Seadistage keskkonnamuutujad
Enne alustamist peate oma keskkonna seadistama, määrates järgmised muutujad. s3_bucket_uri
ja processed_folder
. s3_bucket_uri
on 1. osas kasutatud ämbri nimi ja processed_folder
on Amazon S3 asukoht eksporditöö väljundi jaoks.
Looge eksporditöö
1. osas lõime SageMakeri sülearvuti ja eksporditeenuse, et eksportida oma andmed Neptune DB klastrist Amazon S3 vajalikus vormingus.
Nüüd, kui meie andmed on laaditud ja eksporditeenus loodud, peame looma eksporditöö, alustama seda. Selleks kasutame NeptuneExportApiUri
ja luua eksporditöö jaoks parameetrid. Järgmises koodis kasutame muutujaid expo
ja export_params
. Määra expo
oma NeptuneExportApiUri
väärtus, mille leiate lehelt Väljundid CloudFormationi virna vahekaart. Sest export_params
, kasutame teie Neptune'i klastri lõpp-punkti ja anname selle väärtuse outputS3path
, mis on Amazon S3 asukoht eksporditöö väljundi jaoks.
Eksporditöö esitamiseks kasutage järgmist käsku:
Eksporditöö oleku kontrollimiseks kasutage järgmist käsku:
Pärast töö lõpetamist seadke processed_folder
muutuja, mis annab töödeldud tulemuste Amazon S3 asukoha:
Looge andmetöötlustöö
Nüüd, kui eksport on tehtud, loome andmetöötlustöö, et valmistada andmed ette Neptune ML koolitusprotsessi jaoks. Seda saab teha mitmel erineval viisil. Selle sammu jaoks saate muuta job_name
ja modelType
muutujad, kuid kõik muud parameetrid peavad jääma samaks. Selle koodi põhiosa on modelType
parameeter, mis võib olla kas heterogeensed graafikumudelid (heterogeneous
) või teadmiste graafikud (kge
).
Eksporditöö sisaldab ka training-data-configuration.json
. Kasutage seda faili sõlmede või servade lisamiseks või eemaldamiseks, mida te ei soovi koolituseks pakkuda (näiteks kui soovite ennustada kahe sõlme vahelist seost, saate selle lingi sellest konfiguratsioonifailist eemaldada). Selle ajaveebipostituse jaoks kasutame algset konfiguratsioonifaili. Lisateabe saamiseks vt Treeningu konfiguratsioonifaili redigeerimine.
Looge oma andmetöötlustöö järgmise koodiga:
Eksporditöö oleku kontrollimiseks kasutage järgmist käsku:
Esitage koolitustöö
Pärast töötlemistöö lõpetamist saame alustada oma koolitustööd, kus loome oma manused. Soovitame eksemplari tüüpi ml.m5.24xlarge, kuid saate seda muuta vastavalt oma arvutusvajadustele. Vaadake järgmist koodi:
Trükime koolitustöö ID saamiseks muutuja training_results. Kasutage oma töö oleku kontrollimiseks järgmist käsku:
%neptune_ml training status --job-id {training_results['id']} --store-to training_status_results
Laadige alla manustused
Kui teie koolitustöö on lõpetatud, on viimane samm toormanustuste allalaadimine. Järgmised sammud näitavad, kuidas alla laadida KGE abil loodud manuseid (sama protsessi saate kasutada ka RGCN-i jaoks).
Järgmises koodis kasutame neptune_ml.get_mapping()
ja get_embeddings()
vastendusfaili allalaadimiseks (mapping.info
) ja töötlemata manustamisfaili (entity.npy
). Seejärel peame vastavad manused vastendama nende vastavate ID-dega.
RGCN-ide allalaadimiseks järgige sama protsessi uue koolitustöö nimega, töödeldes andmeid parameetri modelType väärtusega heterogeneous
, seejärel treenige oma mudelit parameetri modelName väärtusega rgcn
vaata siin lisateabe saamiseks. Kui see on lõpetatud, helistage get_mapping
ja get_embeddings
funktsioonid uue allalaadimiseks mapping.info ja entity.npy failid. Pärast olemi- ja vastendusfailide olemasolu on CSV-faili loomise protsess identne.
Lõpuks laadige oma manused üles soovitud Amazon S3 asukohta:
Veenduge, et mäletate seda S3 asukohta, peate seda 3. osas kasutama.
Koristage
Kui olete lahenduse kasutamise lõpetanud, puhastage kindlasti kõik ressursid, et vältida jätkuvaid tasusid.
Järeldus
Selles postituses arutasime, kuidas kasutada Neptune ML-i GNN-i manustamise koolitamiseks IMDb andmetest.
Mõned teadmiste graafiku manustamise seotud rakendused on sellised mõisted nagu kataloogiväline otsing, sisusoovitused, sihitud reklaam, puuduvate linkide ennustamine, üldine otsing ja kohordianalüüs. Kataloogiväline otsing on protsess, mille käigus otsitakse sisu, mis teile ei kuulu, ja otsitakse või soovitatakse teie kataloogis olevat sisu, mis on võimalikult sarnane kasutaja otsitule. Sukeldume 3. osas kataloogivälisesse otsingusse.
Autoritest
Matthew Rhodes on andmeteadlane, kes töötan Amazon ML Solutions Labis. Ta on spetsialiseerunud masinõppe torujuhtmete ehitamisele, mis hõlmavad selliseid mõisteid nagu loomuliku keele töötlemine ja arvutinägemine.
Divya Bhargavi on andmeteadlane ning meedia ja meelelahutuse vertikaaljuht Amazon ML Solutions Labis, kus ta lahendab masinõpet kasutades AWS-i klientide jaoks väärtuslikke äriprobleeme. Ta tegeleb piltide/videote mõistmise, teadmiste graafikute soovitussüsteemide ja ennustavate reklaamide kasutamise juhtumitega.
Gaurav Rele on andmeteadlane Amazon ML Solution Labis, kus ta teeb koostööd AWS-i klientidega erinevatest vertikaalidest, et kiirendada nende masinõppe ja AWS-i pilveteenuste kasutamist nende äriprobleemide lahendamiseks.
Karan Sindwani on andmeteadlane Amazon ML Solutions Labis, kus ta koostab ja juurutab süvaõppe mudeleid. Ta on spetsialiseerunud arvutinägemise valdkonnale. Vabal ajal naudib ta matkamist.
Soji Adeshina on AWS-i rakendusteadlane, kus ta töötab välja graafikute närvivõrgupõhiseid mudeleid masinõppeks graafikute ülesannete jaoks koos rakendustega pettuse ja kuritarvitamise, teadmiste graafikute, soovitussüsteemide ja bioteaduste jaoks. Vabal ajal meeldib talle lugeda ja süüa teha.
Vidya Sagar Ravipati on Amazon ML Solutions Labi juht, kus ta kasutab oma tohutut kogemust suuremahuliste hajutatud süsteemide vallas ja kirge masinõppe vastu, et aidata AWS-i klientidel erinevates tööstusharudes kiirendada nende tehisintellekti ja pilve kasutuselevõttu.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/part-2-power-recommendations-and-search-using-an-imdb-knowledge-graph/
- 1
- 10
- 100
- 11
- 116
- 7
- 9
- a
- MEIST
- kuritarvitamise
- kiirendama
- üle
- Täiendavad lisad
- Tooteinfo
- Vastuvõtmine
- reklaam
- pärast
- AI
- Materjal: BPA ja flataatide vaba plastik
- üksi
- Amazon
- Amazon ML Solutions Lab
- analüüs
- ja
- rakendused
- rakendatud
- kehtima
- asjakohane
- PIIRKOND
- kunstlik
- tehisintellekti
- AWS
- põhineb
- vahel
- Miljard
- miljardeid
- Blogi
- Kast
- piletikassa
- ehitama
- Ehitus
- Ehitab
- äri
- helistama
- juhul
- juhtudel
- kataloog
- väljakutseid
- muutma
- koormuste
- kontrollima
- lähedal
- Cloud
- pilve adopteerimine
- pilvteenustest
- Cluster
- kood
- Kohordi
- täitma
- terviklik
- arvuti
- Arvuti visioon
- arvutustehnika
- mõisted
- Läbi viima
- konfiguratsioon
- seotud
- sisu
- Vastav
- riikides
- looma
- loodud
- krediit
- Autorid
- klient
- Kliendi kaasamine
- Kliendid
- andmed
- andmetöötlus
- andmeteadlane
- andmekogumid
- sügav
- sügav õpe
- sügavam
- juurutab
- detailid
- & Tarkvaraarendus
- arendab
- dgl
- erinev
- avastus
- arutama
- arutatud
- jagatud
- hajutatud süsteemid
- Ära
- lae alla
- kumbki
- smirgel
- Lõpp-punkt
- tegevus
- meelelahutus
- üksus
- keskkond
- Eeter (ETH)
- näide
- kogemus
- eksport
- väljavõte
- tunnusjoon
- vähe
- väli
- fail
- Faile
- leidma
- leidmine
- voog
- järgima
- Järel
- formaat
- pettus
- Alates
- täis
- funktsioonid
- Üldine
- tekitama
- põlvkond
- saama
- Globaalne
- Go
- graafik
- graafikud
- käed-
- Raske
- aitama
- kasulik
- varjatud
- kõrgetasemeline
- Lahtiolekuajad
- Kuidas
- Kuidas
- HTML
- HTTPS
- inim-
- identiques
- identifitseerimiseks
- rakendada
- rakendamisel
- parandama
- in
- hõlmab
- Kaasa arvatud
- Suurendama
- indeks
- tööstus
- info
- info
- Näiteks
- selle asemel
- Intelligentsus
- kaasama
- IT
- töö
- Json
- Võti
- teadmised
- labor
- keel
- suur
- suuremahuline
- viimane
- viima
- õppimine
- võimendab
- Raamatukogu
- litsents
- elu
- Maaülikooli
- LINK
- lingid
- liising
- masin
- masinõpe
- põhiline
- TEEB
- juht
- palju
- kaart
- kaardistus
- Meedia
- keskmine
- liikmed
- Metaandmed
- miljon
- puuduvad
- ML
- mudel
- mudelid
- rohkem
- film
- nimi
- Natural
- Natural Language Processing
- Vajadus
- vajadustele
- Neptuun
- võrgupõhine
- võrgustikud
- närvivõrgud
- Uus
- sõlmed
- märkmik
- Office
- jätkuv
- originaal
- Muu
- üldine
- enda
- pakend
- parameeter
- parameetrid
- osa
- kirg
- torujuhe
- Platon
- Platoni andmete intelligentsus
- PlatoData
- võimalik
- post
- võim
- sisse
- ennustada
- prognoosimine
- Valmistama
- trükk
- probleeme
- protsess
- töötlemine
- Toodet
- profiil
- anda
- annab
- valik
- hinnangust
- Töötlemata
- Lugemine
- soovitama
- Soovitus
- soovitused
- soovitades
- seotud
- Suhted
- jääma
- meeles pidama
- kõrvaldama
- Aruandlus
- nõutav
- Vahendid
- Tulemused
- säilitamine
- salveitegija
- sama
- TEADUSED
- teadlane
- Otsing
- otsimine
- Seeria
- teenus
- Teenused
- komplekt
- kehtestamine
- peaks
- näitama
- lahendus
- Lahendused
- LAHENDAGE
- Lahendab
- spetsialiseerunud
- Kestab
- algus
- olek
- Samm
- Sammud
- salvestada
- esitama
- selline
- Kostüüm
- Uuring
- süsteemid
- suunatud
- ülesanded
- tehnikat
- Tehnoloogia
- .
- Piirkond
- oma
- Läbi
- aeg
- pealkirjad
- et
- Rong
- koolitus
- Muutma
- tõsi
- juhendaja
- tv
- mõistmine
- kasutama
- kasutage juhtumit
- Kasutaja
- väärtuslik
- väärtus
- suur
- versioon
- vertikaalid
- nägemus
- kuidas
- nädalat
- M
- mis
- lai
- Lai valik
- will
- töö
- töötab
- Sinu
- sephyrnet