Tämä kolmiosainen sarja näyttää kuinka käyttää graafihermoverkkoja (GNN) ja Amazonin Neptuuni luodaksesi elokuvasuosituksia käyttämällä IMDb ja Box Office Mojo Movies/TV/OTT lisensoitava tietopaketti, joka tarjoaa laajan valikoiman viihteen metatietoja, mukaan lukien yli miljardi käyttäjäarviota; hyvitykset yli 1 miljoonalle näyttelijälle ja miehistön jäsenelle; 11 miljoonaa elokuva-, TV- ja viihdenimikettä; ja maailmanlaajuiset lipputulojen raportointitiedot yli 9 maasta. Monet AWS-media- ja viihdeasiakkaat lisensoivat IMDb-tietoja AWS-tiedonvaihto parantaa sisällön löytämistä ja lisätä asiakkaiden sitoutumista ja säilyttämistä.
In Osa 1, keskustelimme GNN-sovelluksista ja siitä, kuinka IMDb-tietomme muunnetaan ja valmistetaan kyselyä varten. Tässä viestissä keskustelemme prosessista, jolla Neptunen avulla luodaan upotuksia, joita käytetään luettelon ulkopuoliseen hakuun osassa 3 . Käymme myös yli Amazon Neptune ML, Neptunen koneoppimisominaisuus (ML) ja koodi, jota käytämme kehitysprosessissamme. Osassa 3 käymme läpi, miten tietokaavioiden upotuksia voidaan soveltaa luettelon ulkopuoliseen hakuun.
Ratkaisun yleiskatsaus
Suuret yhdistetyt tietojoukot sisältävät usein arvokasta tietoa, jota voi olla vaikea poimia pelkästään ihmisen intuitioon perustuvilla kyselyillä. ML-tekniikat voivat auttaa löytämään piilotettuja korrelaatioita kaavioista, joissa on miljardeja suhteita. Nämä korrelaatiot voivat olla hyödyllisiä tuotteiden suosittelemisessa, luottokelpoisuuden ennustamisessa, petosten tunnistamisessa ja monissa muissa käyttötapauksissa.
Neptune ML mahdollistaa hyödyllisten ML-mallien rakentamisen ja harjoittamisen suurille kaavioille tunneissa viikkojen sijaan. Tämän saavuttamiseksi Neptune ML käyttää GNN-teknologiaa Amazon Sage Maker ja Syvän kuvaajan kirjasto (DGL) (mikä on avoimen lähdekoodin). GNN:t ovat nouseva ala tekoälyssä (katso esimerkiksi Kattava kysely graafisen hermoverkoista). Katso käytännönläheinen opetusohjelma GNN:ien käyttämisestä DGL:n kanssa Graafisten hermoverkkojen oppiminen Deep Graph Libraryn avulla.
Tässä viestissä näytämme, kuinka Neptunea käytetään prosessissamme upotusten luomiseen.
Seuraava kaavio kuvaa IMDb-tietojen kokonaisvirran latauksesta upotuksen sukupolveen.
Käytämme ratkaisun toteuttamiseen seuraavia AWS-palveluita:
Tässä viestissä opastamme sinua seuraavien korkean tason vaiheiden läpi:
- Määritä ympäristömuuttujat
- Luo vientityö.
- Luo tietojenkäsittelytyö.
- Lähetä koulutustyö.
- Lataa upotukset.
Koodi Neptune ML -komentoille
Käytämme seuraavia komentoja osana tämän ratkaisun toteuttamista:
Käytämme neptune_ml export
tarkistaaksesi tilan tai aloittaaksesi Neptune ML -vientiprosessin ja neptune_ml training
aloittaaksesi ja tarkistaaksesi Neptune ML -mallin koulutustyön tilan.
Lisätietoja näistä ja muista komennoista on kohdassa Neptune-työpöytätaikojen käyttäminen muistikirjoissasi.
Edellytykset
Jotta voit seurata tätä viestiä, sinulla on oltava seuraavat tiedot:
- An AWS-tili
- SageMakerin, Amazon S3:n ja AWS CloudFormationin tuntemus
- Neptune-klusteriin ladatut kaaviotiedot (katso Osa 1 Lisätietoja)
Määritä ympäristömuuttujat
Ennen kuin aloitamme, sinun on määritettävä ympäristösi asettamalla seuraavat muuttujat: s3_bucket_uri
ja processed_folder
. s3_bucket_uri
on osassa 1 käytetyn kauhan nimi ja processed_folder
on Amazon S3 -sijainti vientityön tulosteelle.
Luo vientityö
Osassa 1 loimme SageMaker-muistikirjan ja vientipalvelun datamme viemiseksi Neptune DB -klusterista Amazon S3:een vaaditussa muodossa.
Nyt kun tietomme on ladattu ja vientipalvelu on luotu, meidän on luotava vientityö aloittaa sen. Tätä varten käytämme NeptuneExportApiUri
ja luo parametrit vientityölle. Seuraavassa koodissa käytämme muuttujia expo
ja export_params
. Sarja expo
oman NeptuneExportApiUri
arvo, jonka löydät osoitteesta Lähdöt CloudFormation-pinosi välilehti. varten export_params
, käytämme Neptune-klusterisi päätepistettä ja annamme arvon outputS3path
, joka on Amazon S3 -sijainti vientityön tulosteelle.
Lähetä vientityö käyttämällä seuraavaa komentoa:
Voit tarkistaa vientityön tilan käyttämällä seuraavaa komentoa:
Kun työsi on valmis, aseta processed_folder
muuttuja, joka antaa käsiteltyjen tulosten Amazon S3 -sijainnin:
Luo tietojenkäsittelytyö
Nyt kun vienti on tehty, luomme tietojenkäsittelytyön valmistelemaan tiedot Neptune ML -koulutusprosessia varten. Tämä voidaan tehdä muutamalla eri tavalla. Tässä vaiheessa voit muuttaa job_name
ja modelType
muuttujia, mutta kaikkien muiden parametrien on pysyttävä samoina. Tämän koodin pääosa on modelType
parametri, joka voi olla joko heterogeenisiä graafimalleja (heterogeneous
) tai tietokaavioita (kge
).
Vientityö sisältää myös training-data-configuration.json
. Käytä tätä tiedostoa lisätäksesi tai poistaaksesi solmuja tai reunoja, joita et halua tarjota harjoitteluun (jos esimerkiksi haluat ennustaa kahden solmun välisen linkin, voit poistaa linkin tästä asetustiedostosta). Tässä blogikirjoituksessa käytämme alkuperäistä asetustiedostoa. Katso lisätietoja Harjoitusmääritystiedoston muokkaaminen.
Luo tietojenkäsittelytyösi seuraavalla koodilla:
Voit tarkistaa vientityön tilan käyttämällä seuraavaa komentoa:
Lähetä koulutustyö
Kun käsittelytyö on valmis, voimme aloittaa koulutustyömme, jossa luomme upotuksemme. Suosittelemme ilmentymätyyppiä ml.m5.24xlarge, mutta voit muuttaa tämän vastaamaan laskentatarpeitasi. Katso seuraava koodi:
Tulostamme train_results-muuttujan saadaksemme koulutustyön tunnuksen. Käytä seuraavaa komentoa tarkistaaksesi työsi tilan:
%neptune_ml training status --job-id {training_results['id']} --store-to training_status_results
Lataa upotukset
Kun harjoitustyösi on valmis, viimeinen vaihe on ladata raaka-upotuksesi. Seuraavat vaiheet osoittavat, kuinka voit ladata KGE:llä luotuja upotuksia (voit käyttää samaa prosessia RGCN:lle).
Seuraavassa koodissa käytämme neptune_ml.get_mapping()
ja get_embeddings()
ladataksesi kartoitustiedoston (mapping.info
) ja raaka upotustiedosto (entity.npy
). Sitten meidän on yhdistettävä sopivat upotukset niitä vastaaviin tunnuksiin.
Lataa RGCN:t noudattamalla samaa prosessia uudella koulutustyön nimellä käsittelemällä tiedot ModelType-parametrilla heterogeneous
, ja harjoittele sitten mallisi modelName-parametrilla rgcn
nähdä tätä Lisätietoja. Kun se on valmis, soita get_mapping
ja get_embeddings
toiminnot uuden lataamiseen mapping.info ja entity.npy tiedostot. Kun olet saanut entiteetin ja kartoitustiedostot, CSV-tiedoston luontiprosessi on identtinen.
Lataa lopuksi upotuksesi haluamaasi Amazon S3 -sijaintiin:
Muista muistaa tämä S3-sijainti, sinun on käytettävä sitä osassa 3.
Puhdistaa
Kun olet lopettanut ratkaisun käytön, muista puhdistaa kaikki resurssit välttääksesi jatkuvat veloitukset.
Yhteenveto
Tässä viestissä keskustelimme Neptune ML:n käyttämisestä GNN-upotusten kouluttamiseen IMDb-tiedoista.
Joitakin tietokaavioiden upottamiseen liittyviä sovelluksia ovat esimerkiksi luettelon ulkopuolinen haku, sisältösuositukset, kohdistettu mainonta, puuttuvien linkkien ennustaminen, yleinen haku ja kohorttianalyysi. Luettelon ulkopuolinen haku on prosessi, jossa etsitään sisältöä, jota et omista, ja etsitään tai suositellaan luettelossasi olevaa sisältöä, joka on mahdollisimman lähellä käyttäjän etsimää sisältöä. Sukellaan syvemmälle luettelon ulkopuoliseen hakuun osassa 3.
Tietoja Tekijät
Matthew Rhodes on datatutkija, jonka työskentelen Amazon ML Solutions Labissa. Hän on erikoistunut rakentamaan koneoppimisputkia, jotka sisältävät sellaisia käsitteitä kuin Natural Language Processing ja Computer Vision.
Divya Bhargavi on Data Scientist ja Media and Entertainment Vertical Lead Amazon ML Solutions Labissa, jossa hän ratkaisee arvokkaita liiketoimintaongelmia AWS-asiakkaille koneoppimisen avulla. Hän työskentelee kuvien/videoiden ymmärtämisen, tietokaavioiden suositusjärjestelmien ja ennakoivan mainonnan käyttötapausten parissa.
Gaurav Rele on datatieteilijä Amazon ML Solution Labissa, jossa hän työskentelee AWS-asiakkaiden kanssa eri toimialoilla nopeuttaakseen koneoppimisen ja AWS Cloud -palvelujen käyttöä liiketoimintahaasteensa ratkaisemiseksi.
Karan Sindwani on tietotutkija Amazon ML Solutions Labissa, jossa hän rakentaa ja ottaa käyttöön syväoppimismalleja. Hän on erikoistunut tietokonenäköön. Vapaa-ajallaan hän harrastaa patikointia.
Soji Adeshina on AWS:n soveltuva tutkija, jossa hän kehittää graafin neuroverkkopohjaisia malleja koneoppimiseen graafitehtävissä, joissa on sovelluksia petokseen ja väärinkäyttöön, tietokaavioita, suosittelujärjestelmiä ja biotieteitä. Vapaa-ajallaan hän nauttii lukemisesta ja ruoanlaitosta.
Vidya Sagar Ravipati on johtaja Amazon ML Solutions Labissa, jossa hän hyödyntää laajaa kokemustaan laajamittaisista hajautetuista järjestelmistä ja intohimoaan koneoppimiseen auttaakseen AWS-asiakkaita eri toimialoilla nopeuttamaan tekoälyn ja pilven käyttöönottoa.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/part-2-power-recommendations-and-search-using-an-imdb-knowledge-graph/
- 1
- 10
- 100
- 11
- 116
- 7
- 9
- a
- Meistä
- hyväksikäyttö
- kiihdyttää
- poikki
- lisä-
- lisäinformaatio
- Hyväksyminen
- mainonta
- Jälkeen
- AI
- Kaikki
- yksin
- Amazon
- Amazon ML Solutions Lab
- analyysi
- ja
- sovellukset
- sovellettu
- käyttää
- sopiva
- ALUE
- keinotekoinen
- tekoäly
- AWS
- perustua
- välillä
- Miljardi
- miljardeja
- Uutiset ja media
- Laatikko
- lippumyymälä
- rakentaa
- Rakentaminen
- rakentaa
- liiketoiminta
- soittaa
- tapaus
- tapauksissa
- luettelo
- haasteet
- muuttaa
- maksut
- tarkastaa
- lähellä
- pilvi
- pilvien hyväksyminen
- pilvipalvelut
- Cluster
- koodi
- kohortti
- täydellinen
- kattava
- tietokone
- Tietokoneen visio
- tietojenkäsittely
- käsitteet
- Suorittaa
- Konfigurointi
- kytketty
- pitoisuus
- vastaava
- maahan
- luoda
- luotu
- pisteitä
- Laajuus
- asiakas
- Asiakkaan sitoutuminen
- Asiakkaat
- tiedot
- tietojenkäsittely
- tietojen tutkija
- aineistot
- syvä
- syvä oppiminen
- syvempää
- lauennut
- yksityiskohdat
- Kehitys
- kehittää
- dgl
- eri
- löytö
- pohtia
- keskusteltiin
- jaettu
- hajautetut järjestelmät
- Dont
- download
- myöskään
- syntymässä
- päätepiste
- sitoumus
- Viihde
- kokonaisuus
- ympäristö
- Eetteri (ETH)
- esimerkki
- experience
- vienti
- uute
- Ominaisuus
- harvat
- ala
- filee
- Asiakirjat
- Löytää
- löytäminen
- virtaus
- seurata
- jälkeen
- muoto
- petos
- alkaen
- koko
- tehtävät
- general
- tuottaa
- sukupolvi
- saada
- Global
- Go
- kaavio
- kaaviot
- käytännön
- Kova
- auttaa
- hyödyllinen
- kätketty
- korkean tason
- TUNTIA
- Miten
- Miten
- HTML
- HTTPS
- ihmisen
- identtinen
- tunnistaminen
- toteuttaa
- täytäntöönpanosta
- parantaa
- in
- sisältää
- Mukaan lukien
- Kasvaa
- indeksi
- teollisuus
- tiedot
- tiedot
- esimerkki
- sen sijaan
- Älykkyys
- aiheuttaa
- IT
- Job
- json
- avain
- tuntemus
- laboratorio
- Kieli
- suuri
- laaja
- Sukunimi
- johtaa
- oppiminen
- vipusuhteita
- Kirjasto
- Lisenssi
- elämä
- Life Sciences
- LINK
- linkit
- sijainti
- kone
- koneoppiminen
- tärkein
- TEE
- johtaja
- monet
- kartta
- kartoitus
- Media
- keskikokoinen
- Jäsenet
- Metadata
- miljoona
- puuttuva
- ML
- malli
- mallit
- lisää
- elokuva
- nimi
- Luonnollinen
- Luonnollinen kielen käsittely
- Tarve
- tarpeet
- Neptunus
- verkkopohjainen
- verkot
- hermoverkkoihin
- Uusi
- solmut
- muistikirja
- Office
- jatkuva
- alkuperäinen
- Muut
- yleinen
- oma
- paketti
- parametri
- parametrit
- osa
- intohimo
- putki
- Platon
- Platonin tietotieto
- PlatonData
- mahdollinen
- Kirje
- teho
- powered
- ennustaa
- ennustamiseen
- Valmistella
- Painaa
- ongelmia
- prosessi
- käsittely
- Tuotteemme
- Profiili
- toimittaa
- tarjoaa
- alue
- arviot
- raaka
- Lukeminen
- suositella
- Suositus
- suosituksia
- suositella
- liittyvä
- Ihmissuhteet
- jäädä
- muistaa
- poistaa
- Raportointi
- tarvitaan
- Esittelymateriaalit
- tulokset
- säilyttäminen
- sagemaker
- sama
- tieteet
- Tiedemies
- Haku
- haku
- Sarjat
- palvelu
- Palvelut
- setti
- asetus
- shouldnt
- näyttää
- ratkaisu
- Ratkaisumme
- SOLVE
- Ratkaisee
- erikoistunut
- pino
- Alkaa
- Tila
- Vaihe
- Askeleet
- verkkokaupasta
- antaa
- niin
- Puku
- Tutkimus
- järjestelmät
- kohdennettu
- tehtävät
- tekniikat
- Elektroniikka
- -
- Alue
- heidän
- Kautta
- aika
- otsikot
- että
- Juna
- koulutus
- Muuttaa
- totta
- oppitunti
- tv
- ymmärtäminen
- käyttää
- käyttölaukku
- käyttäjä
- arvokas
- arvo
- valtava
- versio
- pystysuunnassa
- visio
- tavalla
- viikkoa
- Mitä
- joka
- leveä
- Laaja valikoima
- tulee
- työskentely
- toimii
- Sinun
- zephyrnet