Bu üç bölümlük dizi, grafik sinir ağlarının (GNN'ler) nasıl kullanılacağını gösterir ve Amazon Neptün kullanarak film önerileri oluşturmak için IMDb ve Gişe Mojo Filmleri/TV/OTT 1 milyardan fazla kullanıcı derecelendirmesi dahil olmak üzere çok çeşitli eğlence meta verileri sağlayan lisanslanabilir veri paketi; 11 milyondan fazla oyuncu ve ekip üyesi için kredi; 9 milyon film, TV ve eğlence başlığı; ve 60'tan fazla ülkeden küresel gişe raporlama verileri. Birçok AWS medya ve eğlence müşterisi, IMDb verilerini şu yollarla lisanslar: AWS Veri Değişimi içerik keşfini iyileştirmek ve müşteri katılımını ve elde tutmayı artırmak.
In Bölüm 1, GNN'lerin uygulamalarını ve IMDb verilerimizi sorgulamaya nasıl dönüştürüp hazırlayacağımızı konuştuk. Bu gönderide, Bölüm 3'teki katalog dışı aramamızı yürütmek için kullanılan yerleştirmeleri oluşturmak için Neptün'ü kullanma sürecini tartışacağız. biz de geçelim Amazon Neptün ML, Neptune'ün makine öğrenimi (ML) özelliği ve geliştirme sürecimizde kullandığımız kod. 3. Bölümde, bilgi grafiği yerleştirmelerimizi katalog dışı bir arama kullanım senaryosuna nasıl uygulayacağımızı inceliyoruz.
Çözüme genel bakış
Büyük bağlantılı veri kümeleri genellikle yalnızca insan sezgisine dayalı sorgular kullanılarak çıkarılması zor olabilecek değerli bilgiler içerir. Makine öğrenimi teknikleri, milyarlarca ilişki içeren grafiklerde gizli bağıntıların bulunmasına yardımcı olabilir. Bu korelasyonlar, ürün önermek, kredi değerliliğini tahmin etmek, dolandırıcılığı belirlemek ve diğer birçok kullanım durumu için yardımcı olabilir.
Neptune ML, yararlı ML modellerini büyük grafikler üzerinde haftalar yerine saatler içinde oluşturmayı ve eğitmeyi mümkün kılar. Bunu başarmak için Neptune ML, GNN teknolojisini kullanır. Amazon Adaçayı Yapıcı ve Derin Grafik Kitaplığı (DGL) (hangisi açık kaynak). GNN'ler yapay zekada gelişmekte olan bir alandır (bir örnek için bkz. Grafik Sinir Ağları Üzerine Kapsamlı Bir Araştırma). GNN'leri DGL ile kullanma hakkında uygulamalı bir eğitim için, bkz. Deep Graph Library ile grafik sinir ağlarını öğrenme.
Bu yazıda, Neptune'ü yerleştirmeler oluşturmak için boru hattımızda nasıl kullanacağımızı gösteriyoruz.
Aşağıdaki diyagram, indirmeden yerleştirme oluşturmaya kadar IMDb verilerinin genel akışını göstermektedir.
Çözümü uygulamak için aşağıdaki AWS hizmetlerini kullanıyoruz:
Bu gönderide, aşağıdaki üst düzey adımlarda size yol göstereceğiz:
- Ortam değişkenlerini ayarlama
- Bir dışa aktarma işi oluşturun.
- Bir veri işleme işi oluşturun.
- Bir eğitim işi gönderin.
- Yerleştirmeleri indirin.
Neptune ML komutları için kod
Bu çözümü uygulamanın bir parçası olarak aşağıdaki komutları kullanıyoruz:
Biz kullanmak neptune_ml export
durumu kontrol etmek veya bir Neptune ML dışa aktarma işlemi başlatmak için ve neptune_ml training
Neptune ML modeli eğitim işini başlatmak ve durumunu kontrol etmek için.
Bunlar ve diğer komutlar hakkında daha fazla bilgi için bkz. Defterlerinizde Neptune tezgah büyülerini kullanma.
Önkoşullar
Bu gönderiyi takip etmek için aşağıdakilere sahip olmalısınız:
- An AWS hesabı
- SageMaker, Amazon S3 ve AWS CloudFormation'a aşinalık
- Neptün kümesine yüklenen grafik verileri (bkz. Bölüm 1 daha fazla bilgi için)
Ortam değişkenlerini ayarlama
Başlamadan önce, aşağıdaki değişkenleri ayarlayarak ortamınızı kurmanız gerekecek: s3_bucket_uri
ve processed_folder
. s3_bucket_uri
Bölüm 1'de kullanılan kovanın adıdır ve processed_folder
dışa aktarma işinden çıktı için Amazon S3 konumudur.
Bir dışa aktarma işi oluştur
1. Bölümde, verilerimizi Neptune DB kümesinden Amazon S3'e gereken biçimde dışa aktarmak için bir SageMaker not defteri ve dışa aktarma hizmeti oluşturduk.
Artık verilerimiz yüklendiğine ve dışa aktarma hizmeti oluşturulduğuna göre, onu başlatmak için bir dışa aktarma işi oluşturmamız gerekiyor. Bunu yapmak için kullanıyoruz NeptuneExportApiUri
ve dışa aktarma işi için parametreler oluşturun. Aşağıdaki kodda değişkenleri kullanıyoruz expo
ve export_params
. Ayarlamak expo
sizin için NeptuneExportApiUri
üzerinde bulabileceğiniz değer Çıkışlar CloudFormation yığınınızın sekmesi. İçin export_params
, Neptune kümenizin bitiş noktasını kullanırız ve şu değeri sağlarız: outputS3path
, dışa aktarma işinden çıktı için Amazon S3 konumudur.
Dışa aktarma işini göndermek için aşağıdaki komutu kullanın:
Dışa aktarma işinin durumunu kontrol etmek için aşağıdaki komutu kullanın:
İşiniz tamamlandıktan sonra, processed_folder
işlenen sonuçların Amazon S3 konumunu sağlamak için değişken:
Bir veri işleme işi oluşturun
Artık dışa aktarma işlemi yapıldığına göre, verileri Neptune ML eğitim sürecine hazırlamak için bir veri işleme işi oluşturuyoruz. Bu birkaç farklı yolla yapılabilir. Bu adım için değiştirebilirsiniz job_name
ve modelType
değişkenler, ancak diğer tüm parametreler aynı kalmalıdır. Bu kodun ana kısmı, modelType
Heterojen grafik modelleri olabilen parametre (heterogeneous
) veya bilgi grafikleri (kge
).
İhracat işi ayrıca şunları içerir: training-data-configuration.json
. Eğitim için sağlamak istemediğiniz düğümleri veya kenarları eklemek veya kaldırmak için bu dosyayı kullanın (örneğin, iki düğüm arasındaki bağlantıyı tahmin etmek istiyorsanız, bu bağlantıyı bu yapılandırma dosyasından kaldırabilirsiniz). Bu blog gönderisi için orijinal yapılandırma dosyasını kullanıyoruz. Ek bilgi için bkz. Bir eğitim yapılandırma dosyasını düzenleme.
Veri işleme işinizi aşağıdaki kodla oluşturun:
Dışa aktarma işinin durumunu kontrol etmek için aşağıdaki komutu kullanın:
Bir eğitim işi gönderin
İşleme işi tamamlandıktan sonra, yerleştirmelerimizi oluşturduğumuz eğitim işimize başlayabiliriz. Örnek türü olarak ml.m5.24xlarge öneririz, ancak bunu bilgi işlem gereksinimlerinize uyacak şekilde değiştirebilirsiniz. Aşağıdaki koda bakın:
Eğitim işinin kimliğini almak için training_results değişkenini yazdırıyoruz. İşinizin durumunu kontrol etmek için aşağıdaki komutu kullanın:
%neptune_ml training status --job-id {training_results['id']} --store-to training_status_results
Yerleştirmeleri indir
Eğitim işiniz tamamlandıktan sonra son adım, ham yerleştirmelerinizi indirmektir. Aşağıdaki adımlar, KGE kullanılarak oluşturulan yerleştirmeleri nasıl indireceğinizi gösterir (aynı işlemi RGCN için de kullanabilirsiniz).
Aşağıdaki kodda kullandığımız neptune_ml.get_mapping()
ve get_embeddings()
eşleme dosyasını indirmek için (mapping.info
) ve ham yerleştirmeler dosyası (entity.npy
). Ardından, uygun katıştırmaları karşılık gelen kimlikleriyle eşleştirmemiz gerekir.
RGCN'leri indirmek için, modelType parametresi olarak ayarlanan verileri işleyerek yeni bir eğitim işi adıyla aynı işlemi uygulayın. heterogeneous
, ardından modelinizi modelName parametresi olarak ayarlayarak eğitin rgcn
görmek okuyun daha fazla ayrıntı için. Bu bittiğinde, get_mapping
ve get_embeddings
yeninizi indirmek için işlevler haritalama.bilgi ve varlık.npy Dosyalar. Varlık ve eşleme dosyalarına sahip olduktan sonra, CSV dosyasını oluşturma işlemi aynıdır.
Son olarak, yerleştirmelerinizi istediğiniz Amazon S3 konumuna yükleyin:
Bu S3 konumunu hatırladığınızdan emin olun, Bölüm 3'te kullanmanız gerekecek.
Temizlemek
Çözümü kullanmayı bitirdiğinizde, devam eden ücretlerden kaçınmak için tüm kaynakları temizlediğinizden emin olun.
Sonuç
Bu gönderide, IMDb verilerinden GNN yerleştirmelerini eğitmek için Neptune ML'nin nasıl kullanılacağını tartıştık.
Bilgi grafiği yerleştirmelerinin ilgili bazı uygulamaları, katalog dışı arama, içerik önerileri, hedefli reklamcılık, eksik bağlantıları tahmin etme, genel arama ve kohort analizi gibi kavramlardır. Katalog dışı arama, sahibi olmadığınız içeriği arama ve kataloğunuzda kullanıcının aradıklarına mümkün olduğunca yakın içerik bulma veya önerme sürecidir. Bölüm 3'te katalog dışı aramayı daha derine iniyoruz.
Yazarlar Hakkında
Matthew Rodos Amazon ML Solutions Lab'de çalışan bir Veri Bilimcisi. Doğal Dil İşleme ve Bilgisayarla Görü gibi kavramları içeren Makine Öğrenimi ardışık düzenleri oluşturma konusunda uzmanlaşmıştır.
Divya Bhargavi Amazon ML Solutions Lab'de Veri Bilimcisi ve Medya ve Eğlence Sektörü Lideridir ve burada AWS müşterileri için yüksek değerli iş sorunlarını Makine Öğrenimi kullanarak çözmektedir. Görüntü/video anlayışı, bilgi grafiği öneri sistemleri, tahmine dayalı reklam kullanım senaryoları üzerinde çalışıyor.
Gaurav Rele Amazon ML Çözüm Laboratuvarı'nda Veri Bilimcisi olarak görev yapıyor ve iş zorluklarını çözmek için makine öğrenimi ve AWS Bulut hizmetlerini kullanmalarını hızlandırmak için farklı dikeylerdeki AWS müşterileriyle birlikte çalışıyor.
Karan Sindwani derin öğrenme modelleri oluşturduğu ve dağıttığı Amazon ML Solutions Lab'de bir Veri Bilimcisidir. Bilgisayarla görme alanında uzmandır. Boş zamanlarında yürüyüş yapmaktan hoşlanır.
Soji Adeşina dolandırıcılık ve kötüye kullanım, bilgi grafikleri, öneri sistemleri ve yaşam bilimleri uygulamaları ile grafik görevlerinde makine öğrenimi için grafik sinir ağı tabanlı modeller geliştirdiği AWS'de bir Uygulamalı Bilim İnsanıdır. Boş zamanlarında kitap okumaktan ve yemek yapmaktan hoşlanır.
Vidya Sagar Ravipati Amazon ML Solutions Lab'de Yöneticidir ve burada farklı sektör dikeylerindeki AWS müşterilerinin yapay zeka ve bulutu benimsemelerini hızlandırmalarına yardımcı olmak için büyük ölçekli dağıtık sistemlerdeki engin deneyiminden ve makine öğrenimine olan tutkusundan yararlanır.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/part-2-power-recommendations-and-search-using-an-imdb-knowledge-graph/
- 1
- 10
- 100
- 11
- 116
- 7
- 9
- a
- Hakkımızda
- taciz
- hızlandırmak
- karşısında
- Ek
- Ek Bilgi
- Benimseme
- reklâm
- Sonra
- AI
- Türkiye
- tek başına
- Amazon
- Amazon ML Çözümleri Laboratuvarı
- analiz
- ve
- uygulamaları
- uygulamalı
- Tamam
- uygun
- ALAN
- yapay
- yapay zeka
- AWS
- merkezli
- arasında
- Milyar
- milyarlarca
- Blog
- kutu
- gişe
- inşa etmek
- bina
- inşa
- iş
- çağrı
- dava
- durumlarda
- katalog
- zorluklar
- değişiklik
- yükler
- Kontrol
- Kapanış
- bulut
- bulut benimseme
- bulut hizmetleri
- Küme
- kod
- Kohort
- tamamlamak
- kapsamlı
- bilgisayar
- Bilgisayar görüşü
- bilgisayar
- kavramlar
- Davranış
- yapılandırma
- bağlı
- içerik
- uyan
- ülkeler
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- kredi
- Künye
- müşteri
- Müşteri katılımı
- Müşteriler
- veri
- veri işleme
- veri bilimcisi
- veri kümeleri
- derin
- derin öğrenme
- derin
- dağıtır
- ayrıntılar
- gelişme
- geliştirir
- dgl
- farklı
- keşif
- tartışmak
- tartışılan
- dağıtıldı
- dağıtılmış sistemler
- Dont
- indir
- ya
- ortaya çıkan
- Son nokta
- nişan
- Entertainment
- varlık
- çevre
- Eter (ETH)
- örnek
- deneyim
- ihracat
- çıkarmak
- Özellikler(Hazırlık aşamasında)
- az
- alan
- fileto
- dosyalar
- bulmak
- bulma
- akış
- takip et
- takip etme
- biçim
- dolandırıcılık
- itibaren
- tam
- fonksiyonlar
- genel
- oluşturmak
- nesil
- almak
- Küresel
- Go
- grafik
- grafikler
- hands-on
- Zor
- yardım et
- faydalı
- Gizli
- üst düzey
- SAAT
- Ne kadar
- Nasıl Yapılır
- HTML
- HTTPS
- insan
- özdeş
- belirlenmesi
- uygulamak
- uygulanması
- iyileştirmek
- in
- içerir
- Dahil olmak üzere
- Artırmak
- indeks
- sanayi
- bilgi
- bilgi
- örnek
- yerine
- İstihbarat
- dahil
- IT
- İş
- json
- anahtar
- bilgi
- laboratuvar
- dil
- büyük
- büyük ölçekli
- Soyad
- öncülük etmek
- öğrenme
- leverages
- Kütüphane
- Lisans
- hayat
- Yaşam Bilimleri
- LINK
- bağlantılar
- yer
- makine
- makine öğrenme
- Ana
- YAPAR
- müdür
- çok
- harita
- haritalama
- medya
- orta
- Üyeler
- Metadata
- milyon
- eksik
- ML
- model
- modelleri
- Daha
- film
- isim
- Doğal (Madenden)
- Doğal Dil İşleme
- gerek
- ihtiyaçlar
- Neptün
- ağ tabanlı
- ağlar
- nöral ağlar
- yeni
- düğümler
- defter
- Office
- devam
- orijinal
- Diğer
- tüm
- kendi
- paket
- parametre
- parametreler
- Bölüm
- tutku
- boru hattı
- Platon
- Plato Veri Zekası
- PlatoVeri
- mümkün
- Çivi
- güç kelimesini seçerim
- powered
- tahmin
- tahmin
- Hazırlamak
- sorunlar
- süreç
- işleme
- Ürünler
- Profil
- sağlamak
- sağlar
- menzil
- değerlendirme
- Çiğ
- Okuma
- tavsiye etmek
- Tavsiye
- tavsiyeler
- tavsiye
- ilgili
- İlişkiler
- kalmak
- hatırlamak
- Kaldır
- Raporlama
- gereklidir
- Kaynaklar
- Sonuçlar
- tutma
- sagemaker
- aynı
- BİLİMLERİ
- bilim adamı
- Ara
- arama
- Dizi
- hizmet
- Hizmetler
- set
- ayar
- meli
- şov
- çözüm
- Çözümler
- ÇÖZMEK
- çözer
- uzmanlaşmış
- yığın
- başlama
- Durum
- adım
- Basamaklar
- mağaza
- sunmak
- böyle
- Takım elbise
- Anket
- Sistemler
- Hedeflenen
- görevleri
- teknikleri
- Teknoloji
- The
- Alan
- ve bazı Asya
- İçinden
- zaman
- başlıkları
- için
- Tren
- Eğitim
- Dönüştürmek
- gerçek
- öğretici
- tv
- anlayış
- kullanım
- kullanım durumu
- kullanıcı
- Değerli
- değer
- Geniş
- versiyon
- sektörler
- vizyonumuz
- yolları
- Haftalar
- Ne
- hangi
- geniş
- Geniş ürün yelpazesi
- irade
- çalışma
- çalışır
- zefirnet