Amazon SageMaker Otomatik Pilot özellik mühendisliği, eğitim, ayarlama ve çıkarım için bir ML modeli dağıtma adımlarını otomatikleştirerek uçtan uca bir makine öğrenimi (ML) iş akışını tamamlamanıza yardımcı olur. SageMaker Autopilot'a tablo şeklinde bir veri seti ve tahmin edilecek bir hedef özniteliği sağlarsınız. Ardından, SageMaker Autopilot verilerinizi otomatik olarak araştırır, eğitir, ayarlar, sıralamalar ve en iyi modeli bulur. Son olarak, bu modeli tek tıklamayla çıkarım için üretime yerleştirebilirsiniz.
Ne var ne yok?
Yeni başlatılan özellik, SageMaker Otopilot Modeli Kalite Raporları, şimdi modelinizin metriklerini regresyon ve sınıflandırma sorunları için modelinizin performansına ilişkin daha iyi görünürlük sağlamak için raporlar. Model skor tablosundaki en iyi model hakkında daha fazla bilgi toplamak için bu ölçümlerden yararlanabilirsiniz.
En iyi modelin "Model ayrıntıları" altındaki yeni bir "Performans" sekmesinde bulunan bu metrikler ve raporlar, karışıklık matrislerini, alıcı çalışma karakteristiği (AUC-ROC) eğrisinin altındaki bir alanı ve hassas geri çağırma eğrisinin altındaki bir alanı içerir. (AUC-PR). Bu ölçümler, en iyi model performans özelliklerini değerlendirmek için yanlış pozitifleri/yanlış negatifleri (FP'ler/FN'ler), gerçek pozitifler (TP'ler) ve yanlış pozitifler (FP'ler) arasındaki ödünleşimleri ve ayrıca kesinlik ve geri çağırma arasındaki ödünleşimleri anlamanıza yardımcı olur.
SageMaker Autopilot deneyini çalıştırma
Veri Kümesi
Biz kullanmak UCI'nin banka pazarlama veri seti SageMaker Otopilot Modeli Kalite Raporlarını göstermek için. Bu veriler, yaş, iş türü, medeni durum ve müşterinin bankada bir hesap açıp açmayacağını tahmin etmek için kullanacağımız diğer müşteri özelliklerini içerir. Veri seti bu hesaba vadeli mevduat olarak atıfta bulunmaktadır. Bu, durumumuzu bir ikili sınıflandırma problemi haline getirir - tahmin ya "evet" ya da "hayır" olacaktır. SageMaker Autopilot, potansiyel müşterileri en iyi şekilde tahmin etmek için bizim adımıza birkaç model oluşturacaktır. Ardından, SageMaker Autopilot'lar için Model Kalite Raporunu inceleyeceğiz. en iyi model.
Önkoşullar
Bir SageMaker Otomatik Pilot denemesi başlatmak için, önce verilerinizi bir Amazon Basit Depolama Hizmeti (Amazon S3) kova. Eğitim için kullanmak istediğiniz paketi ve öneki belirtin. Kovanın SageMaker Otopilot deneyi ile aynı Bölgede olduğundan emin olun. Ayrıca Kimlik ve Erişim Yönetimi (IAM) rolü Otomatik Pilotunun Amazon S3'teki verilere erişim izinlerine sahip olduğundan emin olmalısınız.
Deneyi oluşturma
SageMaker Studio'da bir SageMaker Autopilot deneyi oluşturmak için birkaç seçeneğiniz vardır. Yeni bir başlatıcı açarak SageMaker Autopilot'a doğrudan erişebilirsiniz. Değilse, sol taraftaki SageMaker kaynakları simgesini seçebilirsiniz. Ardından, seçebilirsiniz Deneyler ve denemeler açılır menüden.
- Denemenize bir ad verin.
- Amazon S3 paketini ve dosya adını seçerek veri kaynağınıza bağlanın.
- Amazon S3'te çıktı verilerinin konumunu seçin.
- Veri kümeniz için hedef sütunu seçin. Bu durumda, evet/hayır belirtmek için “y” sütununu hedefliyoruz.
- İsteğe bağlı olarak, SageMaker Autopilot'un bir model uç noktasını otomatik olarak dağıtmasını istiyorsanız bir uç nokta adı sağlayın.
- Diğer tüm gelişmiş ayarları varsayılan olarak bırakın ve Deneme Oluşturun.
Deneme tamamlandıktan sonra sonuçları SageMaker Studio'da görebilirsiniz. SageMaker Autopilot, eğittiği farklı modeller arasında en iyi modeli sunacak. Farklı denemeler için ayrıntıları ve sonuçları görüntüleyebilirsiniz, ancak Model Kalite Raporlarının kullanımını göstermek için en iyi modeli kullanacağız.
- Modeli seçin ve sağ tıklayın Model ayrıntılarında aç.
- Model ayrıntıları içinde, Performans sekme. Bu, model metriklerini görselleştirmeler ve grafikler aracılığıyla gösterir.
- Altında Performansseçin Performans Raporlarını İndirin PDF olarak.
SageMaker Otopilot Modeli Kalite Raporunu Yorumlama
Model Kalite Raporu, SageMaker Otopilot işini ve model ayrıntılarını özetler. Raporun PDF formatına odaklanacağız, ancak sonuçlara JSON olarak da erişebilirsiniz. SageMaker Autopilot, veri setimizi ikili sınıflandırma problemi olarak belirlediğinden, SageMaker Autopilot, F1 kalite metriği En iyi modeli bulmak için. SageMaker Autopilot bunu varsayılan olarak seçer. Ancak, doğruluk ve AUC gibi diğer objektif ölçütleri seçme esnekliği vardır. Modelimizin F1 puanı 0.61'dir. Bir F1 puanını yorumlamak için öncelikle çıktısı alınan PDF'deki Model Kalite Raporunda açıklanan bir karışıklık matrisini anlamak yardımcı olur.
Karışıklık Matrisi
Karışıklık matrisi, farklı sınıfları ve etiketleri karşılaştırarak model performansını görselleştirmeye yardımcı olur. SageMaker Otopilot deneyi, Model Kalite Raporunda gerçek etiketleri satırlar ve tahmin edilen etiketleri sütunlar olarak gösteren bir karışıklık matrisi oluşturdu. Sol üstteki kutu, model tarafından doğru olarak 'hayır' olarak tahmin edilen bankada hesap açmamış müşterileri gösterir. Bunlar gerçek negatifler (TN). Sağ alt kutu, model tarafından doğru olarak 'evet' olarak tahmin edilen bankada hesap açan müşterileri gösterir. Bunlar gerçek pozitifler (PT).
Sol alt köşede sayı gösterilir. yanlış negatifler (FN). Model, müşterinin bir hesap açmayacağını öngördü, ancak müşteri açtı. Sağ üst köşe, sayısını gösterir. yanlış pozitif (FP). Model, müşterinin bir hesap açacağını öngördü, ancak müşteri açtı değil aslında öyle yap.
Model Kalite Raporu Metrikleri
Model Kalite Raporu, aşağıdakilerin nasıl hesaplanacağını açıklar. yanlış pozitif oran (FPR) ve gerçek pozitif oran (TPR).
Geri Çağırma veya Yanlış Pozitif Oranı (FPR) bir hesap açarken yanlış tahmin edilen gerçek negatiflerin (pozitiflerin) oranını ölçer. Aralık 0 ila 1'dir ve daha küçük bir değer daha iyi bir tahmin doğruluğu gösterir.
FPR'nin ayrıca 1-Özgüllük olarak da ifade edildiğini unutmayın; burada Özgüllük veya Gerçek Negatif Oran (TNR), bir hesap açmadığı (negatifler) olarak doğru bir şekilde tanımlanan TN'lerin oranıdır.
Geri Çağırma/Hassasiyet/Gerçek Pozitif Oranı (TPR) hesap açma olarak tahmin edilen gerçek pozitiflerin oranını ölçer. Aralık ayrıca 0 ila 1'dir ve daha büyük bir değer daha iyi bir tahmin doğruluğu gösterir. Bu aynı zamanda Geri Çağırma/Hassasiyet olarak da bilinir. Bu ölçü, bir veri kümesindeki tüm ilgili örnekleri bulma yeteneğini ifade eder.
Hassas pozitif olarak tahmin edilen gerçek pozitiflerin tüm pozitif olarak tahmin edilenlerden oranını ölçer. Aralık 0 ila 1'dir ve daha büyük bir değer daha iyi doğruluğu gösterir. Kesinlik, modelimizin alakalı olduğunu söylediği ve gerçekten alakalı olan veri noktalarının oranını ifade eder. Hassasiyet, özellikle FP'nin maliyetleri yüksek olduğunda - örneğin e-posta spam algılaması gibi - dikkate alınması gereken iyi bir önlemdir.
Modelimiz 0.53 kesinlik ve 0.72 geri çağırma gösterir.
F1 Skoru kesinlik ve hatırlamanın harmonik ortalaması olan hedef metriğimizi gösterir. Veri setimiz birçok 'hayır' tahmini lehine dengesiz olduğundan, F1, kesinlik ve hatırlamaya aynı ağırlığı vermek için hem FP hem de FN'yi hesaba katar.
Rapor, bu metriklerin nasıl yorumlanacağını açıklar. Bu terimlere aşina değilseniz bu yardımcı olabilir. Örneğimizde, kesinlik ve hatırlama, F1 puanını hesaplamak için kullanıldıklarından, ikili sınıflandırma problemi için önemli ölçülerdir. Rapor, bir F1 puanının 0 ile 1 arasında değişebileceğini açıklıyor. Mümkün olan en iyi performans 1 puan alırken, 0 en kötüyü gösterir. Modelimizin F1 puanının 0.61 olduğunu unutmayın.
Fβ Puanı kesinlik ve hatırlamanın ağırlıklı harmonik ortalamasıdır. Ayrıca, F1 puanı β=1 ile Fβ ile aynıdır. Rapor, sınıflandırıcının Fβ Puanını sağlar; burada β 0.5, 1 ve 2'yi alır.
Metrik Tablosu
Soruna bağlı olarak, SageMaker Autopilot'un çok sınıflı bir sınıflandırma sorunu için doğruluk gibi başka bir ölçümü en üst düzeye çıkardığını görebilirsiniz. Sorun türünden bağımsız olarak Model Kalite Raporları, modelinizin hem satır içi hem de PDF raporunda bulunan ölçümlerini özetleyen bir tablo oluşturur. Metrik tablosu hakkında daha fazla bilgiyi şurada bulabilirsiniz: belgeleme.
En iyi sabit sınıflandırıcı – diğer daha karmaşık sınıflandırıcılarla karşılaştırmak için basit bir temel olarak hizmet eden bir sınıflandırıcı – her zaman kullanıcı tarafından sağlanan sabit bir çoğunluk etiketini tahmin eder. Bizim durumumuzda, 'sabit' bir model 'hayır'ı tahmin eder, çünkü bu en sık görülen sınıftır ve olumsuz bir etiket olarak kabul edilir. Eğitilmiş sınıflandırıcı modelleri (f1, f2 veya geri çağırma gibi) için metrikler, sabit sınıflandırıcı, yani taban çizgisi için olanlarla karşılaştırılabilir. Bu, eğitilmiş modelin sabit sınıflandırıcıdan daha iyi performans göstermesini sağlar. Fβ puanları (f0_5, f1 ve f2, burada β sırasıyla 0.5, 1 ve 2 değerlerini alır), kesinlik ve hatırlamanın ağırlıklı harmonik ortalamasıdır. Bu, optimal değerine 1'de ve en kötü değerine 0'da ulaşır.
Bizim durumumuzda, en iyi sabit sınıflandırıcı her zaman 'hayır'ı tahmin eder. Bu nedenle, doğruluk 0.89'da yüksektir, ancak hatırlama, kesinlik ve Fβ puanları 0'dır. Veri seti, tek bir çoğunluk veya azınlık sınıfının olmadığı yerde mükemmel bir şekilde dengelenmiş olsaydı, kesinlik, geri çağırma için çok daha ilginç olasılıklar görürdük. ve sabit sınıflandırıcının Fβ puanları.
Ayrıca bu sonuçları aşağıdaki örnekte gösterildiği gibi JSON formatında görüntüleyebilirsiniz. ΥKullanıcı arayüzü üzerinden hem PDF hem de JSON dosyalarına erişebilir, ayrıca Amazon SageMaker Python SDK'sı içinde S3OutputPath öğesini kullanarak ÇıktıVeriKonfigürasyonu yapısı Otomatik MLİşi Oluştur/AçıklamaAutoMLJob API yanıtı.
{ "version" : 0.0, "dataset" : { "item_count" : 9152, "evaluation_time" : "2022-03-16T20:49:18.661Z" }, "binary_classification_metrics" : { "confusion_matrix" : { "no" : { "no" : 7468, "yes" : 648 }, "yes" : { "no" : 295, "yes" : 741 } }, "recall" : { "value" : 0.7152509652509652, "standard_deviation" : 0.00439996600081394 }, "precision" : { "value" : 0.5334773218142549, "standard_deviation" : 0.007335840278445563 }, "accuracy" : { "value" : 0.8969624125874126, "standard_deviation" : 0.0011703516093899595 }, "recall_best_constant_classifier" : { "value" : 0.0, "standard_deviation" : 0.0 }, "precision_best_constant_classifier" : { "value" : 0.0, "standard_deviation" : 0.0 }, "accuracy_best_constant_classifier" : { "value" : 0.8868006993006993, "standard_deviation" : 0.0016707401772078998 }, "true_positive_rate" : { "value" : 0.7152509652509652, "standard_deviation" : 0.00439996600081394 }, "true_negative_rate" : { "value" : 0.9201577131591917, "standard_deviation" : 0.0010233756436643213 }, "false_positive_rate" : { "value" : 0.07984228684080828, "standard_deviation" : 0.0010233756436643403 }, "false_negative_rate" : { "value" : 0.2847490347490348, "standard_deviation" : 0.004399966000813983 },
………………….
ROC ve AUC
Sorun türüne bağlı olarak, neyin FPR olarak kabul edilebilir olduğuna ilişkin değişen eşikleriniz olabilir. Örneğin, bir müşterinin hesap açıp açmayacağını tahmin etmeye çalışıyorsanız, daha yüksek bir FP oranına sahip olmak işletme için daha kabul edilebilir olabilir. Yanlış tahmin edilen "evet" müşterilere teklif vermektense, yanlış olarak "hayır" olarak tahmin edilen müşterilere teklifleri kaçırmak daha riskli olabilir. Farklı FPR'ler üretmek için bu eşikleri değiştirmek, yeni karışıklık matrisleri oluşturmanızı gerektirir.
Sınıflandırma algoritmaları, tahmin olasılıkları olarak bilinen sürekli değerleri döndürür. Bu olasılıklar bir ikili değere dönüştürülmelidir (ikili sınıflandırma için). İkili sınıflandırma problemlerinde, bir eşik (veya karar eşiği), olasılıkları basit bir ikili karara ikiye bölen bir değerdir. 0 ile 1 aralığında normalleştirilmiş tahmini olasılıklar için, eşik varsayılan olarak 0.5'e ayarlanmıştır.
İkili sınıflandırma modelleri için, yararlı bir değerlendirme metriği, Alıcı Çalışma Karakteristiği (ROC) eğrisinin altındaki alandır. Model Kalite Raporu, y ekseni olarak TP oranı ve x ekseni olarak FPR ile bir ROC grafiği içerir. Alıcı çalışma karakteristiğinin (AUC-ROC) altındaki alan, TPR'ler ve FPR'ler arasındaki dengeyi temsil eder.
Bir eşik değeri kullanan bir ikili sınıflandırma tahmincisi alarak ve tahmin olasılıklarına sahip etiketler atayarak bir ROC eğrisi yaratırsınız. Bir modelin eşiğini değiştirdikçe, iki aşırı uçtan da kurtulursunuz. TPR ve FPR'nin her ikisi de 0 olduğunda, her şeyin "hayır" olarak etiketlendiği anlamına gelir ve hem TPR hem de FPR'nin 1 olduğu zaman, her şeyin "evet" olarak etiketlendiği anlamına gelir.
Zamanın yarısında "Evet" ve diğer yarısında "Hayır" olarak etiketleyen rastgele bir öngörücü, düz bir çapraz çizgi (kırmızı noktalı çizgi) olan bir ROC'ye sahip olacaktır. Bu çizgi, birim kareyi eşit büyüklükte iki üçgene böler. Bu nedenle, eğrinin altında kalan alan 0.5'tir. 0.5'lik bir AUC-ROC değeri, tahmincinizin iki sınıf arasında ayrım yapmada, bir müşterinin hesap açıp açmayacağını rastgele tahmin etmekten daha iyi olmadığı anlamına gelir. AUC-ROC değeri 1.0'a ne kadar yakınsa, tahminleri o kadar iyi olur. 0.5'in altındaki bir değer, bize verdiği cevabı tersine çevirerek modelimizin daha iyi tahminler üretmesini sağlayabileceğimizi gösterir. En iyi modelimiz için AUC 0.93'tür.
Hassas Geri Çağırma Eğrisi
Model Kalite Raporu ayrıca, ROC eğrisine çok benzer şekilde, farklı eşikler için kesinliği (y ekseni) ve geri çağırmayı (x ekseni) çizmek için bir Hassas Geri Çağırma (PR) Eğrisi oluşturdu. Bilgi Erişiminde sıklıkla kullanılan PR Eğrileri, sınıf dağılımında büyük bir çarpıklık olan sınıflandırma problemleri için ROC eğrilerine bir alternatiftir.
Bu sınıf dengesiz veri kümeleri için, PR Eğrileri özellikle azınlık pozitif sınıf çoğunluk negatif sınıftan daha ilginç olduğunda kullanışlı hale gelir. Modelimizin 0.53 kesinlik ve 0.72 geri çağırma gösterdiğini unutmayın. Ayrıca, en iyi sabit sınıflandırıcının 'evet' ve 'hayır' arasında ayrım yapamayacağını unutmayın. Her seferinde rastgele bir sınıf veya sabit bir sınıf tahmin ederdi.
'Evet' ve 'hayır' arasındaki dengeli bir veri kümesi için eğri 0.5'te yatay bir çizgi olacaktır ve bu nedenle PR eğrisi (AURPC) altında 0.5 olarak bir alana sahip olacaktır. PRC'yi oluşturmak için, ROC eğrisiyle aynı şekilde, değişen eşiklerde eğri üzerinde çeşitli modeller çizeriz. Verilerimiz için AUPRC 0.61'dir.
Model Kalite Raporu Çıktısı
Model Kalite Raporunu, SageMaker AutoPilot denemesini çalıştırmadan önce çıktı yolunu belirlerken belirttiğiniz Amazon S3 klasöründe bulabilirsiniz. Raporları altında bulabilirsiniz. documentation/model_monitor/output/<autopilot model name>/ prefix
PDF olarak kaydedildi.
Sonuç
SageMaker Otopilot Modeli Kalite Raporları, bir SageMaker Otopilot deneyinin sonuçlarını hızlı bir şekilde görmenizi ve paylaşmanızı kolaylaştırır. SageMaker Autopilot'u kullanarak model eğitimini ve ayarını kolayca tamamlayabilir ve ardından sonuçları yorumlamak için oluşturulan raporlara başvurabilirsiniz. İster SageMaker Autopilot'un en iyi modelini ister başka bir adayı kullanın, bu sonuçlar bir ön model eğitimi ve ayar işinin değerlendirilmesi için yararlı bir başlangıç noktası olabilir. SageMaker Otomatik Pilot Modeli Kalite Raporları, performans değerlendirmesi ve karşılaştırması için kod yazmak ve görseller üretmek için gereken süreyi azaltmaya yardımcı olur.
Bir veri bilimi ekibi oluşturmak zorunda kalmadan, autoML'yi bugün iş vakalarınıza kolayca dahil edebilirsiniz. Adaçayı Yapıcı belgeleme başlamanıza yardımcı olacak çok sayıda örnek sunar.
Yazarlar Hakkında
Peter Chung AWS için bir Çözüm Mimarıdır ve müşterilerin verilerinden içgörüler elde etmesine yardımcı olma konusunda tutkuludur. Hem kamu hem de özel sektörde kuruluşların veriye dayalı kararlar almasına yardımcı olacak çözümler geliştiriyor. Tüm AWS sertifikalarının yanı sıra iki GCP sertifikasına sahiptir. Kahveyi, yemek yapmayı, aktif olmayı ve ailesiyle vakit geçirmeyi seviyor.
Arunprasath Şankar AWS'li bir Yapay Zeka ve Makine Öğrenimi (AI / ML) Uzman Çözüm Mimarıdır ve küresel müşterilerin yapay zeka çözümlerini bulutta etkili ve verimli bir şekilde ölçeklendirmelerine yardımcı olur. Arun boş zamanlarında bilim kurgu filmleri izlemekten ve klasik müzik dinlemekten hoşlanıyor.
Ali Tekbiri bir AI/ML uzmanı Çözüm Mimarıdır ve AWS Bulut'ta iş zorluklarını çözmek için Makine Öğrenimi kullanarak müşterilere yardımcı olur.
Pradeep Reddy SageMaker Autopilot, SageMaker Automatic Model Tuner'ı içeren SageMaker Low/No Code ML ekibinde Kıdemli Ürün Müdürüdür. Pradeep, iş dışında, ahududu pi gibi avuç içi boyutundaki bilgisayarlar ve diğer ev otomasyon teknolojileri ile okumaktan, koşmaktan ve geek yapmaktan hoşlanıyor.
- Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
- KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/automatically-generate-model-evaluation-metrics-using-sagemaker-autopilot-model-quality-reports/
- "
- 100
- 7
- Hakkımızda
- erişim
- Hesap
- aktif
- ileri
- AI
- algoritmalar
- Türkiye
- Amazon
- arasında
- Başka
- api
- ALAN
- yapay
- yapay zeka
- Yapay Zeka ve Makine Öğrenimi
- öznitelikleri
- Otomasyon
- mevcut
- AWS
- Banka
- Temel
- müşterimiz
- İYİ
- sınır
- kutu
- inşa etmek
- bina
- iş
- durumlarda
- zorluklar
- Klinik
- sınıf
- sınıflar
- sınıflandırma
- yakın
- bulut
- kod
- Kahve
- Sütun
- karşılaştırıldığında
- karmaşık
- bilgisayarlar
- karışıklık
- içeren
- maliyetler
- olabilir
- çevrimiçi kurslar düzenliyorlar.
- Oluşturma
- eğri
- Müşteriler
- veri
- veri bilimi
- veri seti
- göstermek
- dağıtmak
- dağıtma
- Bulma
- DID
- farklı
- direkt olarak
- dağıtım
- kolayca
- E-posta
- Son nokta
- Mühendislik
- özellikle
- her şey
- örnek
- deneme
- aile
- Özellikler(Hazırlık aşamasında)
- Nihayet
- bulur
- Ad
- Esneklik
- odak
- takip etme
- biçim
- oluşturmak
- Küresel
- Tercih Etmenizin
- sahip olan
- yardım et
- faydalı
- yardımcı olur
- Yüksek
- daha yüksek
- tutar
- Ana Sayfa
- Ev otomasyonu
- Ne kadar
- Nasıl Yapılır
- HTTPS
- ICON
- Kimlik
- önemli
- dahil
- bilgi
- anlayışlar
- İstihbarat
- IT
- İş
- bilinen
- Etiketler
- büyük
- büyük
- ÖĞRENİN
- öğrenme
- Kaldıraç
- çizgi
- Dinleme
- yer
- makine
- makine öğrenme
- çoğunluk
- YAPAR
- yönetim
- müdür
- Pazarlama
- Matris
- ölçmek
- Metrikleri
- azınlık
- ML
- model
- modelleri
- Daha
- çoğu
- filmler
- Music
- numara
- sayısız
- teklif
- Teklifler
- açık
- açma
- işletme
- Opsiyonlar
- organizasyonlar
- Diğer
- tutkulu
- performans
- Nokta
- pozitif
- olanakları
- mümkün
- potansiyel
- tahmin
- tahmin
- Tahminler
- mevcut
- özel
- Sorun
- sorunlar
- üretmek
- PLATFORM
- üretim
- sağlamak
- sağlar
- halka açık
- kalite
- hızla
- menzil
- Okuma
- azaltmak
- uygun
- rapor
- Raporlar
- temsil
- Kaynaklar
- yanıt
- Sonuçlar
- koşu
- ölçek
- Bilim
- Sektörler
- set
- paylaş
- Basit
- So
- Çözümler
- ÇÖZMEK
- Spam
- Harcama
- kare
- başladı
- Durum
- hafızası
- stüdyo
- Hedef
- takım
- teknoloji
- İçinden
- zaman
- bugün
- TPR
- Eğitim
- trenler
- ui
- ortaya çıkarmak
- anlamak
- us
- kullanım
- değer
- çeşitli
- Görüntüle
- görünürlük
- olup olmadığını
- DSÖ
- olmadan
- İş
- olur