AWS'de Gelişmiş Sürücü Yardım Sistemleri (ADAS) için modüler işlev tasarımı

Son 10 yılda, bazı oyuncular derin sinir ağları (DNN'ler) kullanan otonom araç (AV) sistemleri geliştirdi. Bu sistemler, basit kural tabanlı sistemlerden Gelişmiş Sürücü Destek Sistemlerine (ADAS) ve tamamen otonom araçlara dönüşmüştür. Bu sistemlerin eğitilmesi için petabaytlarca veri ve binlerce bilgi işlem birimi (vCPU'lar ve GPU'lar) gerekir.

Bu gönderi, oluşturma yaklaşımlarını, ADAS'ın farklı işlevsel birimlerini, modüler bir boru hattı oluşturmaya yönelik tasarım yaklaşımlarını ve bir ADAS sistemi oluşturmanın zorluklarını kapsar.

DNN eğitim yöntemleri ve tasarımı

AV sistemleri derin sinir ağları ile inşa edilmiştir. Bir AV sisteminin tasarımı söz konusu olduğunda, iki ana yaklaşım vardır. Fark, DNN'lerin nasıl eğitildiğine ve sistem sınırına bağlıdır.

• modüler eğitim – Modüler bir boru hattı tasarımıyla, sistem bireysel işlevsel birimlere bölünür (örneğin, algılama, yerelleştirme, tahmin ve planlama). Bu, birçok AV sistem sağlayıcısı tarafından kullanılan yaygın bir tasarım paradigmasıdır. Tüm sistem ayrı modüllere bölündüğünden, bunlar bağımsız olarak oluşturulabilir ve eğitilebilir.
• Uçtan uca eğitim – Bu yaklaşım, ham sensör verilerini girdi olarak alan ve sürüş komutunu veren bir DNN modelinin eğitilmesini içerir. Bu yekpare bir mimaridir ve esas olarak araştırmacılar tarafından araştırılır. DNN mimarisi tipik olarak bir ödül/ceza sistemine dayalı takviyeli öğrenmeye (RL) veya aracı süren bir insanı gözlemleyerek taklit öğrenmeye (IL) dayanır. Genel mimari basit olsa da, yekpare yapıyı yorumlamak ve teşhis etmek zordur. Ancak, sistem insan davranışı yoluyla toplanan verilerden öğrendiği için ek açıklamalar ucuzdur.

Araştırmacılar, bu iki yaklaşıma ek olarak, bir ara temsille birbirine bağlanan iki farklı DNN'yi eğiten hibrit bir yaklaşımı da araştırıyorlar.

Bu gönderi, modüler boru hattı yaklaşımına dayalı işlevleri açıklamaktadır.

Otomasyon seviyeleri

SAE International (eski adıyla Otomotiv Mühendisleri Topluluğu) J3016 standardı sürüş otomasyonunun altı seviyesini tanımlar ve sürüş otomasyonu için en çok atıfta bulunulan kaynaktır. Bu, aşağıdaki tabloda gösterildiği gibi Seviye 0'dan (otomasyon yok) Seviye 5'e (tam sürüş otomasyonu) kadar değişir.

seviye	Name	Özellikler(Hazırlık aşamasında)
0	Sürüş Otomasyonu Yok	İnsan tahrikleri
1	Sürüş yardımı	İnsan tahrikleri
2	Kısmi sürüş otomasyonu	İnsan tahrikleri
3	Koşullu sürüş otomasyonu	Yedek olarak insan ile sistem sürücüleri
4	Yüksek sürüş otomasyonu	Sistem sürücüleri
5	Tam sürüş otomasyonu	Sistem sürücüleri

modüler fonksiyonlar

Aşağıdaki diyagram, modüler fonksiyon tasarımına genel bir bakış sağlar.

Daha yüksek otomasyon seviyelerinde (Seviye 2 ve üstü), AD sistemi birden çok işlevi yerine getirir:

• Bilgi toplama – AV sistemi, aracın çevresi hakkında gerçek zamanlı olarak santimetre hassasiyetinde bilgi toplar. Araç çeşitli cihazlarla donatılmıştır ve bu cihazların işlevleri çeşitli şekillerde değişir ve kesişir. AV hala gelişmekte olan bir alandır ve bağlı sensör ve cihaz türlerinin fikir birliği ve standardizasyonu yoktur. Burada listelenen cihazlara ek olarak, araçlarda ayrıca navigasyon için GPS bulunabilir ve doğrusal ve açısal ivmeyi ölçmek için haritalar ve Ataletsel Ölçüm Birimleri (IMU'lar) kullanılabilir. ADAS sisteminin türüne bağlı olarak, aşağıdaki cihazların bir kombinasyonunu göreceksiniz:
  • Kameralar – Kavramsal olarak insan algısına benzeyen görsel cihazlar. Yüksek çözünürlüğü destekler, ancak derinlemesine tahminde kötüdür ve aşırı hava koşullarının üstesinden gelir.
  • LiDAR – 3B nokta bulutu olarak çevre hakkında veri sağlayan pahalı cihazlar. Doğru derinlik ve hız tahmini sağlar.
  • ultrasonik bilimi – Küçük, ucuz sensörler ancak yalnızca kısa mesafelerde iyi çalışır.
  • Radar – Uzun ve kısa menzilleri destekler ve düşük görüş ve aşırı hava koşullarında iyi çalışır.
• Veri birleştirme – AV sisteminin parçası olan birden fazla cihaz sinyal sağlar ancak sınırlamaları vardır; ancak, cihazlardaki sinyaller tamamlayıcı bilgiler sağlar. AV sistemleri, kapsamlı bir algı oluşturmak için birbirine entegre edilmiş cihazlardan gelen verileri birleştirir. Bu entegre veri seti, DNN'yi eğitmek için kullanılır.
• Algı – AV sistemleri, engeller, trafik işaretleri ve diğer nesneler dahil olmak üzere aracın etrafındaki ortam hakkında bilgi oluşturmak için cihazlardan toplanan ham verileri analiz eder. buna denir yol sahnesi algısı ya da sadece algı. Nesneleri algılamayı ve bunları yakındaki araçlar, yayalar, trafik ışıkları ve trafik işaretleri olarak sınıflandırmayı içerir. Bu işlev derinliği ölçer ve şerit algılama, şerit eğriliği tahmini, kaldırım algılama ve kapatma işlemlerini gerçekleştirir. Bu bilgi, yol planlama ve rota optimizasyonu için anahtardır.
• Yerelleştirme ve haritalama – Aracı güvenli bir şekilde çalıştırmak ve optimize etmek için AV sistemleri, algı tarafından algılanan nesnelerin konumunun anlaşılmasına ihtiyaç duyar. AV sistemi bir 3B harita oluşturur ve ana aracın konumunu günceller (ego aracı) ve çevresi haritada. Algılanan nesneleri ve mevcut konumlarını izler. Gelişmiş sistemler, hareket halindeki nesnelerin kinematiğini tahmin eder.
• Tahmin – AV sistemleri, diğer modüllerden toplanan bilgilerle ortamın yakın geleceğinin nasıl değişeceğini tahmin eder. Araç üzerinde çalışan DNN, zaman içindeki kinematik durumları (konum, hız, ivme, sarsıntı) yansıtarak ego aracın konumunu ve çevreleyen nesne etkileşimlerini tahmin eder. Potansiyel trafik ihlallerini ve çarpışmaları veya yakın çarpışmaları tahmin edebilir.
• Yol planlaması – Bu işlev, algı, yerelleştirme ve tahminden gelen girdilere dayalı olarak aracın bir sonraki eylem olarak izleyebileceği olası rotaları çizmekten sorumludur. Mümkün olan en iyi rotayı planlamak için AV sistemi girdi olarak yerelleştirme, haritalar, GPS verileri ve tahminleri alır. Bazı AV sistemleri, bir 3B harita sağlamak için ego aracının ve diğer nesnelerin kinematiğini statik bir rotaya yansıtarak kuşbakışı bir görünüm oluşturur. Bazıları diğer araçlardan gelen verileri de birleştirir. Genel olarak planlama işlevi, sürücü konforunu en üst düzeye çıkarmak amacıyla tüm olası rotalar arasından en uygun rotayı bulur (örneğin, yumuşak dönüşler ve keskin dönüşler, yavaşlama ve durma işaretlerinde aniden durma).
• Kontrol ve yürütme – Direksiyonu hızlandırmak, yavaşlatmak, durdurmak ve döndürmek için rota planlayıcıdan girdi alır. Kontrolörün amacı, planlanan yörüngeyi sürdürmektir.
• Eğitim hattı – Araçla ilgili tahminler sağlayan DNN'lerin eğitilmesi gerekir. Genellikle araçlardan toplanan verilerle çevrimdışı bir şekilde eğitilirler. Eğitim, uzun bir süre için binlerce bilgi işlem birimi gerektirir. Eğitmek için gereken veri miktarı ve gerekli bilgi işlem gücü, model mimarisine ve AV sistemi sağlayıcısına göre değişir. DNN'leri eğitmek için, AV sistemi sağlayıcısı, kısmen insanlar tarafından açıklama eklenmiş ve kısmen otomatikleştirilmiş etiketlenmiş verilere ihtiyaç duyar. Tipik olarak, plaka numarası ve yüz gibi kişisel olarak tanımlanabilir bilgiler (PII), bulanıklaştırma yoluyla anonimleştirilir. Birçok sağlayıcı, etiketlenmiş verileri simülasyonla zenginleştirir. Belirli senaryolar için veri üretme ve gerçek dünya verilerini artırma yeteneği sağlar. AV sistemi sağlayıcıları ayrıca eğitim, ince ayar ve son vakaları ele almak için ilgili verileri araştırmak için araçlardan yararlanır. Eğitilen modeller, çevrimdışı simülasyonla doğruluk açısından doğrulanır. Bazı sağlayıcılar, atıl bir model stratejisi kullanır ve aday modelleri (hareketsiz) üretim modelleriyle yan yana devreye alır. Hareketsiz modellerden gelen tahminler aracı kontrol etmek için kullanılmasa da, sağlayıcıların gerçek dünya senaryolarında modelin doğruluğunu doğrulamasına yardımcı olur.

Zorluklar

AV iş yükleri için DNN'lerin büyük hacimli verilerle eğitilmesi gerekir. DNN'leri eğitmek, büyük hacimli eğitim verilerini işlemek ve modeller ve veri paralelliği ile eğitimi optimize etmek için faktörleri göz önünde bulundurmak üzere ölçeklenebilir bir bilgi işlem altyapısına ihtiyacınız olacaktır.

Büyük hacimli verilerle eğitim

AV sistemleri, araca bağlı cihazlardan büyük miktarda veri toplar. AV sistemi sağlayıcısına bağlı olarak, araç filosu bir avuçtan binlerce araca kadar değişir. Aşağıdakiler, bir AV sistem sağlayıcısının karşılaşabileceği bazı tipik zorluklardır:

• Petabaytlarca verinin toplanması, ön işlenmesi ve depolanması – Her araç, her 40 saatlik sürüş için 8 TB'tan fazla veri toplar.
• Büyük hacimli verilerden ilgili temsil verilerinin tanımlanması – Bu, yaygın senaryoların (engel ile normal hızda sürüş) sınıf dengesizliği yaratmaması için veri kümelerindeki önyargıları azaltmak için önemlidir. Daha iyi doğruluk elde etmek için, DNN'ler büyük hacimlerde çeşitli, kaliteli veriler gerektirir.
• Köşe kasaların hacmi – ML modellerinin çok çeşitli köşe durumlarını işlemesi gerekir. AV sisteminin güvenliğini sağlamak için bu çok önemlidir.
• Antrenman vakti – Çok büyük miktarda veri göz önüne alındığında, eğitim süresi genellikle birden fazla gün ve hatta haftalardır. Bu, geliştirme hızını ve hızlı başarısız olma yeteneğini azaltır.

Büyük değer sorununu çözmek için, Amazon Adaçayı Yapıcı dağıtılmış veri paralellik özelliği (SMDDP). SageMaker, tümüyle yönetilen bir makine öğrenimi (ML) hizmetidir. Veri paralelliği ile, büyük miktarda veri toplu işlere bölünür. Veri blokları, düğüm adı verilen birden fazla CPU veya GPU'ya gönderilir ve sonuçlar birleştirilir. Her düğümün DNN'nin bir kopyası vardır. SageMaker geliştirdi dağıtılmış veri paralel kitaplığı, verileri düğüm başına böler ve düğümler arasındaki iletişimi optimize eder. SageMaker Python SDK'yı, eğitim betiğinde minimum değişiklikle veri paralelliği olan bir işi tetiklemek için kullanabilirsiniz. Veri paralelliği, popüler derin öğrenme çerçeveleri PyTorch, PyTorch Lightening, TensorFlow ve Hugging Face Transformers'ı destekler.

Hyundai motor şirketi, otonom sürüş modellerinin eğitim süresini azaltmak için SageMaker veri paralelliğini kullandı ve her biri 90 GPU'ya sahip sekiz örnekle %8'ın üzerinde ölçeklendirme verimliliği elde etti. Aşağıdaki diyagram bu mimariyi göstermektedir.

Daha fazla ayrıntı için bkz. Hyundai, Amazon SageMaker kullanarak otonom sürüş modelleri için makine öğrenimi modeli eğitim süresini kısaltıyor.

SageMaker ile dağıtılmış eğitim hakkında daha fazla bilgi için AWS re:Invent 2020 videosuna bakın. Amazon SageMaker'da DataParallel ile hızlı eğitim ve neredeyse doğrusal ölçeklendirme ve Amazon SageMaker'ın dağıtılmış eğitim motorlarının arkasındaki bilim.

Büyük hacimli verileri etiketleme

Eğitim boru hattı, büyük hacimli etiketli veri kümeleri gerektirir. Müşterilerimizin karşılaştığı yaygın zorluklardan biri, görüntü, video ve sensörü (örneğin, 3B nokta bulutu) etiketlemek için açıklama araçlarının geliştirilmesidir; nesne tespiti için özel iş akışları; ve semantik bölümleme görevleri. İş akışlarınızı özelleştirme yeteneğine ihtiyacınız var.

Amazon SageMaker Yer Gerçeği özel iş akışları oluşturmak ve yönetmek için esneklik sağlayan, tam olarak yönetilen bir veri etiketleme hizmetidir. Ground Truth ile nesne algılama, nesne izleme ve semantik segmentasyon görevleri için görüntü, video ve nokta bulutu verilerini etiketleyebilirsiniz. Araçlardan toplanan ve şirket içinde depolanan verileri aşağıdakiler gibi bir veri aktarım mekanizması kullanarak AWS'ye aktarabilirsiniz: AWS Depolama Ağ Geçidi, AWS Doğrudan Bağlan, AWS Veri Eşzamanlama, AWS Kartopuya da AWS Transfer Ailesi. Veriler ön işlendikten sonra (bulanık yüzler ve araç plakaları gibi), temizlenen veri kümesi etiketleme için hazırdır. Ground Truth, kameralardan gelen video girişleriyle LiDAR verilerinin sensör füzyonunu destekler. İnsan notlayıcıları kullanmayı seçebilirsiniz. Amazon Mekanik Türk, güvenilir üçüncü taraf sağlayıcılar veya kendi özel iş gücünüz.

Aşağıdaki şekilde, kullanarak verileri ön işlemek için bir referans mimarisi sağlıyoruz. AWS Toplu İş ve veri setlerini etiketlemek için Ground Truth'u kullanmak.

Daha fazla bilgi için, bkz. Saha Notları: Otonom Araç Geliştirme için Veri Alımının ve Etiketlemenin Otomatikleştirilmesi ve Amazon SageMaker Ground Truth'da 3B nesne izleme ve sensör füzyonu için verileri etiketleme.

3D nokta bulutu verilerini etiketlemek için Ground Truth'u kullanma hakkında daha fazla bilgi için bkz. 3B Nokta Bulutlarını Etiketlemek için Yer Gerçeğini Kullanın.

Eğitim altyapısı

AV sistemleri olgunlaştıkça, DNN'lerin birden çok uç durumla (örneğin, otoyollarda yürüyen insanlar) başa çıkmak için eğitilmesi gerekir ve model karmaşık ve büyük hale gelir. Bu, DNN'lerin kaydedilen verilerin madenciliğinden elde edilen daha fazla veriyle veya daha yeni senaryoları ele almak için simülasyonlar yoluyla eğitilmesiyle sonuçlanır. Bu, daha fazla bilgi işlem kapasitesi ve ölçeklenebilir bilgi işlem altyapısı gerektirir.

Makine öğrenimi iş yükleri için bilgi işlem gereksinimlerini desteklemek amacıyla SageMaker, eğitim için birden çok örnek türü sağlar. Her aile, birkaç belirli iş yükü için tasarlanmıştır; örneklerin vCPU, GPU, bellek, depolama ve ağ yapılandırmalarına göre seçim yapabilirsiniz. Tam, uçtan uca AV geliştirme için şirketler büyük ölçüde m, c, g ve p ailelerine güvenir.

Bazı müşterilerimiz, NVIDIA GPU tabanlı başlatmak için Derin Öğrenme AMI'lerimizi (DLAMI) kullanıyor Amazon Elastik Bilgi İşlem Bulutu (Amazon EC2) p ailesindeki bulut sunucuları. Her EC2 p ailesi bulut sunucusu nesli, p2 bulut sunucuları (Tesla K80), p3 bulut sunucuları (Volta V100) ve p4d bulut sunucuları (Ampere A100) dahil olmak üzere en son NVIDIA teknolojisini entegre eder.

Aşağıdaki şekil mevcut örnekleri özetlemektedir:

DNN'ler karmaşık olduğunda ve bir GPU'nun belleğine sığamadığında, SageMaker'ı kullanabilirsiniz. model paralellik kitaplığı. Bu, katmanları GPU'lar ve örnekler arasında böler. TensorFlow ve PyTorch modellerinizi minimum kod değişikliğiyle birden çok GPU'da ve birden çok düğümde otomatik olarak bölümlemek için kitaplığı kullanabilirsiniz.

MLO'lar

Gözden geçirilmiş modeller üzerinde deneyler yürüten veri bilimcilerden binlerce araca dağıtmaya kadar operasyonelleştirme söz konusu olduğunda, AV sistemi sağlayıcılarının çeşitli ihtiyaçlar için uçtan uca sorunsuz çalışan bir dizi araca ihtiyacı vardır:

• Geniş ölçekte veri toplama ve dönüştürme
• Modellerin otomatik analizi ve değerlendirmesi
• Veri boru hatlarının standardizasyonu
• Veri bilimcileri için deney tanımlama ve yürütme becerisi
• Model performansını izleme
• Uçtan uca otomasyon ile tekrarlanabilir bir süreç oluşturmak ve insan müdahalesini ortadan kaldırmak
• Eğitimli bir modeli milyonlarca araca hızlı bir şekilde dağıtmanızı sağlayan otomatikleştirilmiş model dağıtımı

SageMaker, kapsamlı MLOps araçları sağlar. Veri bilimcilerin kullanabileceği Amazon SageMaker Deneyleri, girişleri, parametreleri, yapılandırmaları ve yinelemelerin sonuçlarını deneme olarak otomatik olarak izler. Bu denemeleri deneyler halinde atayabilir, gruplandırabilir ve düzenleyebilirsiniz. Amazon SageMaker Model Monitörü makine öğrenimi modellerinizin kalitesini gerçek zamanlı olarak sürekli olarak izlemenize yardımcı olur. Veri kayması ve anormallikler gibi model kalitesinde sapmalar olduğunda bildirmek için otomatik uyarılar ayarlayabilirsiniz. Düzenleme söz konusu olduğunda, aşağıdakiler de dahil olmak üzere bir dizi seçenek arasından seçim yapabilirsiniz: SageMaker İşlem Hatları SDK'sı, AWS Basamak İşlevleri, Amazon Tarafından Yönetilen Apache Hava Akışı (Amazon MWAA) ve Kubeflow gibi açık kaynaklı araçlar.

Sonuç

Bu gönderide, ADAS'ın oluşturma yaklaşımlarını ve farklı işlevsel birimlerini, modüler bir ardışık düzen oluşturmak için birleşik bir çerçeveyi ve bir ADAS sistemi oluşturmanın zorluklarını ele aldık. Müşterilerimizin ölçeklenebilir bir AV sistemi oluşturmak için SageMaker'ı ve diğer AWS hizmetlerini nasıl kullandığını açıklayan örnek olay incelemeleri ve blog gönderileri için referans mimariler ve bağlantılar sağladık. Önerilen çözümler, müşterilerimizin ölçeklenebilir bir AV sistemi oluştururken karşılaştıkları zorlukların üstesinden gelmelerine yardımcı olabilir. Daha sonraki bir gönderide, ADAS sistemleri tarafından kullanılan DNN'leri derinlemesine inceleyeceğiz.

---

Yazarlar Hakkında

Shreyas Subramaniyen Baş AI/ML uzmanı Çözüm Mimarıdır ve AWS platformunu kullanarak iş zorluklarını çözmek için Makine Öğrenimini kullanarak müşterilere yardımcı olur. Shreyas, büyük ölçekli optimizasyon ve Makine Öğrenimi konusunda ve optimizasyon görevlerini hızlandırmak için Makine Öğrenimi ve Takviyeli Öğrenim kullanımı konusunda bir geçmişe sahiptir.

Gopi Krishnamurthy New York City merkezli Amazon Web Services'ta Kıdemli Yapay Zeka/ML Çözümleri Mimarıdır. Makine Öğrenimi iş yüklerini dönüştürmek ve buluta geçmek için büyük Otomotiv müşterileriyle onların güvenilir danışmanı olarak çalışıyor. Temel ilgi alanları arasında derin öğrenme ve sunucusuz teknolojiler yer alır. İş dışında ailesiyle vakit geçirmeyi ve çok çeşitli müzikleri keşfetmeyi seviyor.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/modular-functions-design-for-advanced-driver-assistance-systems-adas-on-aws/