Şirketler, ürün portföylerine giderek artan bir şekilde yapay zeka (AI) yetenekleri ekledikçe, siber güvenlik uzmanları, makine öğrenimi (ML) bileşenlerinin yeni tür saldırılara karşı savunmasız olduğu ve korunmaları gerektiği konusunda uyarıyor.
19 Temmuz'da başlatılan Startup HiddenLayer, şirketlerin hassas makine öğrenimi modellerini ve bu modelleri eğitmek için kullanılan verileri daha iyi korumalarına yardımcı olmayı amaçlıyor. Şirket, modelleri saldırılara karşı güçlendirmeyi ve bu modelleri eğitmek için kullanılan verileri korumayı amaçlayan ML algılama ve yanıt segmentine yönelik ilk ürünlerini piyasaya sürdü.
Riskler teorik değil: HiddenLayer CEO'su Christopher Sestito, araştırmacıların kötü amaçlı yazılımları tespit etmek için şirketin AI motorunu atlamanın yollarını bulduğunda şirketin kurucularının Cylance'te çalıştığını söylüyor.
“Ürünün kendisi aracılığıyla modele saldırdılar ve modelle yeterince etkileşime girerek… modelin en zayıf olduğu yeri belirlediler” diyor.
Sestito, daha fazla şirket bu özellikleri ürünlerine dahil ettikçe AI/ML sistemlerine yönelik saldırıların artmasını bekliyor.
“AI ve ML, şimdiye kadar gördüğümüz en hızlı büyüyen teknolojiler, bu yüzden onların şimdiye kadar gördüğümüz en hızlı büyüyen saldırı vektörleri olmalarını bekliyoruz” diyor.
Makine Öğrenimi Modelindeki Kusurlar
Makine öğrenimi, birçok şirketin yeni nesil ürünleri için olmazsa olmaz hale geldi, ancak işletmeler genellikle güvenlik etkilerini dikkate almadan AI tabanlı özellikler ekler. Tehditlerin arasında, Cylance'e karşı yürütülen araştırma gibi model kaçırma ve saldırganların bir modeli sorgulayabileceği ve çıktılara dayalı olarak işlevsel bir eşdeğer sistem oluşturabileceği işlevsel çıkarma yer alır.
İki yıl önce Microsoft, MITRE ve diğer şirketler Düşmanca Makine Öğrenimi Tehdit Matrisini oluşturdu AI tabanlı sistemlere karşı potansiyel tehditleri kataloglamak. Şimdi olarak yeniden markalandı Yapay Zeka Sistemleri (ATLAS) için Çelişkili Tehdit Manzarası, olası saldırılar sözlüğü, yenilikçi teknolojilerin yenilikçi saldırıları çekeceğini vurgulamaktadır.
"Belirli yazılım ve donanım sistemlerine bağlı geleneksel siber güvenlik açıklarından farklı olarak, rakip makine öğrenimi güvenlik açıkları, makine öğrenimi algoritmalarının altında yatan doğal sınırlamalar tarafından etkinleştirilir." GitHub'daki ATLAS proje sayfası. “Veriler, ortaya çıkan tehdit vektörlerini ve hızla gelişen düşmanca makine öğrenimi saldırı yaşam döngüsünü yansıtmak için siber düşman davranışlarını nasıl modellediğimizin bir uzantısını gerektiren yeni yollarla silahlaştırılabilir.”
Pratik tehdit, Cylance'te birlikte çalışan HiddenLayer'ın üç kurucusu - Sestito, Tanner Burns ve James Ballard - tarafından iyi bilinmektedir. O zamanlar Skylight Cyber'daki araştırmacılar ekli bilinen iyi kod - aslında, Rocket League'in yürütülebilir oyunundan alınan bir dizi dizi - Cylance'in teknolojisini kötü amaçlı yazılımların %84'ünün aslında iyi huylu olduğuna inandırmak için.
Sestito, "Makine öğrenimi modelimize doğrudan ürünümüz aracılığıyla saldırıya uğradıktan sonra yardım çabalarına öncülük ettik ve bunun, ürünlerinde ML modelleri kullanan herhangi bir kuruluş için çok büyük bir sorun olacağını fark ettik" dedi. HiddenLayer'ın lansmanını açıklayan bir bildiri.
Gerçek Zamanlı Düşman Aramak
HiddenLayer, ML sistemlerinin çalışmasını izleyebilen ve verilere veya hesaplamalara erişime ihtiyaç duymadan, bilinen rakip yöntemlerden birini kullanarak yazılımın saldırıya uğrayıp uğramadığını belirleyebilen bir sistem oluşturmayı amaçlar.
Sestito, "Modellerle davranışsal etkileşimlere bakıyoruz - bu bir IP adresi veya uç nokta olabilir" diyor. Modelin amaçlandığı gibi kullanılıp kullanılmadığını veya girdi ve çıktılardan yararlanılıp yararlanılmadığını veya talep edenin çok yüksek entropi kararları alıp almadığını analiz ediyoruz.
Gerçek zamanlı olarak davranış analizi yapabilme yeteneği, şirketin makine öğrenimi algılamasını ve yanıtını diğer yaklaşımlardan ayırıyor, diyor. HiddenLayer ayrıca, teknolojinin belirli modele veya eğitim verilerine erişim gerektirmediğini ve fikri mülkiyeti daha da yalıttığını söylüyor.
Sestito, yaklaşımın aynı zamanda güvenlik aracısının ek yükünün 1 veya 2 milisaniye civarında küçük olduğu anlamına geldiğini söylüyor.
"Ham veriler vektörleştirildikten sonra girdilere bakıyoruz, bu nedenle çok az performans artışı var" diyor.
