İlk bakışta bu tür örnekler eğlenceli görünebilir ancak daha az ilgi çekicidir ve simülatör hatalarının olmadığı gerçek dünyada ajanların konuşlandırılmasıyla ilgisiz olabilir. Ancak altta yatan sorun hatanın kendisi değil, aracı tarafından istismar edilebilecek soyutlamanın başarısızlığıdır. Yukarıdaki örnekte, simülatör fiziğiyle ilgili yanlış varsayımlar nedeniyle robotun görevi yanlış belirtildi. Benzer şekilde, gerçek dünyadaki bir trafik optimizasyon görevi, trafik yönlendirme altyapısının yeterince akıllı bir aracının keşfedebileceği yazılım hatalarına veya güvenlik açıklarına sahip olmadığı hatalı bir şekilde varsayılarak yanlış belirtilebilir. Bu tür varsayımların açıkça yapılmasına gerek yoktur; büyük ihtimalle bunlar tasarımcının aklına hiç gelmemiş ayrıntılardır. Görevler her ayrıntıyı dikkate alamayacak kadar karmaşık hale geldikçe, araştırmacıların spesifikasyon tasarımı sırasında yanlış varsayımlarda bulunma olasılıkları daha da artıyor. Bu şu soruyu gündeme getiriyor: Bu tür yanlış varsayımlarla oynamak yerine onları düzelten etmen mimarileri tasarlamak mümkün mü?
Görev spesifikasyonunda yaygın olarak yapılan bir varsayım, görev spesifikasyonunun aracının eylemlerinden etkilenemeyeceğidir. Bu, korumalı alanda çalışan bir simülatörde çalışan bir aracı için doğrudur ancak gerçek dünyada hareket eden bir aracı için geçerli değildir. Herhangi bir görev spesifikasyonunun fiziksel bir tezahürü vardır: bilgisayarda saklanan bir ödül işlevi veya bir insanın kafasında saklanan tercihler. Gerçek dünyada konuşlandırılan bir etmen, hedefin bu temsillerini potansiyel olarak manipüle edebilir ve ödül tahrifatı sorun. Varsayımsal trafik optimizasyon sistemimiz için, kullanıcının tercihlerinin karşılanması (örn. faydalı talimatlar vererek) ve kullanıcıları etkilemek tatmin edilmesi daha kolay tercihlere sahip olmak (örneğin, ulaşılması daha kolay olan varış yerlerini seçmeleri için onları dürtmek). Birincisi hedefi karşılarken, ikincisi hedefin dünyadaki temsilini (kullanıcı tercihleri) manipüle eder ve her ikisi de yapay zeka sistemi için yüksek ödülle sonuçlanır. Daha uç bir örnek olarak, çok gelişmiş bir yapay zeka sistemi, üzerinde çalıştığı bilgisayarı ele geçirebilir ve ödül sinyalini manuel olarak yüksek bir değere ayarlayabilir.
Kaynak: https://deepmind.com/blog/article/Specification-gaming-the-flip-side-of-AI-ingenuity