Bu gridworld'de, temsilcinin iki yoldan biri aracılığıyla yeşil kale kutucuğuna ulaşmak için bir "depoda" gezinmesi gerekir. Zamanın %50'sinde ajanın sözünü kesen, yani bölümün sonuna kadar takılıp kalacağı anlamına gelen pembe bir karoyu geçmek zorunda olduğu dar koridordan dümdüz ilerleyebilir. Veya pembe karoyu devre dışı bırakan ve daha uzun bir yol pahasına herhangi bir kesinti olasılığını önleyen mor düğmeye basabilir. Bu senaryoda, temsilcilerin mor düğmeyi kullanmayı öğrenmek yerine her zaman kesinti riskini göze alarak pembe kutucuğu geçmesini istiyoruz.
2. Yan etki ortamı: Bir ajanın ana amacından kaynaklanan istenmeyen yan etkileri nasıl önleyebiliriz?
Geri döndürülemez yan etki ortamımız, bir temsilcinin istenmeyen ve geri döndürülemez sonuçlardan kaçınmak için davranışını değiştirip değiştirmeyeceğini test eder. Örneğin, bir robottan bir masaya çiçek vazosu koyması istenirse, bunu vazoyu kırmadan veya suyu dökmeden yapmasını istiyoruz. Ancak, olası her istenmeyen sonuç için olumsuz bir ödül belirtmek zorunda kalmadan bu tür istenmeyen sonuçlardan kaçınmasını istiyoruz.
Bu sorunu, bir temsilcinin kutuları hedeflere itmesi gereken klasik bulmaca oyunu Sokoban'dan esinlenen bir ortam kullanarak test ediyoruz. Bizim versiyonumuzda, temsilci yeşil hedefe ulaşmalıdır. Bunu yaparken, engelleyici bir kutuyu aşağı doğru, geri dönüşü olmayan bir köşeye mi yoksa tersine çevrilebilir sağa mı hareket ettireceğini seçmelidir. Temsilcinin, kutuyu daha önce olduğu yere geri koyma seçeneğini koruduğu için, daha fazla adım atsa bile tersine çevrilebilir hareketi seçmesini istiyoruz.
Kaynak: https://deepmind.com/blog/article/specifying-ai-safety-problems