للوهلة الأولى ، قد تبدو هذه الأنواع من الأمثلة مسلية ولكنها أقل إثارة للاهتمام ، ولا صلة لها بنشر وكلاء في العالم الحقيقي ، حيث لا توجد أخطاء محاكاة. ومع ذلك ، فإن المشكلة الأساسية ليست هي الخطأ نفسه ولكن فشل التجريد الذي يمكن أن يستغله الوكيل. في المثال أعلاه ، تم تحديد خطأ مهمة الروبوت بشكل خاطئ بسبب الافتراضات غير الصحيحة حول فيزياء المحاكاة. وبالمثل ، قد يتم تحديد خطأ مهمة تحسين حركة المرور في العالم الحقيقي عن طريق افتراض خطأ أن البنية التحتية لتوجيه حركة المرور لا تحتوي على أخطاء برمجية أو ثغرات أمنية يمكن أن يكتشفها عميل ذكي بما فيه الكفاية. لا يلزم إجراء مثل هذه الافتراضات بشكل صريح - على الأرجح ، فهي تفاصيل لم تحدث أبدًا للمصمم. ومع تزايد صعوبة تعقيد المهام بحيث يتعذر النظر في كل التفاصيل ، من المرجح أن يقدم الباحثون افتراضات غير صحيحة أثناء تصميم المواصفات. يطرح هذا السؤال: هل من الممكن تصميم معماريات الوكيل التي تصحح لمثل هذه الافتراضات الزائفة بدلاً من اللعب بها؟
أحد الافتراضات الشائعة في مواصفات المهمة هو أن مواصفات المهمة لا يمكن أن تتأثر بإجراءات الوكيل. هذا صحيح بالنسبة للعامل الذي يعمل في جهاز محاكاة وضع الحماية ، ولكن ليس بالنسبة للعامل الذي يعمل في العالم الحقيقي. أي مواصفات مهمة لها مظهر مادي: وظيفة المكافأة المخزنة على جهاز الكمبيوتر ، أو التفضيلات المخزنة في رأس الإنسان. يمكن للعميل المنتشر في العالم الحقيقي أن يتلاعب بهذه التصورات للهدف ، مما يخلق عبث العبث مشكلة. بالنسبة لنظام تحسين حركة المرور الافتراضي لدينا ، لا يوجد فرق واضح بين تلبية تفضيلات المستخدم (على سبيل المثال من خلال إعطاء اتجاهات مفيدة) ، و التأثير على المستخدمين الحصول على تفضيلات يسهل إرضائها (مثل دفعها لاختيار وجهات يسهل الوصول إليها). الأول يفي بالهدف ، في حين أن الأخير يتلاعب بتمثيل الهدف في العالم (تفضيلات المستخدم) ، وكلاهما يؤدي إلى مكافأة عالية لنظام الذكاء الاصطناعي. كمثال آخر أكثر تطرفًا ، يمكن لنظام AI المتقدم جدًا أن يخطف الكمبيوتر الذي يعمل عليه ، مما يضبط إشارة المكافأة يدويًا إلى قيمة عالية.
المصدر: https://deepmind.com/blog/article/Specification-gaming-the-flip-side-of-AI-ingenuity