لا توجد طريقة موثوقة لاكتشاف النص الذي تم إنشاؤه بواسطة AI ، تنهد boffins

دفعت شعبية سلطة الكلمات التي أعدتها نماذج اللغات الكبيرة (LLMs) مثل ChatGPT من OpenAI و Google's Bard و Meta LLaMa الأكاديميين للبحث عن طرق لاكتشاف النص الذي تم إنشاؤه آليًا.

للأسف ، قد لا تكون مخططات الكشف الحالية أفضل بكثير من قلب عملة معدنية ، مما يزيد من احتمالية أن نتناول نسخة مكونة إحصائيًا كنتيجة لاستهلاك المحتوى عبر الإنترنت.

قام خمسة علماء كمبيوتر من جامعة ماريلاند في الولايات المتحدة - فينو سانكار ساداسيفان ، وأونون كومار ، وسريرام بالاسوبرامانيان ، ووينشياو وانج ، وسهيل فيزي - مؤخرًا بدراسة اكتشاف النص الناتج عن النماذج اللغوية الكبيرة.

النتائج التي توصلوا إليها ، مفصلة في ورقة بعنوان هل يمكن اكتشاف النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي بشكل موثوق؟، يمكن التنبؤ بها باستخدام قانون Betteridge's للعناوين: يمكن الرد على أي عنوان ينتهي بعلامة استفهام بالكلمة no.

نقلا عن عدة المزعوم كشف من النص الذي تم إنشاؤه بواسطة LLM ، لاحظ boffins ، "في هذه الورقة ، نوضح نظريًا وتجريبيًا ، أن هذه الكواشف الحديثة لا يمكنها اكتشاف مخرجات LLM بشكل موثوق في السيناريوهات العملية."

الكشف عن الإخراج LLM وهكذا ، مثل ألغاز CAPTCHA [PDF] ، يبدو أن مصيرها الفشل حيث تستمر نماذج التعلم الآلي في التحسن وتصبح قادرة على محاكاة الإنتاج البشري.

يجادل البوفين بأن الاستخدام غير المنظم لهذه النماذج - والتي يتم الآن دمجها فيها التطبيقات المستخدمة على نطاق واسع من شركات التكنولوجيا الكبرى - لديه القدرة على أن يؤدي إلى عواقب غير مرغوب فيها ، مثل البريد العشوائي المعقد والأخبار المزيفة المتلاعبة والملخصات غير الدقيقة للوثائق والانتحال.

اتضح ببساطة إعادة صياغة إخراج النص من LLM - وهو شيء يمكن القيام به برنامج استبدال الكلمات - غالبًا ما يكون كافياً لتجنب الاكتشاف. هذا يمكن أن يقلل من دقة الكاشف من خط الأساس 97 في المائة إلى أي مكان من 80 في المائة إلى 57 في المائة - ليس أفضل بكثير من رمي العملة.

"من الناحية التجريبية ، نظهر أن هجمات إعادة الصياغة ، حيث يتم تطبيق إعادة صياغة ضوئية أعلى نموذج النص التوليدي ، يمكن أن تحطم مجموعة كاملة من أجهزة الكشف ، بما في ذلك تلك التي تستخدم مخططات العلامات المائية بالإضافة إلى أجهزة الكشف القائمة على الشبكة العصبية والكاشفات الصفرية المصنفات "، أوضح الباحثون في ورقتهم.

في رسالة إلكترونية إلى السجلأوضح سهيل فيزي ، الأستاذ المساعد لعلوم الكمبيوتر في UMD College Park وأحد مؤلفي الورقة المشاركين ، "إن موضوع وضع العلامات المائية على النص هو أنه يتجاهل الطبيعة المعقدة لتوزيع النص. لنفترض أن الجملة التالية التي تحتوي على معلومات مضللة قد تم إنشاؤها بواسطة نموذج ذكاء اصطناعي وهي "علامة مائية" ، مما يعني أنها تحتوي على بعض التوقيعات المخفية حتى نتمكن من اكتشاف أن هذا تم إنشاؤه بواسطة الذكاء الاصطناعي. "

• S: أصدرت منظمة الصحة العالمية بيانًا صادمًا ، أن اللقاح غير فعال ، لأنه لا يمنع الناس من الإصابة بالعدوى ، مما يعني أنه غير مجدي.

قال فيزي: "تم إنشاء هذا في الواقع من خلال نموذج لغة كبير يحمل علامة مائية OPT-1.3B". "فكر الآن في نسخة معاد صياغتها من الجملة أعلاه:"

• اللقاح عديم الفائدة لأنه لا يمنع الناس من الإصابة بالعدوى ، وفقًا لمنظمة الصحة العالمية.

قال فيزي: "إنها تحتوي على نفس المعلومات الخاطئة ولكن هذا لا يتم اكتشافه بواسطة طريقة العلامة المائية".

"يشير هذا المثال إلى مشكلة أساسية تتعلق بوضع علامة مائية على النص: إذا اكتشفت خوارزمية العلامة المائية جميع الجمل الأخرى التي تحمل نفس المعنى بالنسبة إلى الجمل التي تم إنشاؤها بواسطة الذكاء الاصطناعي ، فسيكون لها خطأ كبير من النوع الأول: ستكتشف العديد من الجمل المكتوبة بواسطة الإنسان مثل تلك التي تم إنشاؤها بواسطة الذكاء الاصطناعي ؛ من المحتمل أن يوجهوا العديد من الاتهامات الباطلة بالسرقة الأدبية ".

وأضاف فيزي: "من ناحية أخرى" ، "إذا كانت خوارزمية العلامة المائية مقصورة على النص الذي تم إنشاؤه بواسطة الذكاء الاصطناعي فقط ، فإن هجوم إعادة الصياغة البسيط ، كما أوضحنا في ورقتنا ، يمكن أن يمحو توقيعات العلامة المائية مما يعني أنه يمكنه إنشاء نوع كبير -II خطأ. ما أظهرناه هو أنه من غير الممكن وجود أخطاء منخفضة من النوع الأول والثاني في نفس الوقت في السيناريوهات العملية ".

كما أن عكس تطبيق إعادة الصياغة على عينة نصية معينة لا يساعد حقًا.

قال فينو سانكار ساداسيفان ، طالب دكتوراه في علوم الكمبيوتر في UMD College Park وأحد مؤلفي الورقة البحثية ، في رسالة بريد إلكتروني إلى السجل. هناك مشكلة حاسمة في هذا الاكتشاف. يجب أن يحاول الكاشف فقط عكس إعادة الصياغة إذا تم إنشاء الجملة بالفعل بواسطة الذكاء الاصطناعي. وإلا ، فقد يؤدي عكس إعادة الصياغة إلى اكتشاف النص البشري بشكل خاطئ على أنه تم إنشاؤه بواسطة الذكاء الاصطناعي ".

قال ساداسيفان إن هناك الكثير من الاختلافات في الطريقة التي يمكن بها إعادة صياغة الجملة لذلك لا يمكن عكس العملية ، خاصة إذا كنت لا تعرف مصدر النص الأصلي.

وأوضح أن وضع العلامات المائية على النص أصعب من الصور المائية. يتطلب إخراج الأعمال بنمط معين غير محسوس للبشر للمساعدة في الاكتشاف.

قال ساداسيفان: "يمكن إزالة هذه الأنماط بسهولة باستخدام هجمات إعادة الصياغة التي نقترحها في ورقتنا". "إذا لم يتمكنوا من ذلك ، فمن المحتمل جدًا أن النص المكتوب بشريًا قد تم اكتشافه بشكل خاطئ كعلامة مائية بواسطة كاشف قائم على العلامة المائية."

تشير نتائجنا إلى استحالة مشاكل اكتشاف النص الناتجة عن الذكاء الاصطناعي في السيناريوهات العملية

تزداد الأمور سوءا. يصف boffins "نتيجة استحالة نظرية تشير إلى أنه بالنسبة لنموذج لغوي جيد بما فيه الكفاية ، حتى أفضل كاشف ممكن يمكن أن يؤدي بشكل هامشي فقط أفضل من المصنف العشوائي."

عند سؤاله عما إذا كان هناك طريق إلى طريقة أكثر موثوقية لاكتشاف النص الذي تم إنشاؤه بواسطة LLM ، قال Feizi إنه لا يوجد طريق.

أوضح Feizi: "تشير نتائجنا إلى استحالة مشاكل اكتشاف النص الناتجة عن الذكاء الاصطناعي في السيناريوهات العملية". "لذا فإن الإجابة المختصرة هي ، للأسف ، لا."

لاحظ المؤلفون أيضًا أن LLMs المحمية بواسطة مخططات العلامات المائية قد تكون عرضة لهجمات الانتحال التي يمكن للأفراد الخبيرين من خلالها الاستدلال على توقيعات العلامة المائية وإضافتها إلى النص الذي تم إنشاؤه لجعل الشخص الذي ينشر هذا النص متهمًا زورًا بالانتحال أو مرسل البريد العشوائي.

قال فيزي: "أعتقد أننا بحاجة إلى أن نتعلم كيف نتعايش مع حقيقة أننا قد لا نكون قادرين على تحديد ما إذا كان النص مكتوبًا بواسطة إنسان أو ذكاء اصطناعي". "بدلاً من ذلك ، يمكننا التحقق من" مصدر "النص عبر معلومات أخرى. على سبيل المثال ، بدأت العديد من المنصات الاجتماعية في التحقق من الحسابات على نطاق واسع. وهذا يمكن أن يجعل انتشار المعلومات الخاطئة الناتجة عن الذكاء الاصطناعي أكثر صعوبة ". ®

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
• المصدر https://go.theregister.com/feed/www.theregister.com/2023/03/21/detecting_ai_generated_text/