لم أتمكن من الوصول إلى بونتا كانا هذا العام لكنني سعيد (عن بعد) للأشخاص الذين تمكنوا من الوصول إلى هناك على الرغم من جميع قيود السفر! محتوى مميز بالداخل.
كان الخريف مشغولاً للغاية وأود تجربة تنسيق أقصر: كل موضوع كبير له "بقعة ضوء" واحدة العمل في الكتلة الرئيسية التي أجدها مثيرة للاهتمام بشكل خاص، والعديد من الأعمال ذات الصلة التي لها وصف أقصر قليلاً.
خطة اليوم:
- نماذج اللغة المعززة بال KG: التصنيف
- الذكاء الاصطناعي التحادثي: توقف عن الهلوسة يا أخي
- ربط الكيانات: في ظل الكيانات الضخمة
- KG البناء
- إجابة سؤال KG: أضف البعض سباركل
إذا كان هذا المحتوى التعليمي التفصيلي مفيدًا لك ، اشترك في القائمة البريدية لأبحاث الذكاء الاصطناعي ليتم تنبيهنا عندما نصدر مادة جديدة.
نماذج اللغة المعززة بال KG: التصنيف
تمثيل المعرفة العالمية العلائقية في نماذج اللغة السياقية: مراجعة بقلم تارا صفوي وداني كوترا
إذا كنت قارئًا متمرسًا لمثل هذه الملخصات (أو المنشورات السابقة) ، فأنت تعرف جيدًا وفرة LMs المعززة بال KG والتي يتم نشرها في كل مؤتمر وتحميلها إلى arxiv أسبوعياً. إذا كنت تشعر بالضياع - يمكنني أن أؤكد أنك لست الوحيد.
هذا العام ، لدينا أخيرًا إطار الصوت وتصنيف مختلف مناهج KG + LM! يحدد المؤلفون ثلاث عائلات كبيرة: 3⃣ لا يوجد إشراف على رياض الأطفال، وسبر المعرفة المشفرة في معلمات LM مع مطالبات بأسلوب مغلق؛ 1⃣ الإشراف على رياض الأطفال مع الكيانات والهويات؛ 2⃣ الإشراف على رياض الأطفال مع قوالب العلاقات والأشكال السطحية.
كل عائلة لديها عدد قليل من الفروع على سبيل المثال، دعونا نلقي نظرة على 4 نماذج مدركة للكيانات موضحة أدناه. متفاوتة من "أقل رمزية" إلى "أكثر رمزية"، تقوم بعض LMs بإخفاء نطاق الذكر، أو التعلم المتباين، أو دمج تضمينات الكيان من مفردات معروفة. قام المؤلفون بعمل رائع في تصنيف العشرات من البنيات الموجودة وفقًا لإطار العمل، ويبدو أنها أفضل تنظيمًا الآن. هناك حاجة إلى الكثير من العمل!
تركز بعض الأوراق القصيرة على إثراء LMs بـ KGs الطبية الحيوية ، وهو جهد طويل الأمد لتعليم LMs مجالًا طبيًا حيويًا محددًا عامية.
منغ وآخرون اقترح خليط من الأقسام (MoP) ، وهو LM يعتمد على محول الانصهار تقنية تقلل من الحاجة إلى التدريب المسبق على الكائنات الحية الدقيقة من نقطة الصفر. تم تدريب وزارة التخطيط على المفردات والأنطولوجيا الطبية الحيوية الشائعة UMLS و SNOMED CT.
سونغ وآخرون تطلب "هل يمكن أن تكون النماذج اللغوية قواعد المعرفة الطبية الحيوية؟" في اشارة الى ورقة EMNLP'19 الشهيرة من Petroni et al. الجواب إلى حد كبير لا. المصممون بيولاما، وهو معيار لسبر المعرفة الطبية الحيوية المبنية على UMLS وCTD وويكي بيانات. لقد وجدوا أن LMs الحديثة تحصل على دقة تقل عن 10% في تلك المجسات، لذلك يحتاج المجتمع بالتأكيد إلى شيء أكثر موثوقية .
الذكاء الاصطناعي التحادثي: توقف عن الهلوسة يا أخي
Neural Path Hunter: الحد من الهلوسة في أنظمة الحوار عبر تأريض المسار بقلم نهى دزيري ، أندريا مادوتو ، أوسمار زيان ، أفيشك جوي بوس
يعد إنشاء استجابات باستخدام نظام ConvAI بخلفية KG أمرًا صعبًا. في أنظمة خطوط الأنابيب التي تحتوي على العديد من المكونات ، تستخدم نماذج السطح (أسماء الكيانات) بشكل صارم وتلجأ في الغالب إلى القوالب ، و القوالب مملة وبالكاد يمكن صيانتها. من ناحية أخرى ، تنتج نماذج e2e التوليدية مثل GPT-2 و GPT-3 ردودًا أكثر تميزًا ولكنها غالبًا ما تكون مهلوسة ، أي أدخل أسماء كيانات خاطئة عندما لا تتوقع ذلك.
شرع مؤلفو هذا العمل في أ مطاردة للحد من الهلوسة مع اقتراح الإشراف على الروضة صياد المسار العصبي. أولا ، درسوا عدة أنواع الهلوسة ، من أين أتوا (في الغالب من عينات top-k) ، وكيفية تحديدها.
يتكون NPH نفسه من وحدتين: 1⃣ الناقد (LM غير الانحداري) الذي يقوم بالتصنيف الثنائي على الرموز المميزة؛ 2. مسترد الكيان لإصلاح أخطاء الكيان: هذه في الأساس ذاكرة كيان حيث تأتي تضمينات الكيان من GPT ويتم تحديثها باستخدام CompGCN باستخدام بنية الرسم البياني. يأتي المرشحون الأكثر قبولاً من تطبيق وظيفة تسجيل DistMult. هاهو!
يمكن إقران NPH مع أي تجارب LM مدربة مسبقًا على OpenDialKG المعيار مع GPT2-KG ، GPT2-KEو محول بوت تثبت انخفاضا كبيرا من الهلوسة وزيادة في الإخلاص. تشير دراسة أجريت على المستخدم إلى أن الهلوسة التي يقاسها الإنسان تقل بمقدار 2x تقريبًا في نماذج NPH
عمل آخر ذو صلة في هذا السياق: هونوفيتش وآخرون دراسة نفس المشكلة في أنظمة الحوار ولكن بدون خلفية KG واقتراح معيار جديد س² لقياس التناسق الواقعي لتوليد الأسئلة والإجابة على الأسئلة (من أين تأتي كلتا السؤالين ، إذا سألت).
إذا كنت مهتمًا بـ ConvAI ورياض الأطفال المنطقية - فتأكد من التحقق من CLUE (سبب المحادثة متعدد القفزات) بواسطة عربشاهي ، لي ، وآخرونيتضمن فكرة إذا- (حالة) ، ثم- (إجراء) ، لأن- (هدف) أنماط القواعد المنطقية والتفكير الرمزي.
ربط الكيان: في ظل العملاق
تقييم المتانة لإزالة غموض الكيان باستخدام تحقيقات سابقة: حالة تجاوز الكيان by فيرا بروفاتوروفا ، سفيتلانا فاكولينكو ، سامارث بهارجاف ، إيفانجيلوس كانولاس
عندما تقوم بتوصيل KGs في العالم الحقيقي لمهام اللغة التي ستواجهها حتمًا كيانات مختلفة التي لديها بالضبط نفس الاسم . لسوء الحظ، لا تستخدم البشرية تجزئات فريدة لجميع الكيانات في العالم، لذلك يظل توضيح الكيان خطوة مهمة في ربط الكيان.
على سبيل المثال ، ويكي بيانات 18 كيانًا على الأقل باسم "مايكل جوردان". غالبًا ما تعتمد أنظمة تعلم الإنجليزية على الإحصائيات الأساسية ونتائج الشعبية ، بحيث يطغى "مايكل جوردان لاعب كرة السلة" الأكثر شهرة على الأشخاص الأقل شهرة (في ثقافة البوب على الأقل).
يعالج المؤلفون هذه المشكلة ويقدمون مجموعة بيانات جديدة ، شادو لينكلقياس درجة الارتباك في أنظمة EL الحديثة. تبين أن أعلى درجة في F1 بالكاد تصل إلى 0.35 (إصدار حديث النوع ينتج 0.26) في الجزء الأصعب. جميع الأنظمة تشبع درجاتها في كيانات نادرة طويلة الذيل وتتعامل مع كيانات أكثر شيوعًا أيضًا. تمت صياغة التحدي الرئيسي على النحو التالي:ما يجعل المهمة صعبة هو مزيج من الغموض وعدم الشائع". أوصي المؤلفين بتحميل مجموعة البيانات إلى HuggingFace مجموعات البيانات لزيادة وضوح مشروعهم الرائع .
أرورا وآخرون اقترب من الكيان الذي يربط المشكلة من اتجاه آخر. الفكرة الرئيسية هي أن صحيح عين الكيانات في مستند (تتم معالجته بشكل مشترك ، وليس واحدًا تلو الآخر) امتداد رتبة متدنية فضاء جزئي في مساحة جميع الكيانات بما في ذلك المرشحين (راجع المثال المرئي أدناه). ال ثيمات النهج غير خاضع للإشراف إذا كان لديك حفلات زفاف مدربة مسبقًا - يستخدم المؤلفون DeepWalk عبر مجموعة فرعية باللغة الإنجليزية من Wikidata (بدلاً من ذلك ، يحاولون تضمين الكلمات ، لكنها لا تعمل بشكل جيد).
مماثلة من الناحية المفاهيمية مشكلة النزاعات القائمة على الكيانات تدرس من قبل لونجبري وآخرون، أي استبدال المعرفة - إذا قمت بقلب كيان حقيقي في فقرة إلى كيان عشوائي (أو متناقض)، فهل سيغير النموذج الإجابة؟ بمعنى آخر، هل تعتمد نماذج ضمان الجودة على قراءة السياق أو المعرفة المحفوظة؟ تبين ، عند تدريب نماذج ضمان الجودة مع هذه البدائل ، يمكنك زيادة تعميم OOD بهامش جيد!
أخيرًا، ألق نظرة على الاستطلاع الخاص بـ تيديشي وآخرون on "صافي القيمة المضافة لربط الكيانات: ما الذي ينجح وما هو التالي". يحدد المؤلفون التحديات الرئيسية في تعلم الإنجليزية ويحاولون معالجة التحديات ذات الصلة بـ NER في NER4EL تهدف إلى تقليل فجوة الأداء بين LMs الكبيرة المدربة مسبقًا والنماذج الأصغر حجمًا والتي لها أهمية خاصة في السيناريوهات منخفضة الموارد .
KG البناء
لم أتمكن من التوصل إلى سطر جذاب هنا: / إذا كنت تعمل في OpenIE و KG Construction ، فقد تكون الأوراق التالية ذات صلة.
دوجنين وآخرون اقترح ريجين، أسلوب لضبط LMs لأداء مهام Text2Graph وGraph2Text (أو ضبط النماذج المتخصصة). العنصر الرئيسي يقوم بإضافة خسارة RL (التدريب على التسلسل النقدي الذاتي) بالإضافة إلى الإنتروبيا القياسية (CE). يمكن إضافته بسهولة إلى أي LM مدرب مسبقًا - جربه المؤلفون باستخدام T5-Large (770 مليون معلمة) وT5-base (220 مليون معلمة). تجريبيا، ريجين يتحسن بشكل ملحوظ على خطوط الأساس Text2Graph WebNLG (3-10 نقاط ABS اعتمادًا على المقياس) ويعمل على كثيرا أكبر مجموعة بيانات TekGen (6 ملايين زوج تدريب).
داش وآخرون إدرس ال التوحيد مشكلة في OpenIE - عندما تكون الكيانات ذات الأشكال السطحية المختلفة مثل (مدينة نيويورك ، مدينة نيويورك) الرجوع إلى نفس النموذج الأولي. بطريقة غير خاضعة للإشراف ، نريد أن تقوم أنظمة IE بتجميع تلك الإشارات معًا تلقائيًا. طريقة، طبل، يلجأ إلى Variational Autoencoders (VAEs) لتحديد المجموعات (يتم تحديد الكيانات والعلاقات بواسطة Gaussians). بالإضافة إلى معيار VAEs خسارة إعادة الإعمار، CUVA توظف إضافية توقع الارتباط خسارة على أساس وظيفة التسجيل HolE. علاوة على ذلك ، يقدم المؤلفون رواية كانونيل مجموعة البيانات!
إجابة سؤال KG: أضف البعض سباركل
استعلامات قاعدة بيانات SPARQLing من تحليلات الأسئلة الوسيطة by إيرينا سابارينا وأنطون أوسوكين
لا يوجد الكثير من تطبيقات SPARQL في مجال *CL، للأسف. أعتقد أنه يستحق اعتمادًا أوسع بكثير في البرمجة اللغوية العصبية. عندما يكون مدعومًا بتطبيق رائع — فأنا موافق .
تستهدف غالبية مجموعات بيانات ضمان الجودة المنظمة أو تلك التي تستخدم التحليل الدلالي SQL كتنسيق الإخراج الرئيسي. هل هناك حياة خارج خطوط أنابيب SQL؟
سابارينا وأوسوكين اقترح مظهرًا جديدًا لهذه المشكلة عن طريق 1⃣ أولاً باستخدام a تحليل السؤال المعنى التمثيل (QDMR) الإطار الذي يترجم السؤال إلى نموذج منطقي مستقل عن بناء الجملة؛ 2⃣ يمكن ترجمة هذا النموذج إلى أي تنسيق منظم، وهنا يلجأ المؤلفون إلى SPARQL ليبينوا أنه من الأسهل كثيرًا الاستعلام عن قواعد البيانات بتنسيق الرسم البياني. إنه يتطلب تحويل جدول الإدخال إلى RDF، ولكن بالنسبة لمجموعات البيانات عنكبوت مقياس يمكن القيام به بسهولة بالغة.
تشمل الوحدات القابلة للتدريب محول RAT التشفير مع وحدة فك ترميز LSTM التي تنتج رموز QDMR. QDMR -> SPARQL هو ترشيح مباشر يعتمد على قواعد قليلة.
النتائج على قدم المساواة مع SOTA؛
كود متاح ;
سباركل يعمل بشكل أفضل من SQL.
ماذا تحتاج أيضًا للحصول على ورقة جيدة؟
عمل آخر مثير "التفكير القائم على الحالة لاستعلامات اللغة الطبيعية على قواعد المعرفة" بقلم Das et al يجمع بين SPARQL و الاستدلال المبني على حالة (CBR). تتمتع CBR بجذور عميقة في الأنظمة الخبيرة في الثمانينيات ولكن تم إحياؤها مؤخرًا بقوة التعلم التمثيلي. شرح TLDR لـ CBR في عام 80: إنه قريب من الناحية المفاهيمية من التعميم التركيبي ، أي بعد الاطلاع على بعض الأمثلة الأساسية ، يمكنك إنشاء استعلام أكثر تعقيدًا حول الكيانات غير المرئية سابقًا.
الق نظرة على المثال أدناه. لدينا استعلام مدخلات "من هو شقيق والد جيملي في الهوبيت؟". في بيانات التدريب ، قد لا يكون لدينا أي شيء عن Gimli أو Hobbit ، ولكن قد يكون لدينا "متشابه نسبيًا" الحالات حول العلاقات التي يمكن أن نجدها مفيدة لاستعلامنا ، على سبيل المثال ، "من هو والد تشارلي شين؟" مع علاقة Freebase people.person_parents
و "من هم شقيق ريهانا؟" مع العلاقة people.person.sibling_s
. تأليفهم لسؤالنا ، نقوم ببناء استعلام سباركل لقاعدة البيانات.
المقترح CBR-KBQA يجمع النهج بين 1⃣ مسترد عصبي قابل للتدريب بأسلوب DPR (يعتمد الإشراف على العلاقات المتداخلة)، 2⃣ محول خطي (يستخدمون BigBird) لأن الأسئلة والاستفسارات المتسلسلة ذات الصلة طويلة جدًا، 3⃣ عدة آليات لإعادة الترتيب لتنظيف الشبكة. التنبؤات. إنهم يستخدمون وحدات NER وEntity Linking الجاهزة للاستخدام، ويستخدمون أيضًا تضمينات علاقة TransE المدربة مسبقًا لإعادة الترتيب. يُظهر CBR-KBQA أداءً رائعًا في العديد من مجموعات بيانات KBQA بما في ذلك CFQ. ملاحظة صغيرة: أنا متشكك بعض الشيء في أن أفضل نموذج متاح SOTA (67.3 MCD-Mean) يتفوق بهامش يصل إلى 78.1 ولم يتم تقديمه إلى المعيار ، فالشفرة ليست متاحة بعد أيضًا.
شي وآخرون دراسة تأكيد الجودة متعدد المراحل واقترح دمج معرّفات الكيانات / العلاقة (نموذج التسمية) وأوصاف اللغة الطبيعية (نموذج نصي) في إطار عمل نشر الرسائل الخاص بهم ترانسفيرنت. يتم التقييم على مجموعات بيانات MetaQA و WebQuestionsSP وأسئلة الويب المعقدة.
في نفس المهمة (نفس مجموعات البيانات كما في العمل السابق)، أوليا وآخرون لاحظت أن معظم نماذج SOTA QA تتطلب امتدادات نصية مرتبطة بالفعل بكيانات KG ومحاولة التحايل على هذا المطلب من خلال إعادة ترتيب الكيانات الديناميكية باستخدام ميزات جوار العقدة لكيانات KG وميزات مسافات النص.
هذا كل ما لدي أيها الناس
اسمحوا لي أن أعرف إذا كنت تحب هذا "premum" الأقصر تنسيق أفضل من جدران النص الطويلة كما في المراجعات السابقة! شكرًا لاستثمار وقتك هنا، وآمل أن تكون قد أخذت شيئًا مفيدًا إلى المنزل
تم نشر هذه المقالة في الأصل متوسط وإعادة النشر إلى TOPBOTS بإذن من المؤلف.
استمتع بهذا المقال؟ قم بالتسجيل للحصول على المزيد من تحديثات الذكاء الاصطناعي.
سنخبرك عندما نصدر المزيد من التعليم التقني.
وظيفة الرسوم البيانية المعرفية في EMNLP 2021 ظهرت للمرة الأولى على توب بوتس.
- '
- "
- 10
- 11
- 2021
- 67
- 7
- 9
- a
- من نحن
- وفرة
- وفقا
- اكشن
- وأضاف
- إضافة
- العنوان
- إدارة
- تبني
- AI
- منظمة العفو الدولية البحوث
- تهدف
- الكل
- سابقا
- غموض
- تحليلات
- آخر
- إجابة
- تطبيق
- التطبيقات
- تطبيقي
- تطبيق
- نهج
- البند
- الكتاب
- تلقائيا
- متاح
- خلفية
- كره السلة
- أقل من
- مؤشر
- أفضل
- ما بين
- Beyond
- أكبر
- قطعة
- حظر
- الأعمال
- دعوة
- المرشحين
- حقيبة
- الحالات
- تحدى
- التحديات
- تحدي
- تغيير
- المدينة
- تصنيف
- الكود
- مجموعة
- تأتي
- مشترك
- مجتمع
- مجمع
- مكونات
- مؤتمر
- ارتباك
- إنشاء
- محتوى
- استطاع
- ثقافة
- زبون
- دعم العملاء
- البيانات
- قاعدة البيانات
- قواعد البيانات
- عميق
- شرح
- اعتمادا
- وصف
- فعل
- مختلف
- لا
- نطاق
- ديناميكي
- كل
- بسهولة
- التعليم
- تربوي
- جهد
- توظف
- عربي
- الكيانات
- كيان
- خاصة
- أساسيا
- تقييم
- الحدث/الفعالية
- مثال
- أمثلة
- المثيره
- القائمة
- توقع
- خبير
- الأسر
- للعائلات
- المميزات
- أخيرا
- تمويل
- الاسم الأول
- تركز
- متابعيك
- النموذج المرفق
- شكل
- أشكال
- الإطار
- تبدأ من
- وظيفة
- فجوة
- جيل
- توليدي
- GitHub جيثب:
- هدف
- خير
- عظيم
- سعيد
- وجود
- ارتفاع
- هنا
- الصفحة الرئيسية
- أمل
- كيفية
- كيفية
- hr
- HTTPS
- الإنسانية
- فكرة
- تحديد
- أهمية
- مثير للإعجاب
- في أخرى
- بما فيه
- القيمة الاسمية
- إدخال
- مثل
- دمج
- الاستثمار
- IT
- نفسها
- وظيفة
- القفل
- علم
- المعرفة
- معروف
- تُشير
- لغة
- كبير
- تعلم
- شروط وأحكام
- خط
- ربط
- لندن
- طويل
- بحث
- أغلبية
- جعل
- يصنع
- إدارة
- تمكن
- أسلوب
- التسويق
- مادة
- معنى
- قياس
- متوسط
- مكبر الصوت : يدعم، مع دعم ميكروفون مدمج لمنع الضوضاء
- يذكر
- ربما
- نموذج
- عارضات ازياء
- الأكثر من ذلك
- أكثر
- الاكثر شهره
- أي
- أسماء
- طبيعي
- إحتياجات
- نيويورك
- مدينة نيويورك
- Notion
- مدينة نيويورك
- أونتاريو
- عمليات
- منظم
- أخرى
- ورق
- جزء
- خاصة
- أداء
- شخص
- من فضلك
- نقاط
- الرائج
- شعبية
- المنشورات
- قوة
- تنبؤات
- بريميوم
- جميل
- سابق
- المشكلة
- إنتاج
- منتج
- تنفيذ المشاريع
- بارز
- اقترح
- سؤال
- قارئ
- نادي القراءة
- الأخيرة
- مؤخرا
- نوصي
- تخفيض
- عقار مخفض
- تقليص
- العلاقات
- الافراج عن
- ذات الصلة
- الخدمة الموثوقة
- بقايا
- التقارير
- التمثيل
- تطلب
- بحث
- منتجع
- النتائج
- القواعد
- الأملاح
- نفسه
- حجم
- النقاط
- عدة
- شادو
- قصير
- إشارة
- هام
- صغير
- So
- بعض
- شيء
- الفضاء
- متخصص
- معيار
- الولايه او المحافظه
- الإحصائيات
- منظم
- دراسة
- المقدمة
- إشراف
- الدعم
- مدعومة
- المساحة
- الدراسة الاستقصائية
- نظام
- أنظمة
- الهدف
- المهام
- تقني
- النماذج
- •
- العالم
- الوقت
- اليوم
- سويا
- الرموز
- موضوع
- قادة الإيمان
- تحويل
- السفر
- Uk
- فريد من نوعه
- آخر التحديثات
- تستخدم
- مختلف
- رؤية
- W
- الويب
- أسبوعي
- ابحث عن
- من الذى
- على نطاق أوسع
- كلمات
- للعمل
- أعمال
- العالم
- سوف
- عام
- حل متجر العقارات الشامل الخاص بك في جورجيا