مفاهيم يجب أن تعرفها قبل الدخول في المحولات

تتعلم الشبكات العصبية من خلال الأرقام ، لذلك سيتم تعيين كل كلمة للمتجهات لتمثيل كلمة معينة. يمكن اعتبار طبقة التضمين كجدول بحث يخزن عمليات دمج الكلمات ويسترجعها باستخدام الفهارس.

 

 

الكلمات التي لها نفس المعنى ستكون قريبة من حيث المسافة الإقليدية / تشابه جيب التمام. على سبيل المثال ، في الكلمة التالية التمثيل ، ترتبط "Saturday" و "Sunday" و "Monday" بنفس المفهوم ، لذلك يمكننا أن نرى أن الكلمات تنتج متشابهة.
 

تحديد موضع الكلمة ، لماذا نحتاج إلى تحديد موضع الكلمة؟ نظرًا لأن مشفر المحولات ليس له تكرار مثل الشبكات العصبية المتكررة ، يجب أن نضيف بعض المعلومات حول المواضع في تضمين المدخلات. يتم ذلك باستخدام الترميز الموضعي. استخدم مؤلفو البحث الوظائف التالية لنمذجة موضع الكلمة.

 

 

سنحاول شرح الترميز الموضعي.

 

 

هنا تشير كلمة "pos" إلى موضع "الكلمة" في التسلسل. يشير P0 إلى موضع تضمين الكلمة الأولى ؛ يعني "د" حجم الكلمة / تضمين الرمز المميز. في هذا المثال د = 5. أخيرًا ، يشير الحرف "i" إلى كل من الأبعاد الفردية الخمسة للتضمين (أي 5 ، 0 ، 1,2,3,4 ، XNUMX ، XNUMX)

إذا اختلفت "i" في المعادلة أعلاه ، فستحصل على مجموعة من المنحنيات بترددات مختلفة. قراءة قيم تضمين الموضع مقابل ترددات مختلفة ، مع إعطاء قيم مختلفة بأبعاد تضمين مختلفة لـ P0 و P4.

 

في هذا الاستعلام ، س يمثل كلمة متجهية مفاتيح ك هي كل الكلمات الأخرى في الجملة ، و القيمة V. يمثل متجه الكلمة.

الغرض من الانتباه هو حساب أهمية المصطلح الرئيسي مقارنة بمصطلح الاستعلام المتعلق بنفس الشخص / الشيء أو المفهوم.

في حالتنا ، V يساوي Q.

تعطينا آلية الانتباه أهمية الكلمة في الجملة.

 

 

عندما نحسب حاصل الضرب القياسي بين الاستعلام والمفاتيح ، نحصل على موتر يمثل الأهمية النسبية لكل كلمة أخرى للاستعلام.

 

 

عند حساب حاصل الضرب النقطي بين Q و KT ، نحاول تقدير كيفية محاذاة المتجهات (أي الكلمات بين الاستعلام والمفاتيح) وإرجاع وزن لكل كلمة في الجملة.

بعد ذلك ، نقوم بتطبيع النتيجة التربيعية لـ d_k وتقوم وظيفة softmax بتنظيم المصطلحات وإعادة قياسها بين 0 و 1.

أخيرًا ، نقوم بضرب النتيجة (أي أوزان) في القيمة (أي كل الكلمات) لتقليل أهمية الكلمات غير ذات الصلة والتركيز فقط على الكلمات الأكثر أهمية.

يتم إضافة متجه الإخراج متعدد الرؤوس إلى تضمين الإدخال الموضعي الأصلي. وهذا ما يسمى اتصال متبقي / اتصال تخطي. ناتج الاتصال المتبقي يمر عبر تسوية الطبقة. يتم تمرير المخرجات المتبقية المعيارية عبر شبكة تغذية موجية إلى الأمام لمزيد من المعالجة.

 

القناع عبارة عن مصفوفة بنفس حجم درجات الانتباه المملوءة بقيم الصفر واللانهايات السالبة.

 

 

سبب القناع هو أنه بمجرد أن تأخذ softmax من الدرجات المقنعة ، فإن اللانهايات السالبة تحصل على صفر ، تاركة صفرًا من نقاط الاهتمام للرموز المستقبلية.

هذا يخبر النموذج بعدم التركيز على هذه الكلمات.

الغرض من وظيفة softmax هو الحصول على أرقام حقيقية (موجبة وسالبة) وتحويلها إلى أرقام موجبة مجموعها 1.

 

 
 
رافيكومار نادوفين مشغول في بناء وفهم مهام البرمجة اللغوية العصبية باستخدام PyTorch.

 
أصلي. تم إعادة النشر بإذن.
 

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
• المصدر https://www.kdnuggets.com/2023/01/concepts-know-getting-transformer.html?utm_source=rss&utm_medium=rss&utm_campaign=concepts-you-should-know-before-getting-into-transformer