מושגים שכדאי להכיר לפני שנכנסים לרובוטריקים

רשתות עצביות לומדים באמצעות מספרים, כך שכל מילה תמופה לוקטורים כדי לייצג מילה מסוימת. ניתן לחשוב על שכבת ההטמעה כעל טבלת חיפוש המאחסנת הטמעות מילים ומחזירה אותן באמצעות מדדים.

 

 

מילים בעלות אותה משמעות יהיו קרובות מבחינת המרחק האוקלידיאני/קוסינוס. לדוגמה, בייצוג המילים שלמטה, "שבת", "יום ראשון" ו"שני" משויכים לאותו מושג, כך שנוכל לראות שהתוצאות של המילים דומות.
 

קביעת מיקומה של המילה, מדוע עלינו לקבוע את מיקומה של המילה? מכיוון שלקודד השנאי אין הישנות כמו רשתות עצביות חוזרות, עלינו להוסיף קצת מידע על המיקומים לתוך הטבעות הקלט. זה נעשה באמצעות קידוד מיקום. מחברי המאמר השתמשו בפונקציות הבאות כדי לדגמן את מיקומה של מילה.

 

 

ננסה להסביר קידוד מיקום.

 

 

כאן "pos" מתייחס למיקום ה"מילה" ברצף. P0 מתייחס להטמעת המיקום של המילה הראשונה; "d" פירושו גודל הטבעת המילה/אסימון. בדוגמה זו d=5. לבסוף, "i" מתייחס לכל אחד מחמשת הממדים האישיים של ההטמעה (כלומר 5, 0)

אם "i" משתנה במשוואה שלמעלה, תקבל חבורה של עקומות בתדרים משתנים. קריאת ערכי הטמעת המיקום מול תדרים שונים, מתן ערכים שונים בממדי הטבעה שונים עבור P0 ו-P4.

 

בחודש זה שאילתה, ש מייצג מילה וקטורית, ה מפתחות ק הן כל המילים האחרות במשפט, ו ערך V מייצג את הווקטור של המילה.

מטרת הקשב היא לחשב את חשיבות מונח המפתח בהשוואה למונח השאילתה הקשור לאותו אדם/דבר או מושג.

במקרה שלנו, V שווה ל-Q.

מנגנון הקשב נותן לנו את חשיבות המילה במשפט.

 

 

כאשר אנו מחשבים את תוצר הנקודה המנורמל בין השאילתה למפתחות, אנו מקבלים טנזור המייצג את החשיבות היחסית של כל מילה אחרת עבור השאילתה.

 

 

כאשר מחשבים את מכפלת הנקודה בין Q ל-K.T, אנו מנסים להעריך כיצד הוקטורים (כלומר מילים בין שאילתה למפתחות) מיושרים ומחזירים משקל לכל מילה במשפט.

לאחר מכן, אנו מנרמלים את התוצאה בריבוע של d_k והפונקציה softmax מסדירה את המונחים ומסדרת אותם מחדש בין 0 ל-1.

לבסוף, נכפיל את התוצאה (כלומר משקלים) בערך (כלומר כל המילים) כדי להפחית את החשיבות של מילים לא רלוונטיות ולהתמקד רק במילים החשובות ביותר.

וקטור פלט קשב רב-ראשי נוסף להטמעת הקלט המיקום המקורי. זה נקרא חיבור שיורי/דילוג. הפלט של החיבור השיורי עובר נורמליזציה של שכבה. הפלט השיורי המנורמל מועבר דרך רשת הזנה נקודתית להמשך עיבוד.

 

המסכה היא מטריצה ​​בגודל זהה לציוני הקשב המלאים בערכים של 0 ואינסוף שלילי.

 

 

הסיבה למסכה היא שברגע שאתה לוקח את ה-softmax של ציוני המסכה, האינסוף השלילי מקבל אפס, ומשאיר אפס ציוני תשומת לב לאסימונים עתידיים.

זה אומר למודל לא לשים דגש על המילים האלה.

מטרת הפונקציה softmax היא לתפוס מספרים ממשיים (חיוביים ושליליים) ולהפוך אותם למספרים חיוביים המסכמים ל-1.

 

 
 
רבקומאר נדובין עסוק בבנייה והבנה של משימות NLP באמצעות PyTorch.

 
מְקוֹרִי. פורסם מחדש באישור.
 

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
• מקור: https://www.kdnuggets.com/2023/01/concepts-know-getting-transformer.html?utm_source=rss&utm_medium=rss&utm_campaign=concepts-you-should-know-before-getting-into-transformer