العودة إلى الأساسيات ، جزء دوس: نزول متدرج

مرحبًا بكم في الجزء الثاني من عودة إلى الأساسيات مسلسل. في ال الجزء الاول، قمنا بتغطية كيفية استخدام دالة الانحدار الخطي والتكلفة للعثور على أفضل خط ملائم لبيانات أسعار المنازل لدينا. ومع ذلك ، رأينا أيضًا أن اختبار متعدد اعتراض يمكن أن تكون القيم مملة وغير فعالة. في هذا الجزء الثاني ، سوف نتعمق أكثر في Gradient Descent ، وهي تقنية قوية يمكن أن تساعدنا في العثور على الكمال اعتراض وتحسين نموذجنا. سنستكشف الرياضيات الكامنة وراءها ونرى كيف يمكن تطبيقها على مشكلة الانحدار الخطي.

نزول التدرج هو خوارزمية تحسين قوية يهدف إلى العثور بسرعة وكفاءة على الحد الأدنى لنقطة المنحنى. أفضل طريقة لتصور هذه العملية هي تخيل أنك تقف على قمة تل ، مع صندوق كنز مليء بالذهب في انتظارك في الوادي.

 

 

ومع ذلك ، فإن الموقع الدقيق للوادي غير معروف لأنه مظلم للغاية ولا يمكنك رؤية أي شيء. علاوة على ذلك ، تريد الوصول إلى الوادي قبل أي شخص آخر (لأنك تريد كل الكنز لنفسك). يساعدك الانحدار المتدرج على التنقل في التضاريس والوصول إلى هذا الأمثل نقطة بكفاءة وسرعة. سيخبرك في كل نقطة بعدد الخطوات التي يجب أن تتخذها وفي أي اتجاه تحتاج إلى اتخاذها.

وبالمثل ، يمكن تطبيق النسب المتدرج على مشكلة الانحدار الخطي باستخدام الخطوات التي وضعتها الخوارزمية. لتصور عملية إيجاد الحد الأدنى ، دعنا نرسم MSE منحنى. نعلم بالفعل أن معادلة المنحنى هي:

 

معادلة المنحنى هي المعادلة المستخدمة لحساب MSE

 

ومن المادة السابقة، نعلم أن معادلة MSE في مشكلتنا هي:

 

 

إذا قمنا بالتصغير ، يمكننا أن نرى أن ملف MSE يمكن إيجاد المنحنى (الذي يشبه وادينا) باستبدال مجموعة من اعتراض القيم في المعادلة أعلاه. لذلك دعونا نعوض بـ 10,000 قيمة لـ اعتراض، للحصول على منحنى يشبه هذا:

 

في الواقع ، لن نعرف كيف يبدو منحنى MSE

 

الهدف هو الوصول إلى قاع هذا MSE منحنى ، ويمكننا القيام به باتباع الخطوات التالية:

الخطوة 1: ابدأ بتخمين أولي عشوائي لقيمة التقاطع

في هذه الحالة ، لنفترض تخميننا الأولي لـ اعتراض القيمة 0.

الخطوة 2: احسب ميل منحنى MSE عند هذه النقطة

• ميل من المنحنى عند نقطة ما يمثله خط المماس (طريقة خيالية للقول أن الخط يلمس المنحنى عند تلك النقطة فقط) عند تلك النقطة. على سبيل المثال ، في النقطة أ ، فإن ميل ل MSE يمكن تمثيل المنحنى بخط المماس الأحمر ، عندما يكون التقاطع يساوي 0.

 

انحدار منحنى MSE عند التقاطع = 0

 

من أجل تحديد قيمة ميل، نطبق معرفتنا بحساب التفاضل والتكامل. على وجه التحديد ، فإن ميل يساوي مشتق المنحنى بالنسبة إلى اعتراض في نقطة معينة. يشار إلى هذا على النحو التالي:

 

ملاحظة: إذا لم تكن معتادًا على المشتقات ، فإنني أوصي بمشاهدة هذا فيديو أكاديمية خان إن كنت مهتما. وإلا يمكنك إلقاء نظرة على الجزء التالي وستظل قادرًا على متابعة بقية المقالة.

نحسب ال مشتق من منحنى MSE كما يلي:

 

 

الآن للعثور على ملف التدرج عند النقطة أ، نعوض بقيمة اعتراض عند النقطة أ في المعادلة أعلاه. منذ اعتراض = 0 ، المشتق عند النقطة A هو:

 

 

حتى عندما اعتراض = 0 ، و ميل = -190

NOTE: عندما نقترب من القيمة المثلى ، تقترب قيم التدرج من الصفر. عند القيمة المثلى ، فإن التدرج يساوي صفرًا. على العكس من ذلك ، كلما ابتعدنا عن القيمة المثلى ، زاد التدرج اللوني.

 

من هذا ، يمكننا أن نستنتج أن حجم الخطوة يجب أن يكون مرتبطًا بـ ميل، لأنه يخبرنا ما إذا كان يجب علينا اتخاذ خطوة صغيرة أم خطوة كبيرة. هذا يعني أنه عندما يكون ملف ميل من المنحنى قريب من 0 ، ثم يجب أن نتخذ خطوات صغيرة لأننا قريبون من القيمة المثلى. وإذا كان ميل أكبر ، يجب أن نتخذ خطوات أكبر للوصول إلى القيمة المثلى بشكل أسرع.

NOTE: ومع ذلك ، إذا اتخذنا خطوة هائلة للغاية ، فيمكننا القيام بقفزة كبيرة وتفويت النقطة المثلى. لذلك نحن بحاجة إلى توخي الحذر.

الخطوة 3: احسب حجم الخطوة باستخدام التدرج اللوني ومعدل التعلم وقم بتحديث قيمة التقاطع

منذ أن رأينا أن حجم الخطوة و  ميل تتناسب مع بعضها البعض ، فإن حجم الخطوة يتم تحديده بضرب ميل بقيمة ثابتة محددة مسبقًا تسمى معدل التعليم:

 

 

• معدل التعليم يتحكم في حجم حجم الخطوة ويضمن أن الخطوة التي تم اتخاذها ليست كبيرة جدًا أو صغيرة جدًا.

من الناحية العملية ، يكون معدل التعلم عادةً رقمًا موجبًا صغيرًا؟ 0.001. لكن بالنسبة لمشكلتنا ، دعنا نضبطها على 0.1.

لذلك عندما يكون التقاطع 0 ، فإن حجم الخطوة = التدرج x معدل التعليم = -190 * 0.1 = -19.

واستنادا إلى حجم الخطوة حسبنا أعلاه ، نقوم بتحديث اعتراض (يُعرف أيضًا باسم تغيير موقعنا الحالي) باستخدام أي من هذه الصيغ المكافئة:

 

 

للعثور على الجديد اعتراض في هذه الخطوة ، نعوض بالقيم ذات الصلة ...

 

 

... وتجد أن الجديد اعتراض = 19.

الآن عوض هذه القيمة في MSE المعادلة ، نجد أن MSE عندما اعتراض هو 19 = 8064.095. نلاحظ أنه في خطوة واحدة كبيرة ، اقتربنا من القيمة المثلى وقللنا MSE.

 

 

حتى إذا نظرنا إلى الرسم البياني الخاص بنا ، فإننا نرى مدى تحسن خطنا الجديد اعتراض 19 تلائم بياناتنا من الخط القديم مع اعتراض 0:

 

 

الخطوة 4: كرر الخطوات من 2 إلى 3

نكرر الخطوتين 2 و 3 باستخدام ملف اعتراض .

على سبيل المثال ، منذ الجديد اعتراض القيمة في هذا التكرار هي 19 ، تليها الخطوة2، سنحسب التدرج اللوني في هذه النقطة الجديدة:

 

 

ونجد أن ميل ل MSE منحنى قيمة التقاطع 19 هو -152 (كما هو موضح بخط المماس الأحمر في الرسم التوضيحي أدناه).

 

 

بعد ذلك ، وفقًا لـ الخطوة3، دعنا نحسب حجم الخطوة:

 

 

وبعد ذلك ، قم بتحديث ملف اعتراض القيمة:

 

 

الآن يمكننا مقارنة الخط مع السابق اعتراض من 19 إلى الخط الجديد مع التقاطع الجديد 34.2 ...

 

 

... ويمكننا أن نرى أن الخط الجديد يناسب البيانات بشكل أفضل.

وعموما، فإن MSE يصغر ...

 

 

…و لنا أحجام الخطوة تصبح أصغر:

 

 

نكرر هذه العملية بشكل متكرر حتى نتقارب نحو الحل الأمثل:

 

 

بينما نتقدم نحو النقطة الدنيا للمنحنى ، نلاحظ أن حجم الخطوة يصبح أصغر بشكل متزايد. بعد 13 خطوة ، تقدر خوارزمية نزول التدرج اعتراض القيمة 95. إذا كان لدينا كرة بلورية ، فسيتم تأكيد ذلك على أنه الحد الأدنى للنقطة MSE منحنى. ومن الواضح أن نرى كيف أن هذه الطريقة أكثر كفاءة مقارنة بنهج القوة الغاشمة الذي رأيناه في المادة السابقة.

الآن بعد أن أصبح لدينا القيمة المثلى لـ اعتراض، نموذج الانحدار الخطي هو:

 

 

ويبدو خط الانحدار الخطي كما يلي:

 

أفضل خط ملائم مع التقاطع = 95 والميل = 0.069

 

أخيرًا ، بالعودة إلى سؤال صديقنا مارك - ما القيمة التي يجب أن يبيع بها منزله الذي تبلغ مساحته 2400 قدم مربع؟

 

 

أدخل مساحة المنزل البالغة 2400 قدم مربع في المعادلة أعلاه ...

 

 

... وفويلا. يمكننا إخبار صديقنا مارك الذي يشعر بالقلق دون داع أنه بناءً على المنازل الثلاثة في الحي الذي يسكن فيه ، يجب عليه أن يبحث عن بيع منزله بحوالي 3 دولار.

الآن بعد أن أصبح لدينا فهم قوي للمفاهيم ، دعنا نجري أسئلة وأجوبة سريعة للإجابة على أي أسئلة عالقة.

لماذا يعمل إيجاد التدرج اللوني بالفعل؟

لتوضيح ذلك ، ضع في اعتبارك سيناريو نحاول فيه الوصول إلى الحد الأدنى من نقطة المنحنى C ، والمشار إليها بـ x*. ونحن الآن عند النقطة (أ) عند x، الموجود على يسار x*:

 

 

إذا أخذنا مشتق المنحنى عند النقطة A بالنسبة إلى x، ممثلة العاصمة (x) / dx، نحصل على قيمة سالبة (وهذا يعني أن ميل ينحدر إلى أسفل). نلاحظ أيضًا أننا بحاجة إلى الانتقال إلى حق الوصول x*. وبالتالي ، نحن بحاجة إلى الزيادة x للوصول إلى الحد الأدنى x *.

 

الخط الأحمر ، أو التدرج اللوني ، ينحدر لأسفل => تدرج سلبي

 
 

منذ العاصمة (x) / dx سلبي ، x - ؟؟ * dC (x) / dx سيكون أكبر من x، وبالتالي التحرك نحو x*.

وبالمثل ، إذا كنا عند النقطة A على يمين النقطة الدنيا x * ، فإننا نحصل على a إيجابي ميل (ميل ينحدر لأعلى) ، العاصمة (x) / dx.

 

الخط الأحمر ، أو التدرج اللوني ، ينحدر لأعلى => تدرج موجب

 

So x - ؟؟ * dC (x) / dx سيكون أقل من x، وبالتالي التحرك نحو x*.

كيف يعرف التدرج اللائق متى يتوقف عن اتخاذ الخطوات؟

يتوقف هبوط التدرج عندما يتوقف حجم الخطوة قريب جدًا من 0. كما تمت مناقشته سابقًا ، عند الحد الأدنى لنقطة ميل هي 0 وعندما نقترب من الحد الأدنى ، فإن ميل يقترب 0. لذلك ، عندما ميل عند نقطة قريبة من 0 أو بالقرب من النقطة الدنيا ، فإن حجم الخطوة سيكون أيضًا قريبًا من 0 ، مما يشير إلى أن الخوارزمية قد وصلت إلى الحل الأمثل.

 

عندما نقترب من الحد الأدنى للنقطة ، يكون التدرج اللوني قريبًا من 0 ، وبالتالي يكون حجم الخطوة قريبًا من 0

في الممارسة العملية ، الحد الأدنى لحجم الخطوة = 0.001 أو أصغر

 

ومع ذلك ، فإن الانحدار المتدرج يتضمن أيضًا حدًا لعدد الخطوات التي سيتخذها قبل التخلي عن اسم أقصى عدد من الخطوات.

في الممارسة العملية ، الحد الأقصى لعدد الخطوات = 1000 أو أكبر

لذلك حتى لو كان حجم الخطوة أكبر من الحد الأدنى لحجم الخطوة، إذا كان هناك أكثر من أقصى عدد من الخطوات، سيتوقف نزول التدرج.

ماذا لو كان تحديد النقطة الدنيا أكثر صعوبة؟

حتى الآن ، كنا نتعامل مع منحنى يسهل فيه تحديد النقطة الدنيا (تسمى هذه الأنواع من المنحنيات محدب). ولكن ماذا لو كان لدينا منحنى ليس بهذا الجمال (المعروف أيضًا باسم غير محدب) ويبدو مثل هذا:

 

 

هنا ، يمكننا أن نرى أن النقطة B هي الحد الأدنى العالمي (الحد الأدنى الفعلي) ، والنقطتان A و C هما الحد الأدنى المحلي (النقاط التي يمكن الخلط بينها وبين الحد الأدنى العالمي لكن ليسوا). لذلك إذا كانت الوظيفة متعددة الحد الأدنى المحلي و الحد الأدنى العالمي، ليس مضمونًا أن يجد النسب المتدرج الامتداد الحد الأدنى العالمي. علاوة على ذلك ، سيعتمد الحد الأدنى المحلي الذي يعثر عليه على موضع التخمين الأولي (كما هو موضح في الخطوة1 من أصل متدرج).

 

 

بأخذ هذا المنحنى غير المحدب أعلاه كمثال ، إذا كان التخمين الأولي عند بلوك أ أو بلوك ج ، فإن نزول التدرج سيعلن أن الحد الأدنى للنقطة عند الحدود الدنيا المحلية أ أو ج ، على التوالي عندما تكون في الواقع عند ب فقط. التخمين الأولي عند Block B ، وستجد الخوارزمية الحد الأدنى العالمي B.

الآن السؤال هو - كيف يمكننا عمل تخمين أولي جيد؟

إجابة بسيطة: المحاولة و الخطأ. نوع من.

إجابة ليست بهذه البساطة: من الرسم البياني أعلاه ، إذا كان الحد الأدنى لتخميننا x كانت القيمة 0 نظرًا لأن ذلك يقع في المربع A ، فسيؤدي ذلك إلى الحد الأدنى المحلي A. وبالتالي ، كما ترى ، قد لا يكون 0 تخمينًا أوليًا جيدًا في معظم الحالات. من الممارسات الشائعة تطبيق دالة عشوائية بناءً على توزيع منتظم على مدى جميع القيم الممكنة لـ x. بالإضافة إلى ذلك ، إذا كان ذلك ممكنًا ، فإن تشغيل الخوارزمية بتخمينات أولية مختلفة ومقارنة نتائجها يمكن أن يوفر نظرة ثاقبة عما إذا كانت التخمينات تختلف اختلافًا كبيرًا عن بعضها البعض. هذا يساعد في تحديد الحد الأدنى العالمي بشكل أكثر كفاءة.

حسنًا ، لقد أوشكنا على الانتهاء. السؤال الأخير.

ماذا لو كنا نحاول إيجاد أكثر من قيمة مثالية؟

حتى الآن ، كنا نركز فقط على إيجاد قيمة التقاطع المثلى لأننا عرفنا بطريقة سحرية منحدر قيمة الانحدار الخطي هي 0.069. ولكن ماذا لو لم يكن لديك كرة بلورية ولا تعرف الأفضل منحدر قيمة؟ ثم نحتاج إلى تحسين كل من قيم الميل والاعتراض ، معبراً عنها بـ x? و  x? على التوالي.

للقيام بذلك ، يجب أن نستخدم المشتقات الجزئية بدلاً من المشتقات فقط.

ملاحظة: يتم حساب المشتقات الجزئية بنفس طريقة حساب المشتقات القديمة من Reglar ، ولكن يتم الإشارة إليها بشكل مختلف لأن لدينا أكثر من متغير واحد نحاول تحسينه. لمعرفة المزيد عنهم ، اقرأ هذا البند أو مشاهدة هذا الفيديو.

ومع ذلك ، تظل العملية مشابهة نسبيًا لعملية تحسين قيمة واحدة. دالة التكلفة (مثل MSE) يجب أن يتم تعريفه ويجب تطبيق خوارزمية النسب المتدرج ، ولكن مع الخطوة المضافة لإيجاد المشتقات الجزئية لكل من x؟ و x ؟.

الخطوة 1: قم بعمل تخمينات أولية لـ x₀ و x₁

الخطوة 2: أوجد المشتقات الجزئية بالنسبة إلى x₀ و x₁ عند هاتين النقطتين

 

 

الخطوة 3: تحديث x₀ و x₁ في نفس الوقت بناءً على المشتقات الجزئية ومعدل التعلم

 

 

الخطوة 4: كرر الخطوات من 2 إلى 3 حتى يتم الوصول إلى الحد الأقصى لعدد الخطوات أو يصبح حجم الخطوة أقل من الحد الأدنى لحجم الخطوة

ويمكننا استقراء هذه الخطوات إلى 3 أو 4 أو حتى 100 قيمة لتحسينها.

في الختام ، يعد التدرج اللوني خوارزمية تحسين قوية تساعدنا في الوصول إلى القيمة المثلى بكفاءة. يمكن تطبيق خوارزمية النسب المتدرج على العديد من مشاكل التحسين الأخرى ، مما يجعلها أداة أساسية لعلماء البيانات في ترسانتهم. إلى خوارزميات أكبر وأفضل الآن!

 
 
شريا راو توضيح وشرح خوارزميات التعلم الآلي بمصطلحات الشخص العادي.

 
أصلي. تم إعادة النشر بإذن.
 

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
• المصدر https://www.kdnuggets.com/2023/03/back-basics-part-dos-gradient-descent.html?utm_source=rss&utm_medium=rss&utm_campaign=back-to-basics-part-dos-gradient-descent