دليل شامل لانحدار OLS: الجزء -1

المُقدّمة

المربعات الصغرى العادية هي تقنية تحسين. OLS هي نفس التقنية المستخدمة بواسطة فئة scikit-Learn LinearRegression ووظيفة numpy.polyfit () خلف الكواليس. قبل أن ننتقل إلى تفاصيل تقنية OLS ، سيكون من المفيد الاطلاع على المقالة التي كتبتها دور تقنيات التحسين في التعلم الآلي والتعلم العميق. في نفس المقالة ، شرحت بإيجاز سبب وسياق وجود تقنية OLS (القسم 6). هذه المقالة هي إلى حد كبير استمرار للمقال نفسه ، ومن المتوقع أن يكون القراء على دراية بها.

المصدر: Pixbay

أهداف التعلم:

في هذه المقالة سوف تفعل

1. تعرف على ماهية OLS وافهم معادلتها الرياضية
2. احصل على نظرة عامة على OLS في شكل قشارة وعيوبه
3. افهم OLS باستخدام مثال في الوقت الفعلي

جدول المحتويات

1. ما هي مشاكل التحسين؟
2. لماذا نحتاج OLS؟
3. فهم الرياضيات وراء خوارزمية OLS
4. حل OLS في شكل قشارة
5. OLS في العمل باستخدام مثال حقيقي
6. مشاكل في شكل Scaler لحل OLS
7. وفي الختام

ما هي مشاكل التحسين؟

مشاكل التحسين هي مشاكل رياضية تتضمن إيجاد أفضل حل من مجموعة من الحلول الممكنة. تُصاغ هذه المشكلات عادةً على أنها مشاكل تعظيم أو تصغير ، حيث يكون الهدف إما تعظيم أو تقليل وظيفة موضوعية معينة. الوظيفة الهدف هي تعبير رياضي يصف الكمية المطلوب تحسينها ، وتحدد مجموعة من القيود مجموعة الحلول الممكنة.

تظهر مشاكل التحسين في مجالات مختلفة ، بما في ذلك الهندسة ، والتمويل ، والاقتصاد ، وبحوث العمليات. يتم استخدامها لنمذجة وحل المشكلات مثل تخصيص الموارد والجدولة وتحسين المحفظة. يعد التحسين مكونًا مهمًا في العديد من خوارزميات التعلم الآلي. في التعلم الآلي ، يتم استخدام التحسين للعثور على أفضل مجموعة من المعلمات لنموذج يقلل من الفرق بين تنبؤات النموذج والقيم الحقيقية. يعد التحسين مجالًا نشطًا للبحث في التعلم الآلي ، حيث يتم تطوير خوارزميات تحسين جديدة لتحسين سرعة ودقة نماذج التعلم الآلي للتدريب.

تتضمن بعض الأمثلة على استخدام التحسين في التعلم الآلي ما يلي:

• في التعلم الخاضع للإشراف، يتم استخدام التحسين للعثور على معلمات نموذج تقلل من الاختلاف بين تنبؤات النموذج والقيم الحقيقية لمجموعة بيانات تدريب معينة. على سبيل المثال ، يستخدم الانحدار الخطي والانحدار اللوجستي التحسين للعثور على أفضل قيم معاملات النموذج. بالإضافة إلى ذلك ، يتم إنشاء بعض النماذج مثل أشجار القرار والغابات العشوائية ونماذج تعزيز التدرج من خلال إضافة نماذج جديدة بشكل متكرر إلى المجموعة وتحسين معلمات النماذج الجديدة التي تقلل الخطأ في بيانات التدريب.
• في التعلم غير الخاضع للإشراف، يساعد التحسين في العثور على أفضل تكوين للمجموعات أو تعيين البيانات التي تمثل أفضل بنية أساسية في البيانات. في المجموعات، يتم استخدام التحسين للعثور على أفضل تكوين للمجموعات في البيانات. على سبيل المثال ، تستخدم خوارزمية K-Means تقنية تحسين تسمى خوارزمية Lloyd ، والتي تعيد تعيين نقاط البيانات بشكل متكرر إلى أقرب مركز للكتلة وتقوم بتحديث النقط المركزية العنقودية بناءً على النقاط المعينة حديثًا. وبالمثل ، فإن خوارزميات التجميع الأخرى مثل التجميع الهرمي ، والتجميع القائم على الكثافة ، ونماذج المزيج الغاوسي تستخدم أيضًا تقنيات التحسين للعثور على أفضل حل للتجميع. في تخفيض الأبعاد، يعثر التحسين على أفضل تعيين للبيانات من مساحة ذات أبعاد عالية إلى مساحة منخفضة الأبعاد. على سبيل المثال ، يستخدم تحليل المكونات الرئيسية (PCA) تحليل القيمة المفردة (SVD) ، وهي تقنية تحسين ، للعثور على أفضل تركيبة خطية من المتغيرات الأصلية التي تشرح معظم التباين في البيانات. بالإضافة إلى ذلك ، تستخدم تقنيات تقليل الأبعاد الأخرى مثل التحليل الخطي التمييزي (LDA) والتضمين العشوائي للجوار الموزع (t-SNE) أيضًا تقنيات التحسين للعثور على أفضل تمثيل للبيانات في مساحة ذات أبعاد أقل.
• في التعلم العميق، يتم استخدام التحسين للعثور على أفضل مجموعة من المعلمات للشبكات العصبية ، والتي يتم إجراؤها عادةً باستخدام خوارزميات التحسين القائمة على التدرج مثل هبوط التدرج العشوائي (SGD) أو Adam / Adagrad / RMSProp ، إلخ.

لماذا نحتاج OLS؟

عند استبدال Y ^ = w₀ + ث₁X₁ في مكافئ. 3 أعلاه ، النهائي وظيفة فقدان MSE (L) يشبه:

                ---- (5)

من الواضح أن L دالة لأوزان النموذج (w₀ & ث₁) ، والتي يجب أن نجد قيمها المثلى عند تقليل L. يتم تمثيل القيم المثلى بواسطة (*) في الشكل أدناه.

حل OLS في شكل قشارة

مكافئ. 5 الوارد أعلاه يمثل وظيفة خسارة OLS في شكل قشارة (حيث يمكننا رؤية تلخيص الأخطاء لكل نقطة بيانات. تعد خوارزمية OLS حلاً تحليليًا لمشكلة التحسين المعروضة في المعادلة. 4. يتكون هذا الحل التحليلي من الخطوات التالية:

خطوة 1 

الخطوة 2: قم بمساواة هذه التدرجات بالصفر وحل القيم المثلى لمعاملات النموذج w_j.

هذا يعني أساسًا أن ميل الظل (التفسير الهندسي للتدرجات) إلى دالة الخسارة في القيم المثلى (النقطة التي تكون فيها L هي الحد الأدنى) سيكون صفرًا ، كما هو موضح في الأشكال أعلاه.

من المعادلات أعلاه ، يمكننا تحويل "2" من LHS إلى RHS ؛ يبقى RHS كـ 0 (حيث أن 0/2 لا يزال 0).

هذه التعبيرات الخاصة بـ w1 * و w0 * هي الحل التحليلي النهائي لـ OLS في شكل Scaler.

الخطوة 3: حساب الوسائل المذكورة أعلاه واستبدالها في التعبير عن w1 * & w0 *.

دعنا نحسب هذه القيم لمجموعة البيانات الخاصة بنا:

دعونا نحسب نفس الشيء باستخدام كود بايثون:

[الإخراج]: هذه هي معادلة الخط "الأنسب": 2.675 × + 2.875

يمكنك أن ترى قيمنا "المحسوبة يدويًا" تتطابق بشكل وثيق جدًا مع قيم الميل والاعتراض التي تم الحصول عليها باستخدام NumPy (يرجع الاختلاف الصغير إلى أخطاء التقريب في حساباتنا اليدوية). يمكننا أيضًا التحقق من أن نفس OLS "يعمل خلف الكواليس" لفئة LinearRegression من تعلم الحروف الحزمة ، كما هو موضح في الكود أدناه.

# استيراد فئة LinearRegression من حزمة scikit-Learn من sklearn.linear_model import LinearRegression LR = LinearRegression () # إنشاء مثيل لفئة LinearRegression # حدد X و Y كمصفوفات NumPy (متجهات العمود) X = np.array ([1,3,5 ، 1,1،4.8,12.4,15.5]). reshape (-1,1،0) Y = np.array ([XNUMX،XNUMX،XNUMX]). reshape (-XNUMX،XNUMX) LR.fit (X، Y) # حساب معاملات النموذج LR .intercept_ # التحيز أو مصطلح التقاطع (wXNUMX *)

[الإخراج]: صفيف ([2.875])

LR.coef_ # مصطلح المنحدر (w1 *) [الإخراج]: المصفوفة ([[2.675]])

OLS قيد التشغيل باستخدام مثال فعلي

أنا هنا أستخدم مجموعة بيانات Boston House Pricing ، وهي إحدى مجموعات البيانات الأكثر شيوعًا أثناء تعلم علوم البيانات. الهدف هو جعل نموذج الانحدار الخطي للتنبؤ بالقيمة المتوسطة لأسعار المنزل بناءً على 13 سمة / سمة مذكورة أدناه.

استيراد مجموعة البيانات واستكشافها.

سنستخرج ميزة واحدة RM ، متوسط ​​حجم الغرفة في المنطقة المحلية المحددة ، ونلائمها مع المتغير المستهدف y (القيمة المتوسطة لسعر المنزل).

الآن ، دعنا نستخدم NumPy النقي ونحسب معاملات النموذج باستخدام التعبيرات المشتقة للقيم المثلى لمعاملات النموذج w0 & w1 أعلاه (نهاية الخطوة 2).

دعنا أخيرًا نرسم البيانات الأصلية مع أفضل خط مناسب ، كما هو موضح أدناه.

مشاكل مع شكل قشارة حل OLS

أخيرًا ، اسمحوا لي أن أناقش المشكلة الرئيسية في النهج أعلاه ، كما هو موضح في القسم 4. كما ترون من مجموعة البيانات المذكورة أعلاه ، فإن أي مجموعة بيانات حقيقية سيكون لها ميزات متعددة. السبب الرئيسي الذي جعلني أتخذ ميزة واحدة فقط لإثبات طريقة OLS في القسم أعلاه هو أنه مع زيادة عدد الميزات ، سيزداد عدد التدرجات أيضًا ، وبالتالي عدد المعادلات التي يجب حلها في وقت واحد! 

على وجه الدقة ، بالنسبة لـ 13 ميزة (مجموعة بيانات بوسطن أعلاه) ، سيكون لدينا 13 معاملاً نموذجيًا ومصطلح اعتراض واحد ، مما يجعل العدد الإجمالي للمتغيرات التي سيتم تحسينها على النحو الأمثل إلى 14. ومن ثم ، سنحصل على 14 تدرجًا (المشتق الجزئي من دالة الخسارة فيما يتعلق بكل من هذه المتغيرات الأربعة عشر). وبالتالي ، نحتاج إلى حل 14 معادلة (بعد معادلة هذه المشتقات الجزئية الأربعة عشر بالصفر ، كما هو موضح في الخطوة 14). لقد أدركت بالفعل مدى تعقيد الحل التحليلي باستخدام متغيرين فقط. بصراحة ، لقد حاولت أن أقدم لكم الشرح الأكثر تفصيلاً لـ OLS المتاح على الإنترنت ، ومع ذلك ليس من السهل استيعاب الرياضيات.

ومن ثم ، وبكلمات بسيطة ، الحل التحليلي أعلاه غير قابل للتحجيم!

الحل لهذه المشكلة هو "النموذج المتجه لحل OLS" ، والذي سيتم مناقشته بالتفصيل في مقالة متابعة (الجزء 2 من هذه المقالة) ، مع القسمين 7 و 8.

وفي الختام

في الختام ، تعد طريقة OLS أداة قوية لتقدير معلمات نموذج الانحدار الخطي. يعتمد على مبدأ تقليل مجموع الفروق التربيعية بين القيم المتوقعة والفعلية.

فيما يلي بعض النقاط الرئيسية من المقال:

• يمكن تمثيل حل OLS في شكل قشارة ، مما يسهل تنفيذه وتفسيره.
• ناقشت المقالة مفهوم مشاكل التحسين والحاجة إلى OLS في تحليل الانحدار وقدمت صيغة رياضية ومثالًا على OLS في العمل.
• تسلط المقالة الضوء أيضًا على بعض القيود المفروضة على شكل قشارة حل OLS ، مثل قابلية التوسع وافتراضات الخطية والتباين الثابت. أتمنى أن تتعلم شيئًا جديدًا من هذه المقالة.

يرجى ترك تعليق لي إذا شعرت أن أي نقطة / معادلة في هذه المقالة تحتاج إلى شرح أو إذا كنت تريد مني أن أكتب عن أي خوارزمية أخرى لتعلم الآلة بمثل هذه التفاصيل.

مقالات ذات صلة

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
• المصدر https://www.analyticsvidhya.com/blog/2023/01/a-comprehensive-guide-to-ols-regression-part-1/