صورة المؤلف
يقضي علماء البيانات ومهندسو البيانات ومهندسو التعلم الآلي الكثير من وقتهم في البحث عن البيانات والعثور على رسومات أو استنتاجات إحصائية منها. لكن الشيء المهم الذي يُعد مهارة مطلوبة لهؤلاء المحترفين وأي شخص يبحث في البيانات هو امتلاك حدس جيد للعالم الحقيقي.
تحتوي البيانات على العديد من المتغيرات التي يمكنك أخذها في الاعتبار ، ومع ذلك ، فمن الجيد ملاحظة أنها تنتج تمثيلًا محدود الأبعاد. هذا هو المكان الذي سيتعين عليك فيه رؤية ما وراء البيانات ومعرفة الحقيقة المخفية وكيف يمكن تطبيقها على مجموعة البيانات.
تثبت لنا مفارقة سيمبسون أهمية التشكك عند تفسير بياناتك ، والتأكد من تطبيق العالم الحقيقي - دون تقييد نفسك من رؤيته من وجهة نظر البيانات.
في عام 1972 ، قدم كولين ر.
مفارقة سيمبسون هي عندما يكون هناك اتجاه أو ناتج موجود عندما يتم وضع البيانات في مجموعات إما أن تنعكس أو تختفي عند دمج البيانات. إنها مفارقة إحصائية حيث يمكنها استخلاص استنتاجين متعارضين من نفس البيانات ، اعتمادًا على كيفية تجميع البيانات.
مفارقة جامعة كاليفورنيا في بيركلي وسيمبسون
من الأمثلة الشائعة على مفارقة سيمبسون دراسة جامعة كاليفورنيا في بيركلي حول التحيز الجنساني في القبول في كليات الدراسات العليا. في عام 1973 ، في بداية العام الدراسي ، قبلت كلية الدراسات العليا بجامعة كاليفورنيا في بيركلي حوالي 44٪ من الذكور و 35٪ من الإناث. كانت المدرسة تخشى أن تكون ضد دعوى قضائية ، لذلك استعدت لذلك من خلال مطالبة بيتر بيكل ، خبير الإحصاء بإلقاء نظرة على البيانات.
ما اكتشفه هو وجود تحيز ذي دلالة إحصائية بين الجنسين لصالح النساء في 4/6 أقسام ، وأنه لم يكن هناك تحيز كبير بين الجنسين في الأقسام المتبقية 2. وأظهرت النتائج التي توصل إليها الفريق أن النساء تقدمن بطلب للحصول على أقسام بها إجمالي نسبة أقل من المتقدمين.
في Simpson's Paradox ، يجب أن تأخذ في الاعتبار سيناريوهات العالم الحقيقي والمتغيرات التي يمكن إخفاؤها ولا يمكن تفسيرها بسهولة من خلال البيانات. في هذا المثال ، المتغير الخفي هو أن المزيد من النساء تقدمن في قسم معين. يؤثر هذا على النسبة المئوية الإجمالية لمقدمي الطلبات المقبولين ، بطريقة تُظهر الاتجاه العكسي الذي كان موجودًا في البداية في البيانات.
ثم خلص الفريق إلى أن مخرجاتهم على البيانات تغيرت عندما أخذوها في الحسبان عند تقسيم المدرسة إلى أقسام.
توضح الصورة أدناه كيفية عكس الاتجاهات عند تجميع البيانات:
الصورة عن طريق ويكيبيديا
يمكن لمفارقة سيمبسون أن تجعل العمل مع البيانات أكثر تعقيدًا وتجعل عملية صنع القرار أكثر صعوبة.
إذا بدأت في إعادة تشكيل بياناتك بشكل مختلف ، فستخرج باستنتاجات مختلفة. سيؤدي هذا بطبيعة الحال إلى صعوبة اختيار نتيجة دقيقة واحدة لاستخلاص مزيد من الأفكار. هذا يعني أنه سيتعين على الفريق إيجاد أفضل نتيجة لها تمثيل عادل للبيانات.
عند العمل مع المشاريع المتعلقة بالبيانات ، غالبًا ما نركز على البيانات ونحاول تفسير القصة التي تحاول إخبارنا بها. ولكن إذا طبقنا المعرفة الواقعية ، فستخبرنا قصة مختلفة تمامًا.
إن فهم أهمية هذا يفتح لنا المزيد من الفرص للنظر بشكل أعمق في البيانات وإجراء تحليل كافٍ للمساعدة في عملية صنع القرار. تركز مفارقة سيمبسون على كيف أن الافتقار إلى البصيرة التحليلية الكافية والمعرفة الشاملة بالمشروع يمكن أن يضللنا ويتخذ قرارات خاطئة.
على سبيل المثال ، نشهد ارتفاعًا في استخدام تحليلات البيانات في الوقت الفعلي. يقوم المزيد والمزيد من الفرق بتنفيذ هذا للمساعدة في اكتشاف الأنماط ، واستخدام هذه الرؤية لاتخاذ القرارات في فترات قصيرة. يكون العمل مع تحليل البيانات في الوقت الفعلي فعالاً عندما تركز على كيفية تحسين الشركة بناءً على البيانات الحالية في الوقت الفعلي. ومع ذلك ، يمكن أن تسبب هذه الفترات القصيرة معلومات مضللة وإخفاء الاتجاه العام الحقيقي الذي تظهره البيانات.
يمكن لتحليل البيانات الخاطئ أن يعيق الشركة. ونعلم جميعًا أن القرارات الخاطئة تعيق الشركة دائمًا. لذلك ، مع الأخذ في الاعتبار مفارقة Simpson ، تفيد الشركة في فهم قيود البيانات ، وما الذي يدفع البيانات ، والمتغيرات المختلفة ويحافظ على التحيز منخفضًا.
Simpson's Paradox تساعد في تذكير المحترفين الذين يعملون مع البيانات بأهمية فهم البيانات ومستوى حدسهم في البيانات. هذا هو الوقت الذي يقدم فيه الكثير من المهارات الشخصية لمتخصصي البيانات أنفسهم ، مثل التفكير النقدي.
الهدف هو البحث عن التحيزات الخفية والمتغيرات الموجودة في البيانات ، والتي قد لا يمكن اكتشافها بسهولة من النظرة الأولى أو عند إجراء تحليل عالي.
شيء واحد يجب أخذه في الاعتبار حول مفارقة سيمبسون هو أن الكثير من تجميع البيانات يمكن أن يصبح قريبًا عديم الفائدة ويبدأ في إدخال التحيز. ولكن من ناحية أخرى ، إذا لم نقم بتجميع البيانات ، يمكن أن تكون البيانات محدودة في المعلومات والأنماط الأساسية التي يمكن أن تخبرنا بها.
لتجنب مفارقة سيمبسون ، ستحتاج إلى مراجعة بياناتك بدقة والتأكد من أن لديك فهمًا جيدًا لمشكلة العمل المطروحة.
نيشا آريا هو عالم بيانات وكاتب تقني مستقل ومدير المجتمع في KDnuggets. وهي مهتمة بشكل خاص بتقديم المشورة المهنية في علوم البيانات أو البرامج التعليمية والمعرفة القائمة على النظرية حول علوم البيانات. إنها ترغب أيضًا في استكشاف الطرق المختلفة التي يمكن للذكاء الاصطناعي من خلالها الاستفادة من طول عمر حياة الإنسان. متعلمة حريصة ، تسعى إلى توسيع معرفتها التقنية ومهارات الكتابة لديها ، بينما تساعد في توجيه الآخرين.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
- المصدر https://www.kdnuggets.com/2023/03/simpson-paradox-implications-data-science.html?utm_source=rss&utm_medium=rss&utm_campaign=simpsons-paradox-and-its-implications-in-data-science
- :يكون
- $ UP
- 35%
- a
- من نحن
- أكاديمي
- مقبول
- حسابي
- دقيق
- اعترف
- نصيحة
- ضد
- تجميع
- الكل
- دائما
- تحليل
- تحليلية
- تحليلات
- و
- أي شخص
- التطبيقات
- تطبيقي
- التقديم
- تطبيق
- هي
- حول
- مصطنع
- الذكاء الاصطناعي
- AS
- At
- تجنب
- الى الخلف
- على أساس
- BE
- أصبح
- يجري
- أقل من
- تستفيد
- الفوائد
- بيركلي
- أفضل
- Beyond
- انحياز
- كبير
- توسيع
- الأعمال
- by
- CAN
- التوظيف
- سبب
- اختار
- الجمع بين
- تأتي
- مجتمع
- حول الشركة
- تماما
- مجمع
- وخلص
- اختتام
- نظر
- حرج
- حالياًّ
- البيانات
- تحليل البيانات
- تحليلات البيانات
- علم البيانات
- عالم البيانات
- اتخاذ القرار
- القرارات
- أعمق
- القسم
- الإدارات
- اعتمادا
- مختلف
- اختفى
- لا
- المخططات
- بسهولة
- تأثير
- الطُرق الفعّالة
- إما
- المهندسين
- ضمان
- ضمان
- مثال
- ويوضح
- اكتشف
- عادل
- صالح
- أنثى
- الشكل
- العثور على
- الاسم الأول
- أول نظرة
- ركز
- ويركز
- التركيز
- في حالة
- وجدت
- مستقل
- تبدأ من
- إضافي
- الجنس
- خير
- خريج
- مجموعات
- توجيه
- يد
- يملك
- وجود
- مساعدة
- مساعدة
- يساعد
- مخفي
- إخفاء
- مرتفع
- عقد
- كيفية
- كيفية
- لكن
- HTTPS
- الانسان
- صورة
- تحقيق
- آثار
- أهمية
- تحسن
- in
- معلومات
- في البداية
- تبصر
- رؤى
- رؤيتنا
- يستفد
- تقديم
- أدخلت
- حدس
- IT
- انها
- JPG
- KD nuggets
- شديد
- علم
- المعرفة
- معروف
- نقص
- دعوى قضائية
- متعلم
- تعلم
- مهندسو التعلم
- مستوى
- الحياة
- القيود
- محدود
- لينكدين:
- طول العمر
- بحث
- أبحث
- الكثير
- منخفض
- آلة
- آلة التعلم
- جعل
- مدير
- يعني
- الأكثر من ذلك
- الاسم
- طبعا
- حاجة
- of
- on
- ONE
- يفتح
- الفرص
- مقابل
- أخرى
- أخرى
- الناتج
- الكلي
- المفارقة
- خاصة
- أنماط
- نسبة مئوية
- نفذ
- فترات
- بيتر
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- أكثر الاستفسارات
- أعدت
- يقدم
- المشكلة
- عملية المعالجة
- المهنيين
- تنفيذ المشاريع
- مشروع ناجح
- يثبت
- توفير
- وضع
- حقيقي
- العالم الحقيقي
- في الوقت الحقيقي
- معلومات الوقت الحقيقي
- واقع
- المتبقية
- التمثيل
- مطلوب
- تقييد
- انعكاس
- عكس
- مراجعة
- ارتفاع
- s
- نفسه
- سيناريوهات
- المدرسة
- علوم
- عالم
- العلماء
- رؤية
- تسعى
- عدة
- قصير
- يظهر
- هام
- مشكك
- مهارة
- مهارات
- الأصغر
- ناعم
- قريبا
- محدد
- أنفق
- بداية
- إحصائي
- قصتنا
- دراسة
- هذه
- كاف
- أخذ
- مع الأخذ
- فريق
- فريق
- التكنولوجيا
- تقني
- أن
- •
- المعلومات
- من مشاركة
- أنفسهم
- وبالتالي
- تشبه
- شيء
- تفكير
- بعناية
- عبر
- الوقت
- إلى
- جدا
- اكثر شيوعا
- جديد الموضة
- صحيح
- الدروس
- التي تقوم عليها
- فهم
- فهم
- us
- تستخدم
- المتغيرات
- طريق..
- طرق
- ابحث عن
- التي
- في حين
- ويكيبيديا
- سوف
- رغبات
- مع
- بدون
- نسائي
- عامل
- العالم
- سوف
- كاتب
- جاري الكتابة
- خاطئ
- عام
- حل متجر العقارات الشامل الخاص بك في جورجيا
- نفسك
- زفيرنت