תמונה מאת המחבר
מדעני נתונים, מהנדסי נתונים ומהנדסי למידת מכונה מבלים הרבה מזמנם בהסתכלות על נתונים ומציאת ציורים סטטיסטיים או מסקנות מהם. אבל דבר גדול שהוא מיומנות נדרשת עבור אנשי המקצוע הללו וכל מי שמסתכל על נתונים הוא בעל אינטואיציה טובה לעולם האמיתי.
לנתונים יש מספר משתנים שאתה יכול לקחת בחשבון, עם זאת, טוב לציין שהם מייצרים ייצוג סופי ממדי. זה המקום שבו תצטרכו לראות מעבר לנתונים ולהבין מהי המציאות הנסתרת וכיצד ניתן ליישם אותה על מערך הנתונים.
הפרדוקס של סימפסון מוכיח לנו את החשיבות של להיות סקפטיים בעת פירוש הנתונים שלך, ולהבטיח שאתה מיישם את העולם האמיתי - מבלי להגביל את עצמך מלראות אותם מנקודת מבט של נתונים.
בשנת 1972 הציג קולין ר' בלית' את השם פרדוקס סימפסון, הידוע גם בתור ההיפוך של סימפסון, אפקט יול-סימפסון, פרדוקס האיחוד או פרדוקס היפוך.
הפרדוקס של סימפסון הוא כאשר מגמה או פלט נוכחים כאשר הנתונים מוכנסים לקבוצות שמתהפכות או נעלמות כאשר הנתונים משולבים. זהו פרדוקס סטטיסטי שבו הוא יכול להסיק שתי מסקנות הפוכות מאותם נתונים, בהתאם לאופן שבו הנתונים מקובצים.
הפרדוקס של UC ברקלי וסימפסון
דוגמה פופולרית לפרדוקס של סימפסון היא המחקר של UC ברקלי על הטיה מגדרית בקבלה לבתי ספר לתארים מתקדמים. בשנת 1973, בתחילת השנה האקדמית, בית הספר לתארים מתקדמים של UC ברקלי קיבל כ-44% בקשות גברים ו-35% נשים. בית הספר חשש שהם עומדים בפני תביעה, ולכן התכוננו לכך בכך שביקשו מפיטר ביקל, סטטיסטיקאי, לעיין בנתונים.
מה שהוא גילה הוא שיש הטיה מגדרית מובהקת סטטיסטית שהייתה לטובת נשים ב-4/6 מחלקות, ושלא הייתה הטיה מגדרית מובהקת ב-2 הנותרות. ממצאי הצוות הראו שהנשים הגישו בקשה למחלקות שיש להן הטיה כללית. אחוז קטן יותר מהפונים.
בפרדוקס סימפסון, אתה צריך לקחת בחשבון תרחישים ומשתנים בעולם האמיתי שניתן להסתיר ולא לפרש בקלות באמצעות נתונים. בדוגמה זו, המשתנה הנסתר הוא שיותר נשים פנו למחלקה ספציפית. הדבר משפיע על האחוז הכולל של המועמדים המתקבלים, באופן שמראה את המגמה ההפוכה שהייתה בתחילה בנתונים.
לאחר מכן, הצוות הגיע למסקנה שהתפוקה שלהם על הנתונים השתנתה כאשר הם לקחו זאת בחשבון בעת חלוקת בית הספר למחלקות.
התמונה למטה מסבירה כיצד המגמות מתהפכות כאשר הנתונים מקובצים:
תמונה על ידי ויקיפדיה
הפרדוקס של סימפסון יכול להפוך את העבודה עם נתונים למורכבת יותר ולהקשות בהרבה על תהליך קבלת ההחלטות.
אם תתחיל לדגום מחדש את הנתונים שלך אחרת, תצא עם מסקנות שונות. באופן טבעי זה יקשה עליך לבחור מסקנה אחת מדויקת כדי להסיק תובנות נוספות. המשמעות היא שהצוות יצטרך למצוא את המסקנה הטובה ביותר שיש לה ייצוג הוגן של הנתונים.
כאשר עובדים עם פרויקטים הקשורים לנתונים, אנו מתמקדים לעתים קרובות בנתונים ומנסים לפרש את הסיפור שהוא מנסה לספר לנו. אבל אם ניישם ידע בעולם האמיתי, זה יספר לנו סיפור אחר לגמרי.
הבנת החשיבות של זה פותחת בפנינו הזדמנויות נוספות להסתכל עמוק יותר לתוך הנתונים ולבצע ניתוח מספיק כדי לסייע בתהליך קבלת ההחלטות. הפרדוקס של סימפסון מתמקד כיצד חוסר בתובנה אנליטית מספקת וידע כולל בפרויקט עלולים להטעות אותנו ולקבל החלטות שגויות.
לדוגמה, אנו רואים עלייה בשימוש בניתוח נתונים בזמן אמת. יותר ויותר צוותים מיישמים זאת כדי לסייע באיתור דפוסים, ומשתמשים בתובנה הזו כדי לקבל החלטות בפרקי זמן קצרים. עבודה עם ניתוח נתונים בזמן אמת יעילה כאשר אתה מתמקד כיצד לשפר חברה בהתבסס על הנתונים הנוכחיים בזמן אמת. עם זאת, תקופות קצרות אלו עלולות לגרום למידע מטעה ולהסתיר את המגמה האמיתית הכוללת שהנתונים מראים.
ניתוח נתונים שגוי יכול לעכב חברה. וכולנו יודעים שהחלטות שגויות תמיד מעכבות חברה. לכן, התחשבות בפרדוקס של סימפסון מועיל לחברה להבין את מגבלות הנתונים, מה מניע את הנתונים והמשתנים השונים ושומר על הטיה נמוכה.
הפרדוקס של סימפסון עוזר להזכיר לאנשי מקצוע העובדים עם נתונים על החשיבות של הבנת הנתונים ורמת האינטואיציה שלהם. זה כאשר הרבה מיומנויות רכות של אנשי דאטה יופיעו, כמו חשיבה ביקורתית.
המטרה היא לחפש הטיות ומשתנים נסתרים הקיימים בנתונים, שאולי לא ניתן לגלות אותם בקלות במבט ראשון או כאשר בוצע ניתוח גבוה.
דבר אחד שכדאי לקחת בחשבון לגבי הפרדוקס של סימפסון הוא שיותר מדי צבירה של נתונים יכולה להפוך בקרוב לחסרת תועלת ולהתחיל להכניס הטיה. אבל מצד שני, אם לא נצבור את הנתונים, הנתונים יכולים להיות מוגבלים במידע ובדפוסים הבסיסיים שהם יכולים לספר לנו.
כדי להימנע מהפרדוקס של סימפסון, תצטרך לסקור את הנתונים שלך ביסודיות ולוודא שיש לך הבנה טובה של הבעיה העסקית שעל הפרק.
נישה אריה הוא מדען נתונים, כותב טכני עצמאי ומנהל קהילה ב-KDnuggets. היא מעוניינת במיוחד במתן ייעוץ קריירה או הדרכות וידע מבוסס תיאוריה סביב Data Science. היא גם רוצה לחקור את הדרכים השונות שבהן אינטליגנציה מלאכותית יכולה להועיל לאריכות חיי האדם. לומדת נלהבת, המבקשת להרחיב את הידע הטכני וכישורי הכתיבה שלה, תוך כדי עזרה בהדרכת אחרים.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
- מקור: https://www.kdnuggets.com/2023/03/simpson-paradox-implications-data-science.html?utm_source=rss&utm_medium=rss&utm_campaign=simpsons-paradox-and-its-implications-in-data-science
- :הוא
- $ למעלה
- 35%
- a
- אודות
- אקדמי
- מקובל
- חֶשְׁבּוֹן
- מדויק
- הודה
- עצה
- נגד
- - צבירה
- תעשיות
- תמיד
- אנליזה
- אנליטית
- ניתוח
- ו
- כל אחד
- יישומים
- יישומית
- החל
- מריחה
- ARE
- סביב
- מלאכותי
- בינה מלאכותית
- AS
- At
- לְהִמָנַע
- בחזרה
- מבוסס
- BE
- להיות
- להיות
- להלן
- תועלת
- הטבות
- ברקלי
- הטוב ביותר
- מעבר
- הטיה
- גָדוֹל
- לְהַרְחִיב
- עסקים
- by
- CAN
- קריירה
- לגרום
- לבחור
- משולב
- איך
- קהילה
- חברה
- לחלוטין
- מורכב
- הגיע למסקנה
- מסקנה
- התחשבות
- קריטי
- נוֹכְחִי
- נתונים
- ניתוח נתונים
- ניתוח נתונים
- מדע נתונים
- מדען נתונים
- קבלת החלטות
- החלטות
- עמוק יותר
- מַחלָקָה
- מחלקות
- תלוי
- אחר
- לְהֵעָלֵם
- לא
- ציורים
- בקלות
- השפעה
- אפקטיבי
- או
- מהנדסים
- לְהַבטִיחַ
- הבטחתי
- דוגמה
- מסביר
- לחקור
- הוגן
- טובה
- נְקֵבָה
- תרשים
- מציאת
- ראשון
- מבט ראשון
- מרוכז
- מתמקד
- התמקדות
- בעד
- מצא
- עצמאי
- החל מ-
- נוסף
- מין
- טוב
- בוגר
- קבוצה
- מדריך
- יד
- יש
- יש
- לעזור
- עזרה
- עוזר
- מוּסתָר
- הסתר
- גָבוֹהַ
- להחזיק
- איך
- איך
- אולם
- HTTPS
- בן אנוש
- תמונה
- יישום
- השלכות
- חשיבות
- לשפר
- in
- מידע
- בהתחלה
- תובנה
- תובנות
- מוֹדִיעִין
- מעוניין
- מבוא
- הציג
- אינטואיציה
- IT
- שֶׁלָה
- jpg
- KDnuggets
- נִלהָב
- לדעת
- ידע
- ידוע
- חוסר
- תביעה משפטית
- הלומד
- למידה
- מהנדסי למידה
- רמה
- החיים
- מגבלות
- מוגבל
- לינקדין
- אריכות ימים
- נראה
- הסתכלות
- מגרש
- נמוך
- מכונה
- למידת מכונה
- לעשות
- מנהל
- אומר
- יותר
- שם
- כמובן
- צורך
- of
- on
- ONE
- נפתח
- הזדמנויות
- מול
- אחר
- אחרים
- תפוקה
- מקיף
- פרדוקס
- במיוחד
- דפוסי
- אחוזים
- לבצע
- תקופות
- פיטר
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- פופולרי
- מוּכָן
- להציג
- בעיה
- תהליך
- אנשי מקצוע
- פּרוֹיֶקט
- פרויקטים
- מוכיח
- מתן
- גם
- ממשי
- עולם אמיתי
- זמן אמת
- נתונים בזמן אמת
- מציאות
- נותר
- נציגות
- נדרש
- מגביל
- התהפכות
- להפוך
- סקירה
- לעלות
- s
- אותו
- תרחישים
- בית ספר
- מדע
- מַדְעָן
- מדענים
- ראות
- מחפשים
- כמה
- קצר
- הופעות
- משמעותי
- ספקני
- מְיוּמָנוּת
- מיומנויות
- קטן יותר
- רך
- בקרוב
- ספציפי
- לבלות
- התחלה
- סטטיסטי
- סיפור
- לימוד
- כזה
- מספיק
- לקחת
- נטילת
- נבחרת
- צוותי
- טק
- טכני
- זֶה
- אל האני
- המידע
- שֶׁלָהֶם
- עצמם
- לכן
- אלה
- דבר
- חושב
- בִּיסוֹדִיוּת
- דרך
- זמן
- ל
- גַם
- מְגַמָה
- מגמות
- נָכוֹן
- הדרכות
- בְּסִיסִי
- להבין
- הבנה
- us
- להשתמש
- משתנים
- דֶרֶך..
- דרכים
- מה
- אשר
- בעוד
- ויקיפדיה
- יצטרך
- משאלות
- עם
- לְלֹא
- נשים
- עובד
- עוֹלָם
- היה
- סופר
- כתיבה
- טעות
- שנה
- עצמך
- זפירנט