Pilt autorilt
Andmeteadlased, andmeinsenerid ja masinõppeinsenerid veedavad palju aega andmete vaatamisel ja nendest statistiliste jooniste või järelduste leidmisel. Kuid suur asi, mis on nende spetsialistide ja kõigi andmeid vaadates nõutav oskus, on reaalse maailma jaoks hea intuitsioon.
Andmed sisaldavad mitmeid muutujaid, mida saate arvesse võtta, kuid on hea märkida, et need annavad lõpliku mõõtmega esituse. Siin peate nägema andmetest kaugemale ja välja selgitama, mis on varjatud reaalsus ja kuidas seda andmekogule rakendada.
Simpsoni paradoks tõestab meile, kui oluline on olla oma andmete tõlgendamisel skeptiline ja tagada, et kasutate tegelikku maailma – ilma, et te piiraksite andmete nägemist andmete vaatenurgast.
1972. aastal võttis Colin R. Blyth kasutusele nimetuse Simpsoni paradoks, mida tuntakse ka kui Simpsoni tagasikäiku, Yule-Simpsoni efekti, amalgamatsiooniparadoksi või pöördumise paradoksina.
Simpsoni paradoks on see, kui andmete koondamisel rühmadesse on olemas trend või väljund, mis andmete kombineerimisel kas pöörduvad või kaovad. See on statistiline paradoks, kus ta võib teha samade andmete põhjal kaks vastandlikku järeldust, olenevalt sellest, kuidas andmed on rühmitatud.
UC Berkeley ja Simpsoni paradoks
Populaarne näide Simpsoni paradoksist on UC Berkeley uuring soolise eelarvamuse kohta magistriõppesse sisseastumisel. 1973. aastal, õppeaasta alguses, võttis UC Berkeley kraadiõppekool vastu umbes 44% meessoost taotlejaid ja 35% naissoost taotlejaid. Kool kartis, et nad on kohtuasja vastu, mistõttu valmistuti selleks, paludes statistikul Peter Bickelil andmetega tutvuda.
Ta avastas, et 4/6 osakonnas oli statistiliselt oluline sooline eelarvamus, mis oli naiste kasuks, ja ülejäänud 2 osakonnas ei olnud olulist soolist eelarvamust. Meeskonna tulemused näitasid, et naised kandideerisid osakondadesse, kus oli üldine hinnang. väiksem protsent taotlejaid.
Simpsoni paradoksis peate arvestama reaalse maailma stsenaariumide ja muutujatega, mida saab varjata ja mida ei ole andmete kaudu lihtne tõlgendada. Selles näites on peidetud muutuja see, et konkreetsesse osakonda kandideeris rohkem naisi. See mõjutab vastuvõetud taotlejate üldist protsenti viisil, mis näitab andmetes algselt esinenud vastupidist suundumust.
Seejärel jõudis meeskond järeldusele, et nende andmete väljund muutus, kui nad võtsid seda arvesse kooli osakondadeks jagamisel.
Allolev pilt selgitab, kuidas suundumused andmete rühmitamisel pöörduvad.
Image by Wikipedia
Simpsoni paradoks võib muuta andmetega töötamise keerulisemaks ja teha otsustusprotsessi palju raskemaks.
Kui hakkate oma andmeid erinevalt uuesti valima, siis teete teistsuguseid järeldusi. See muudab teie jaoks loomulikult ühe konkreetse täpse järelduse tegemise raskemaks, et teha täiendavaid teadmisi. See tähendab, et meeskond peab leidma parima järelduse, millel on andmete õiglane esitus.
Andmetega seotud projektidega töötades keskendume sageli andmetele ja püüame tõlgendada lugu, mida need meile räägivad. Aga kui me rakendame reaalseid teadmisi, räägiks see meile hoopis teistsuguse loo.
Selle olulisuse mõistmine avab meile rohkem võimalusi andmetesse sügavamalt vaadata ja teha otsustusprotsessis abiks piisav analüüs. Simpsoni paradoks keskendub sellele, kuidas piisava analüütilise taipamise ja üldiste projektiteadmiste puudumine võib meid eksitada ja teha valesid otsuseid.
Näiteks näeme reaalajas andmeanalüütika kasutamise tõusu. Üha enam meeskondi rakendab seda, et aidata tuvastada mustreid ja kasutada seda ülevaadet otsuste tegemiseks lühikese aja jooksul. Reaalajas andmeanalüüsiga töötamine on tõhus, kui keskendute sellele, kuidas praeguste reaalajas andmete põhjal ettevõtet täiustada. Need lühikesed perioodid võivad aga põhjustada eksitavat teavet ja varjata üldist tõelist suundumust, mida andmed näitavad.
Vale andmeanalüüs võib ettevõtet tagasi hoida. Ja me kõik teame, et valed otsused hoiavad ettevõtet alati tagasi. Seetõttu on Simpsoni paradoksi arvessevõtmine ettevõttele kasulik andmete piirangute, andmete ja erinevate muutujate mõistmise piirangute ja erinevate muutujate mõistmisel ning hoiab eelarvamused madalal.
Simpsoni paradoks aitab andmetega töötavatele spetsialistidele meelde tuletada andmete mõistmise tähtsust ja andmeintuitsiooni taset. Sel ajal ilmnevad paljude andmespetsialistide pehmed oskused, näiteks kriitiline mõtlemine.
Eesmärk on otsida andmetes esinevaid peidetud nihkeid ja muutujaid, mida ei pruugi esmapilgul või kõrge analüüsi teostamise korral kergesti tuvastada.
Üks asi, mida Simpsoni paradoksi puhul arvesse võtta, on see, et liiga palju andmete koondamist võib peagi kasutuks muutuda ja see võib põhjustada eelarvamusi. Kuid teisest küljest, kui me andmeid ei koonda, võivad andmed olla piiratud teabe ja aluseks olevate mustritega, mida need meile öelda võivad.
Simpsoni paradoksi vältimiseks peate oma andmed põhjalikult üle vaatama ja tagama, et mõistate hästi käsilolevat äriprobleemi.
Nisha Arya on andmeteadlane, vabakutseline tehniline kirjanik ja kogukonnajuht ettevõttes KDnuggets. Ta on eriti huvitatud andmeteaduse karjäärinõustamise või õpetuste ja teooriapõhiste teadmiste pakkumisest andmeteaduse kohta. Samuti soovib ta uurida erinevaid viise, kuidas tehisintellekt on/võib aidata kaasa inimelu pikaealisusele. Innukas õppija, kes soovib laiendada oma tehnilisi teadmisi ja kirjutamisoskusi, aidates samal ajal teisi juhendada.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://www.kdnuggets.com/2023/03/simpson-paradox-implications-data-science.html?utm_source=rss&utm_medium=rss&utm_campaign=simpsons-paradox-and-its-implications-in-data-science
- :on
- $ UP
- 35%
- a
- MEIST
- akadeemiline
- aktsepteeritud
- konto
- täpne
- tunnistas
- nõuanne
- vastu
- koondamine
- Materjal: BPA ja flataatide vaba plastik
- alati
- analüüs
- Analüütiline
- analytics
- ja
- keegi
- rakendused
- rakendatud
- kehtima
- Rakendades
- OLEME
- ümber
- kunstlik
- tehisintellekti
- AS
- At
- vältima
- tagasi
- põhineb
- BE
- muutuma
- on
- alla
- kasu
- Kasu
- Berkeley
- BEST
- Peale
- erapoolikus
- Suur
- laiendada
- äri
- by
- CAN
- Karjäär
- Põhjus
- Vali
- kombineeritud
- Tulema
- kogukond
- ettevõte
- täiesti
- keeruline
- sõlmitud
- järeldus
- tasu
- kriitiline
- Praegune
- andmed
- andmete analüüs
- Andmete analüüs
- andmeteadus
- andmeteadlane
- Otsuse tegemine
- otsused
- sügavam
- osakond
- osakonnad
- Olenevalt
- erinev
- kaovad
- Ära
- Joonistused
- kergesti
- mõju
- Tõhus
- kumbki
- Inseneride
- tagama
- tagades
- näide
- Selgitab
- uurima
- õiglane
- soodustama
- naine
- Joonis
- leidma
- leidmine
- esimene
- First Look
- keskendunud
- keskendub
- keskendumine
- eest
- avastatud
- vabakutseline
- Alates
- edasi
- SUGU
- hea
- koolilõpetaja
- Grupi omad
- suunata
- käsi
- Olema
- võttes
- aitama
- aidates
- aitab
- varjatud
- varjama
- Suur
- hoidma
- Kuidas
- Kuidas
- aga
- HTTPS
- inim-
- pilt
- rakendamisel
- mõjud
- tähtsus
- parandama
- in
- info
- esialgu
- ülevaade
- teadmisi
- Intelligentsus
- huvitatud
- kehtestama
- sisse
- intuitsioon
- IT
- ITS
- jpg
- KDnuggets
- Keen
- Teadma
- teadmised
- teatud
- puudus
- kohtuasi
- õppija
- õppimine
- õppivad insenerid
- Tase
- elu
- piirangud
- piiratud
- pikaealisus
- Vaata
- otsin
- Partii
- Madal
- masin
- masinõpe
- tegema
- juht
- vahendid
- rohkem
- nimi
- loomulikult
- Vajadus
- of
- on
- ONE
- Avaneb
- Võimalused
- vastupidine
- Muu
- teised
- väljund
- üldine
- Paradoks
- eriti
- mustrid
- protsent
- täitma
- perioodid
- Peter
- Platon
- Platoni andmete intelligentsus
- PlatoData
- populaarne
- valmis
- esitada
- Probleem
- protsess
- spetsialistid
- projekt
- projektid
- osutub
- pakkudes
- panema
- reaalne
- päris maailm
- reaalajas
- reaalajas andmeid
- Reaalsus
- ülejäänud
- esindamine
- nõutav
- piirav
- Ümberpööramine
- tagasikäik
- läbi
- Tõusma
- s
- sama
- stsenaariumid
- Kool
- teadus
- teadlane
- teadlased
- nägemine
- otsib
- mitu
- Lühike
- Näitused
- märkimisväärne
- skeptiline
- oskus
- oskused
- väiksem
- Pehme
- Varsti
- konkreetse
- kulutama
- algus
- statistiline
- Lugu
- Uuring
- selline
- piisav
- Võtma
- võtmine
- meeskond
- meeskonnad
- tech
- Tehniline
- et
- .
- teave
- oma
- ennast
- seetõttu
- Need
- asi
- Mõtlemine
- põhjalikult
- Läbi
- aeg
- et
- liiga
- Trend
- Trends
- tõsi
- õpetused
- aluseks
- mõistma
- mõistmine
- us
- kasutama
- muutujad
- Tee..
- kuidas
- M
- mis
- samas
- Wikipedia
- will
- soove
- koos
- ilma
- Naised
- töö
- maailm
- oleks
- kirjanik
- kirjutamine
- Vale
- aasta
- Sinu
- ise
- sephyrnet