Kuva tekijältä
Tietotieteilijät, tietosuunnittelijat ja koneoppimisinsinöörit viettävät paljon aikaa tietojen tutkimiseen ja tilastollisten piirustusten tai johtopäätösten löytämiseen. Mutta suuri asia, joka vaaditaan näiltä ammattilaisilta ja keneltä tahansa dataa katsovalta henkilöltä, on hyvä intuitio todelliseen maailmaan.
Datassa on useita muuttujia, jotka voit ottaa huomioon, mutta on hyvä huomata, että se tuottaa äärellisulotteisen esityksen. Täällä sinun täytyy nähdä datan ulkopuolelle ja selvittää, mikä piilotettu todellisuus on ja miten sitä voidaan soveltaa tietojoukkoon.
Simpsonin paradoksi todistaa meille, kuinka tärkeää on suhtautua skeptisesti tietojasi tulkittaessa ja varmistaa, että käytät todellista maailmaa – ilman, että rajoitat itseäsi näkemästä sitä datan näkökulmasta.
Vuonna 1972 Colin R. Blyth esitteli nimen Simpsonin paradoksi, joka tunnetaan myös nimellä Simpsonin kääntö, Yule-Simpson-efekti, sulautumisparadoksi tai käänteisparadoksi.
Simpsonin paradoksi on, kun trendi tai tulos on läsnä, kun tiedot laitetaan ryhmiin, jotka joko kääntyvät tai katoavat, kun tiedot yhdistetään. Se on tilastollinen paradoksi, jossa se voi tehdä kaksi vastakkaista johtopäätöstä samoista tiedoista riippuen siitä, miten tiedot on ryhmitelty.
UC Berkeley ja Simpsonin paradoksi
Suosittu esimerkki Simpsonin paradoksista on UC Berkeleyn tutkimus sukupuoliharhasta tutkijakouluun pääsyssä. Vuonna 1973, lukuvuoden alussa, UC Berkeleyn tutkijakoulu hyväksyi noin 44 % miehistä ja 35 % naishakijoista. Koulu pelkäsi olevansa oikeusjuttu vastaan, joten valmistautui tähän pyytämällä tilastotieteilijä Peter Bickeliä katsomaan tietoja.
Hän havaitsi, että tilastollisesti merkitsevä sukupuoliharha oli naisten eduksi 4/6 osastolla ja että kahdella muulla osastolla ei ollut merkittävää sukupuoliharhaa. Ryhmän havainnot osoittivat, että naiset hakivat osastoille, joilla oli yleinen tulos. pienempi prosenttiosuus hakijoista.
Simpsonin paradoksissa sinun on otettava huomioon todelliset skenaariot ja muuttujat, jotka voidaan piilottaa ja joita ei ole helppo tulkita tietojen avulla. Tässä esimerkissä piilotettu muuttuja on, että enemmän naisia haki tiettyyn osastoon. Tämä vaikuttaa hyväksyttyjen hakijoiden kokonaisprosenttiin tavalla, joka osoittaa tiedoissa alun perin vallinneen käänteisen suuntauksen.
Tämän jälkeen ryhmä päätteli, että heidän tulosaineistonsa muuttui, kun he ottivat sen huomioon jakaessaan koulun osastoihin.
Alla oleva kuva selittää, kuinka trendit kääntyvät, kun tiedot ryhmitellään:
Kuva wikipedia
Simpsonin paradoksi voi tehdä tietojen kanssa työskentelystä monimutkaisempaa ja tehdä päätöksentekoprosessista paljon vaikeampaa.
Jos alat ottaa dataa uudelleen eri tavalla, teet erilaisia johtopäätöksiä. Tämän vuoksi sinun on luonnollisesti vaikeampi valita yksi tarkka johtopäätös lisänäkemysten tekemiseksi. Tämä tarkoittaa, että tiimin on löydettävä paras johtopäätös, joka edustaa tietoja reilusti.
Kun työskentelemme dataan liittyvien projektien parissa, keskitymme usein dataan ja yritämme tulkita tarinaa, jota se yrittää kertoa meille. Mutta jos soveltaisimme todellista tietoa, se kertoisi meille täysin toisenlaisen tarinan.
Tämän tärkeyden ymmärtäminen avaa meille enemmän mahdollisuuksia tarkastella dataa syvemmälle ja tehdä päätöksenteon avuksi riittävästi analyyseja. Simpsonin paradoksi keskittyy siihen, kuinka riittävän analyyttisen näkemyksen ja kokonaisvaltaisen projektitiedon puute voi johtaa meitä harhaan ja tehdä vääriä päätöksiä.
Esimerkiksi reaaliaikaisen data-analytiikan käyttö lisääntyy. Yhä useammat tiimit ottavat tämän käyttöön auttaakseen havaitsemaan kuvioita ja käyttämään tätä tietoa tehdäkseen päätöksiä lyhyessä ajassa. Reaaliaikaisen data-analyysin parissa työskenteleminen on tehokasta, kun keskityt siihen, miten voit parantaa yritystä nykyisen reaaliaikaisen datan perusteella. Nämä lyhyet ajanjaksot voivat kuitenkin aiheuttaa harhaanjohtavaa tietoa ja piilottaa tietojen osoittaman yleisen todellisen trendin.
Väärä data-analyysi voi hidastaa yritystä. Ja me kaikki tiedämme, että väärät päätökset pidättävät aina yritystä. Siksi Simpsonin paradoksin huomioon ottaminen hyödyttää yritystä ymmärtämään datan rajoitukset, mikä dataa ohjaa ja eri muuttujat ja pitää biasin pienenä.
Simpson's Paradox auttaa muistuttamaan datan parissa työskenteleviä ammattilaisia datan ymmärtämisen tärkeydestä ja heidän tieto-intuition tasosta. Silloin esiin tulevat monien data-ammattilaisten pehmeät taidot, kuten kriittinen ajattelu.
Tavoitteena on etsiä tiedosta piileviä poikkeamia ja muuttujia, jotka eivät välttämättä ole helposti havaittavissa ensi silmäyksellä tai korkean analyysin jälkeen.
Yksi asia, joka on otettava huomioon Simpsonin paradoksissa, on se, että liiallinen tietojen yhdistäminen voi pian muuttua hyödyttömäksi ja aiheuttaa harhaa. Mutta toisaalta, jos emme kokoa tietoja, data voi olla rajoitettu tiedossa ja taustalla olevissa kuvioissa, joita se voi kertoa meille.
Välttääksesi Simpsonin paradoksin sinun on tarkistettava tietosi perusteellisesti ja varmistettava, että ymmärrät hyvin käsillä olevan liiketoimintaongelman.
Nisha Arya on datatieteilijä, freelance-tekninen kirjoittaja ja yhteisöpäällikkö KDnuggetsissa. Hän on erityisen kiinnostunut tarjoamaan datatieteen uraneuvontaa tai opetusohjelmia ja teoriapohjaista tietoa datatieteestä. Hän haluaa myös tutkia erilaisia tapoja, joilla tekoäly on/voi edistää ihmiselämän pitkää ikää. Innokas oppija, joka haluaa laajentaa teknisiä tietojaan ja kirjoitustaitojaan samalla kun hän auttaa opastamaan muita.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
- Lähde: https://www.kdnuggets.com/2023/03/simpson-paradox-implications-data-science.html?utm_source=rss&utm_medium=rss&utm_campaign=simpsons-paradox-and-its-implications-in-data-science
- :On
- $ YLÖS
- 35%
- a
- Meistä
- akateeminen
- hyväksytty
- Tili
- tarkka
- hyväksytty
- neuvot
- vastaan
- aggregaatti
- Kaikki
- aina
- analyysi
- analyyttinen
- Analytics
- ja
- joku
- sovellukset
- sovellettu
- käyttää
- Hakeminen
- OVAT
- noin
- keinotekoinen
- tekoäly
- AS
- At
- välttää
- takaisin
- perustua
- BE
- tulevat
- ovat
- alle
- hyödyttää
- Hyödyt
- Berkeley
- PARAS
- Jälkeen
- puolueellisuus
- Iso
- laajentaa
- liiketoiminta
- by
- CAN
- Ura
- Aiheuttaa
- Valita
- yhdistetty
- Tulla
- yhteisö
- yritys
- täysin
- monimutkainen
- päätökseen
- johtopäätös
- harkinta
- kriittinen
- Nykyinen
- tiedot
- tietojen analysointi
- Data Analytics
- tietojenkäsittely
- tietojen tutkija
- Päätöksenteko
- päätökset
- syvempää
- osasto
- osastot
- Riippuen
- eri
- kadota
- Dont
- Piirustukset
- helposti
- vaikutus
- Tehokas
- myöskään
- Engineers
- varmistaa
- varmistamalla
- esimerkki
- selittää
- tutkia
- oikeudenmukainen
- suosivat
- naaras-
- Kuva
- Löytää
- löytäminen
- Etunimi
- Ensin näytä
- keskityttiin
- keskittyy
- tarkennus
- varten
- löytyi
- freelance
- alkaen
- edelleen
- Sukupuoli
- hyvä
- valmistua
- Ryhmän
- ohjaavat
- käsi
- Olla
- ottaa
- auttaa
- auttaa
- auttaa
- kätketty
- Piilottaa
- Korkea
- pitää
- Miten
- Miten
- Kuitenkin
- HTTPS
- ihmisen
- kuva
- täytäntöönpanosta
- vaikutukset
- merkitys
- parantaa
- in
- tiedot
- ensin
- tietoa
- oivalluksia
- Älykkyys
- kiinnostunut
- esitellä
- käyttöön
- intuitio
- IT
- SEN
- jpg
- KDnuggets
- Innokas
- Tietää
- tuntemus
- tunnettu
- Lack
- oikeusjuttu
- oppilas
- oppiminen
- oppivat insinöörit
- Taso
- elämä
- rajoitukset
- rajallinen
- pitkäikäisyys
- katso
- näköinen
- Erä
- Matala
- kone
- koneoppiminen
- tehdä
- johtaja
- välineet
- lisää
- nimi
- luonnollisesti
- Tarve
- of
- on
- ONE
- avautuu
- Mahdollisuudet
- päinvastainen
- Muut
- Muuta
- ulostulo
- yleinen
- Paradoksi
- erityisesti
- kuviot
- osuus
- suorittaa
- aikoja
- Pietari
- Platon
- Platonin tietotieto
- PlatonData
- Suosittu
- valmis
- esittää
- Ongelma
- prosessi
- ammattilaiset
- projekti
- hankkeet
- osoittautuu
- tarjoamalla
- laittaa
- todellinen
- todellinen maailma
- reaaliaikainen
- reaaliaikainen data
- Todellisuus
- jäljellä oleva
- edustus
- tarvitaan
- rajoittavat
- Muutos
- käänteinen
- arviot
- Nousta
- s
- sama
- skenaariot
- Koulu
- tiede
- Tiedemies
- tutkijat
- koska
- etsiä
- useat
- Lyhyt
- Näytä
- merkittävä
- skeptinen
- taito
- taitoja
- pienempiä
- Pehmeä
- Pian
- erityinen
- viettää
- Alkaa
- tilastollinen
- Tarina
- tutkimus
- niin
- riittävä
- ottaa
- ottaen
- joukkue-
- tiimit
- teknologia
- Tekninen
- että
- -
- tiedot
- heidän
- itse
- siksi
- Nämä
- asia
- Ajattelu
- perin pohjin
- Kautta
- aika
- että
- liian
- Trend
- Trendit
- totta
- opetusohjelmat
- taustalla oleva
- ymmärtää
- ymmärtäminen
- us
- käyttää
- muuttujat
- Tapa..
- tavalla
- Mitä
- joka
- Kun taas
- wikipedia
- tulee
- toiveet
- with
- ilman
- Naiset
- työskentely
- maailman-
- olisi
- kirjailija
- kirjoittaminen
- Väärä
- vuosi
- Sinun
- itse
- zephyrnet