Yazara göre resim
Veri Bilimcileri, Veri Mühendisleri ve Makine Öğrenimi Mühendisleri, zamanlarının çoğunu verilere bakarak ve onlardan istatistiksel çizimler veya sonuçlar çıkararak geçirirler. Ancak bu profesyoneller ve verilere bakan herkes için gerekli bir beceri olan büyük bir şey, gerçek dünya için iyi bir sezgiye sahip olmaktır.
Verilerin göz önünde bulundurabileceğiniz birkaç değişkeni vardır, ancak sonlu boyutlu bir temsil oluşturduğunu belirtmekte fayda var. Burası, verilerin ötesini görmeniz ve gizli gerçekliğin ne olduğunu ve veri kümesine nasıl uygulanabileceğini anlamanız gereken yerdir.
Simpson'ın paradoksu, verilerinizi yorumlarken şüpheci olmanın ve gerçek dünyayı - onu veri açısından görmekten kendinizi kısıtlamadan - uygulamanızı sağlamanın önemini bize kanıtlıyor.
1972'de Colin R. Blyth, Simpson'ın tersine çevrilmesi, Yule-Simpson etkisi, birleştirme paradoksu veya ters çevirme paradoksu olarak da bilinen Simpson paradoksu adını tanıttı.
Simpson Paradoksu, veriler birleştirildiğinde tersine dönen veya kaybolan gruplara yerleştirildiğinde bir eğilim veya çıktının mevcut olduğu zamandır. Verilerin nasıl gruplandırıldığına bağlı olarak, aynı verilerden iki zıt sonuç çıkarabildiği istatistiksel bir paradokstur.
UC Berkeley ve Simpson paradoksu
Simpson paradoksunun popüler bir örneği, UC Berkeley'in yüksek lisans okullarına kabullerde cinsiyet yanlılığı üzerine yaptığı çalışmadır. 1973'te, akademik yılın başlangıcında, UC Berkeley lisansüstü okulu yaklaşık %44 erkek başvuru ve %35 kadın başvuru kabul etti. Okul bir davayla karşı karşıya kalacaklarından korktu ve bu nedenle istatistikçi Peter Bickel'den verilere bakmasını isteyerek buna hazırlandı.
Bulduğu şey, 4/6 departmanda kadınların lehine olan istatistiksel olarak anlamlı bir cinsiyet yanlılığı olduğu ve geri kalan 2'de önemli bir cinsiyet yanlılığının olmadığıydı. Ekibin bulguları, kadınların genel başvuranların daha küçük yüzdesi.
Simpson's Paradox'ta, veriler aracılığıyla kolayca yorumlanamayan ve gizlenebilen gerçek dünya senaryolarını ve değişkenlerini dikkate almanız gerekir. Bu örnekte gizli değişken, belirli bir departmana daha fazla kadının başvuruyor olmasıdır. Bu, verilerde başlangıçta var olan ters eğilimi gösterecek şekilde, kabul edilen başvuru sahiplerinin genel yüzdesini etkiler.
Ekip daha sonra okulu bölümlere ayırırken verileri dikkate aldıklarında veriler üzerindeki çıktılarının değiştiği sonucuna vardı.
Aşağıdaki resim, veriler gruplandırıldığında eğilimlerin nasıl tersine döndüğünü açıklamaktadır:
Image Vikipedi
Simpson paradoksu, verilerle çalışmayı daha karmaşık hale getirebilir ve karar verme sürecini çok daha zor hale getirebilir.
Verilerinizi farklı şekilde yeniden örneklemeye başlarsanız, farklı sonuçlara varacaksınız. Bu, doğal olarak, daha fazla içgörü elde etmek için belirli bir doğru sonucu seçmenizi zorlaştıracaktır. Bu, ekibin verileri adil bir şekilde temsil eden en iyi sonucu bulması gerektiği anlamına gelir.
Veriyle ilgili projelerle çalışırken, genellikle verilere odaklanırız ve bize anlatmaya çalıştığı hikayeyi yorumlamaya çalışırız. Ancak gerçek dünya bilgisini uygularsak, bize tamamen farklı bir hikaye anlatırdı.
Bunun önemini anlamak, verileri daha derinlemesine incelememiz ve karar verme sürecine yardımcı olacak yeterli analizler yapmamız için bize daha fazla fırsat sunuyor. Simpson Paradoksu, yeterli analitik kavrayış ve genel proje bilgisi eksikliğinin bizi nasıl yanıltabileceğine ve yanlış kararlar verebileceğine odaklanır.
Örneğin, gerçek zamanlı veri analitiğinin kullanımında bir artış görüyoruz. Giderek daha fazla ekip, kalıpları tespit etmeye yardımcı olmak için bunu uyguluyor ve bu içgörüyü kısa sürelerde kararlar almak için kullanıyor. Gerçek zamanlı veri analiziyle çalışmak, mevcut gerçek zamanlı verilere dayalı olarak bir şirketi nasıl iyileştireceğinize odaklandığınızda etkilidir. Ancak bu kısa süreler yanıltıcı bilgilere neden olabilir ve verilerin gösterdiği genel gerçek eğilimi gizleyebilir.
Yanlış veri analizi bir şirketi geride tutabilir. Ve hepimiz biliyoruz ki yanlış kararlar her zaman bir şirketi geride bırakır. Bu nedenle, Simpson paradoksunu dikkate almak, şirketin verilerin sınırlamalarını, verileri neyin yönlendirdiğini ve farklı değişkenleri anlamasına yardımcı olur ve önyargıyı düşük tutar.
Simpson's Paradox, verilerle çalışan profesyonellere verileri anlamanın önemini ve onların veri sezgi düzeylerini hatırlatmaya yardımcı olur. Bu, birçok veri uzmanının eleştirel düşünme gibi sosyal becerilerinin ortaya çıkacağı zamandır.
Amaç, verilerde bulunan ve ilk bakışta veya yüksek analiz yapıldığında kolayca keşfedilemeyen gizli önyargıları ve değişkenleri aramaktır.
Simpson paradoksu hakkında dikkate alınması gereken bir şey, çok fazla veri toplamanın kısa sürede işe yaramaz hale gelebileceği ve önyargı oluşturmaya başlayabileceğidir. Ancak öte yandan, verileri toplamazsak, veriler bize söyleyebileceği bilgiler ve altta yatan kalıplar açısından sınırlı olabilir.
Simpson paradoksundan kaçınmak için, verilerinizi baştan sona gözden geçirmeniz ve eldeki iş sorununu iyi anladığınızdan emin olmanız gerekir.
Nişa Arya KDnuggets'ta bir Veri Bilimcisi, Serbest Teknik Yazar ve Topluluk Yöneticisidir. Veri Bilimi kariyer tavsiyesi veya eğitimleri ve Veri Bilimi hakkında teoriye dayalı bilgi sağlamakla özellikle ilgileniyor. Ayrıca, Yapay Zekanın insan yaşamının uzun ömürlülüğüne fayda sağladığı/sağlayabileceği farklı yolları keşfetmek istiyor. Başkalarına rehberlik ederken teknoloji bilgisini ve yazma becerilerini genişletmeye çalışan hevesli bir öğrenci.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
- Kaynak: https://www.kdnuggets.com/2023/03/simpson-paradox-implications-data-science.html?utm_source=rss&utm_medium=rss&utm_campaign=simpsons-paradox-and-its-implications-in-data-science
- :dır-dir
- $UP
- %35
- a
- Hakkımızda
- akademik
- kabul edilen
- Hesap
- doğru
- kabul edilmiş
- tavsiye
- karşı
- toplanma
- Türkiye
- her zaman
- analiz
- Analitik
- analytics
- ve
- kimse
- uygulamaları
- uygulamalı
- Tamam
- Uygulanması
- ARE
- etrafında
- yapay
- yapay zeka
- AS
- At
- önlemek
- Arka
- merkezli
- BE
- müşterimiz
- olmak
- altında
- yarar
- faydaları
- Berkeley
- İYİ
- Ötesinde
- önyargı
- Büyük
- genişletmek
- iş
- by
- CAN
- Kariyer
- Sebeb olmak
- Klinik
- kombine
- nasıl
- topluluk
- şirket
- tamamen
- karmaşık
- sonucuna
- sonuç
- dikkate
- kritik
- akım
- veri
- veri analizi
- Veri Analizi
- veri bilimi
- veri bilimcisi
- Karar verme
- kararlar
- derin
- bölüm
- bölümler
- bağlı
- farklı
- kaybolmak
- Dont
- Çizimler
- kolayca
- Efekt
- Etkili
- ya
- Mühendisler
- sağlamak
- sağlanması
- örnek
- açıklar
- keşfetmek
- adil
- iyilik
- kadın
- şekil
- bulmak
- bulma
- Ad
- İlk Bakış
- odaklanmış
- odaklanır
- odaklanma
- İçin
- bulundu
- serbest
- itibaren
- daha fazla
- Cinsiyet
- Tercih Etmenizin
- mezun
- Grubun
- rehberlik
- el
- Var
- sahip olan
- yardım et
- yardım
- yardımcı olur
- Gizli
- gizlemek
- Yüksek
- ambar
- Ne kadar
- Nasıl Yapılır
- Ancak
- HTTPS
- insan
- görüntü
- uygulanması
- etkileri
- önem
- iyileştirmek
- in
- bilgi
- başlangıçta
- kavrama
- anlayışlar
- İstihbarat
- ilgili
- tanıtmak
- tanıttı
- sezgi
- IT
- ONUN
- jpg
- KDNuggets
- Keskin
- Bilmek
- bilgi
- bilinen
- Eksiklik
- dava
- öğrenci
- öğrenme
- öğrenme mühendisleri
- seviye
- hayat
- sınırlamaları
- Sınırlı
- uzun ömürlü
- Bakın
- bakıyor
- Çok
- Düşük
- makine
- makine öğrenme
- yapmak
- müdür
- anlamına geliyor
- Daha
- isim
- doğal olarak
- gerek
- of
- on
- ONE
- açılır
- Fırsatlar
- karşısında
- Diğer
- Diğer
- çıktı
- tüm
- Paradoks
- özellikle
- desen
- yüzde
- yapmak
- dönemleri
- Peter
- Platon
- Plato Veri Zekası
- PlatoVeri
- Popüler
- hazırlanmış
- mevcut
- Sorun
- süreç
- profesyoneller
- proje
- Projeler
- kanıtlıyor
- sağlama
- koymak
- gerçek
- Gerçek dünya
- gerçek zaman
- gerçek zamanlı veri
- Gerçeklik
- kalan
- temsil
- gereklidir
- kısıtlayan
- Tersine çevirme
- ters
- yorum
- Yükselmek
- s
- aynı
- senaryolar
- Okul
- Bilim
- bilim adamı
- bilim adamları
- görme
- arayan
- birkaç
- kısa
- Gösteriler
- önemli
- şüpheci
- beceri
- becerileri
- daha küçük
- Yumuşak
- Yakında
- özel
- geçirmek
- başlama
- istatistiksel
- Öykü
- Ders çalışma
- böyle
- yeterli
- Bizi daha iyi tanımak için
- alma
- takım
- takım
- teknoloji
- Teknik
- o
- The
- Bilgi
- ve bazı Asya
- kendilerini
- bu nedenle
- Bunlar
- şey
- Düşünme
- iyice
- İçinden
- zaman
- için
- çok
- eğilim
- Trendler
- gerçek
- Öğreticiler
- altında yatan
- anlamak
- anlayış
- us
- kullanım
- değişkenler
- Yol..
- yolları
- Ne
- hangi
- sırasında
- Vikipedi
- irade
- dilek
- ile
- olmadan
- Kadın
- çalışma
- Dünya
- olur
- yazar
- yazı yazıyor
- Yanlış
- yıl
- kendiniz
- zefirnet