著者による画像
データ サイエンティスト、データ エンジニア、機械学習エンジニアは、データを見て、そこから統計的な図や結論を見つけることに多くの時間を費やしています。 しかし、これらの専門家やデータを見る人にとって必要なスキルは、現実世界に対する優れた直感を持っていることです。
データには考慮できるいくつかの変数がありますが、有限次元表現を生成することに注意してください。 ここで、データの先を見据え、隠された現実とは何か、それをデータセットにどのように適用できるかを理解する必要があります。
シンプソンのパラドックスは、データを解釈する際に懐疑的であることの重要性と、データの観点からの見方を制限することなく、現実の世界を確実に適用することの重要性を証明しています。
1972年、コリン・R・ブライスは、シンプソンの逆転、ユール・シンプソン効果、融合のパラドックスまたは逆転のパラドックスとしても知られるシンプソンのパラドックスという名前を導入しました。
シンプソンのパラドックスとは、データを組み合わせたときに反転または消失するグループにデータを入れたときにトレンドまたは出力が存在する場合です。 これは、データがどのようにグループ化されるかによって、同じデータから XNUMX つの反対の結論を引き出せるという統計上のパラドックスです。
UC バークレーとシンプソンのパラドックス
シンプソンのパラドックスの一般的な例は、大学院入学におけるジェンダーバイアスに関するカリフォルニア大学バークレー校の研究です。 1973 年、学年度の開始時に、カリフォルニア大学バークレー校の大学院は、約 44% の男性の志願者と 35% の女性の志願者を認めました。 学校は訴訟に直面するのではないかと恐れていたため、統計学者のピーター・ビッケルにデータを見てもらうように依頼することで、これに備えました。
彼が発見したことは、4/6 部門で女性を支持する統計的に有意な性別バイアスがあり、残りの 2 部門では有意な性別バイアスがないことでした。チームの調査結果によると、女性は全体的に志願者の割合が少ない。
シンプソンのパラドックスでは、現実世界のシナリオと変数を考慮する必要があります。これらの変数はデータから隠され、簡単には解釈できません。 この例では、隠れた変数は、より多くの女性が特定の部門に応募したということです。 これは、データに最初に存在した逆の傾向を示す方法で、受け入れられた応募者の全体的な割合に影響を与えます。
その後、チームは、学校を学部に分割する際にそれを考慮に入れると、データに関する出力が変化したと結論付けました。
以下の画像は、データがグループ化されたときに傾向がどのように反転するかを説明しています。
による画像 Wikipedia
シンプソンのパラドックスは、データの操作をより複雑にし、意思決定プロセスをより困難にする可能性があります。
データのリサンプリングを別の方法で開始すると、異なる結論が得られます。 これにより、さらに洞察を得るために特定の正確な結論をXNUMXつ選択することが当然難しくなります. これは、チームがデータを公正に表現する最良の結論を見つけなければならないことを意味します。
データ関連のプロジェクトに取り組むとき、私たちはしばしばデータに注目し、データが伝えようとしているストーリーを解釈しようとします。 しかし、現実世界の知識を適用すると、まったく別の話になります。
この重要性を理解することで、データをより深く調べ、意思決定プロセスに役立つ十分な分析を実行する機会が増えます。 シンプソンのパラドックスは、十分な分析的洞察とプロジェクト全体の知識の欠如がどのように私たちを誤解させ、間違った決定を下す可能性があるかに焦点を当てています.
たとえば、リアルタイムのデータ分析の使用が増加しています。 これを実装してパターンを検出し、この洞察を使用して短期間で意思決定を行うチームがますます増えています。 現在のリアルタイムデータに基づいて会社を改善する方法に焦点を当てている場合、リアルタイムデータ分析を使用すると効果的です。 ただし、これらの短い期間は誤解を招く情報を引き起こし、データが示す全体的な真の傾向を隠す可能性があります。
間違ったデータ分析は、企業の足を引っ張る可能性があります。 そして、間違った決定が常に会社の足を引っ張ることを私たちは皆知っています。 したがって、シンプソンのパラドックスを考慮に入れることで、企業はデータの限界、データを駆動する要因、およびさまざまな変数を理解し、偏りを低く抑えることができます。
シンプソンのパラドックスは、データを扱う専門家に、データを理解することの重要性とデータの直観のレベルを思い出させるのに役立ちます。 これは、クリティカル シンキングなど、多くのデータ プロフェッショナルのソフト スキルが発揮されるときです。
目的は、データに存在する隠れたバイアスや変数を探すことです。これらは、一見しただけでは、または高度な分析が実行された場合には容易に発見できない場合があります。
シンプソンのパラドックスについて考慮すべきことの XNUMX つは、データの集計が多すぎると、すぐに役に立たなくなり、偏りが生じ始める可能性があるということです。 しかしその一方で、データを集約しないと、データから得られる情報や基本的なパターンが制限される可能性があります。
シンプソンのパラドックスを回避するには、データを徹底的に見直し、目の前のビジネス上の問題を十分に理解する必要があります。
ニシャ・アリア KDnuggets のデータ サイエンティスト、フリーランス テクニカル ライター、およびコミュニティ マネージャーです。 彼女は特に、データ サイエンスに関するキャリア アドバイスやチュートリアル、およびデータ サイエンスに関する理論に基づく知識を提供することに関心を持っています。 彼女はまた、人工知能が人間の寿命を延ばすためのさまざまな方法を探求したいと考えています。 熱心な学習者であり、他の人を導く手助けをしながら、技術知識とライティング スキルを広げようとしています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 こちらからアクセスしてください。
- 情報源: https://www.kdnuggets.com/2023/03/simpson-paradox-implications-data-science.html?utm_source=rss&utm_medium=rss&utm_campaign=simpsons-paradox-and-its-implications-in-data-science
- :は
- $UP
- 視聴者の38%が
- a
- 私たちについて
- アカデミック
- 一般に認められた
- 正確な
- 認められた
- アドバイス
- に対して
- 凝集
- すべて
- 常に
- 分析
- 分析的
- 分析論
- &
- 誰も
- 適用された
- 申し込む
- 適用
- です
- 周りに
- 人工の
- 人工知能
- AS
- At
- 避ける
- バック
- ベース
- BE
- になる
- さ
- 以下
- 恩恵
- 利点
- バークリー
- BEST
- 越えて
- バイアス
- ビッグ
- 広げる
- ビジネス
- by
- 缶
- キャリア
- 原因となる
- 選択する
- 組み合わせた
- 来ます
- コミュニティ
- 会社
- 完全に
- 複雑な
- 終了する
- 結論
- 考慮
- 重大な
- 電流プローブ
- データ
- データ分析
- データ分析
- データサイエンス
- データサイエンティスト
- 意思決定
- 決定
- より深い
- 部門
- 部署
- によっては
- 異なります
- 姿を消す
- ドント
- 図面
- 簡単に
- 効果
- 効果的な
- どちら
- エンジニア
- 確保
- 確保する
- 例
- 説明
- 探る
- フェア
- 賛成
- 女性
- フィギュア
- もう完成させ、ワークスペースに掲示しましたか?
- 発見
- 名
- ファーストルック
- 焦点を当て
- 焦点を当てて
- 焦点
- 発見
- フリーランス
- から
- さらに
- 性別
- 良い
- 卒業生
- グループの
- ガイド
- ハンド
- 持ってる
- 持って
- 助けます
- 助け
- ことができます
- 隠されました
- 隠す
- ハイ
- 認定条件
- How To
- しかしながら
- HTTPS
- 人間
- 画像
- 実装
- 意義
- 重要性
- 改善します
- in
- 情報
- 当初
- 洞察力
- 洞察
- インテリジェンス
- 興味がある
- 紹介する
- 導入
- 直感
- IT
- ITS
- JPG
- KDナゲット
- キーン
- 知っている
- 知識
- 既知の
- 欠如
- 訴訟
- 学習者
- 学習
- 学習エンジニア
- レベル
- 生活
- 制限
- 限定的
- 長寿
- 見て
- 探して
- たくさん
- ロー
- 機械
- 機械学習
- make
- マネージャー
- 手段
- 他には?
- 名
- 自然に
- 必要
- of
- on
- ONE
- 開きます
- 機会
- 反対
- その他
- その他
- 出力
- 全体
- パラドックス
- 特に
- パターン
- 割合
- 実行する
- 期間
- Peter Bauman
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 人気
- 準備
- 現在
- 問題
- プロセス
- 専門家
- プロジェクト
- プロジェクト(実績作品)
- 証明する
- 提供
- 置きます
- リアル
- 現実の世界
- への
- リアルタイムデータ
- 現実
- 残り
- 表現
- の提出が必要です
- 制限する
- 逆転
- 逆
- レビュー
- 上昇
- s
- 同じ
- シナリオ
- 学校
- 科学
- 科学者
- 科学者たち
- 見ること
- を求める
- いくつかの
- ショート
- 作品
- 重要
- 懐疑的な
- 技能
- スキル
- より小さい
- ソフト
- すぐに
- 特定の
- 過ごす
- start
- 統計的
- ストーリー
- 勉強
- そのような
- 十分な
- 取る
- 取得
- チーム
- チーム
- テク
- 技術的
- それ
- 情報
- アプリ環境に合わせて
- 自分自身
- したがって、
- ボーマン
- もの
- 考え
- 徹底的に
- 介して
- 時間
- 〜へ
- あまりに
- トレンド
- トレンド
- true
- チュートリアル
- 根本的な
- わかる
- 理解する
- us
- つかいます
- variables
- 仕方..
- 方法
- この試験は
- which
- 一方で
- Wikipedia
- 意志
- 願い
- 無し
- レディース
- ワーキング
- 世界
- でしょう
- 作家
- 書き込み
- 間違った
- 年
- あなたの
- あなた自身
- ゼファーネット