Розуміння довірчих інтервалів за допомогою Python

Перевидано Платоном

читають: 0

Ця стаття була опублікована як частина Блогатон науки про дані.

Зміст

Вступ
Довірчі інтервали з Z-статистикою
Інтерпретація довірчих інтервалів
Припущення для CI за допомогою z-статистики
Довірчі інтервали з t-статистикою
Припущення для CI з використанням t-статистики
Створення t-інтервалу з парними даними
z-value проти t-value: коли що використовувати?
Довірчі інтервали з python
Кінцева примітка

Вступ

Щоразу, коли ми вирішуємо статистичну задачу, нас турбує оцінка параметрів популяції, але найчастіше розрахувати параметри популяції майже неможливо. Замість цього ми беремо випадкові вибірки із сукупності та обчислюємо вибіркові статистичні дані, сподіваючись на наближені параметри сукупності. Але як ми дізнаємося, чи є вибірки справжніми представниками сукупності чи наскільки ця вибіркова статистика відхиляється від параметрів сукупності? Ось тут і з’являються довірчі інтервали. Отже, які це інтервали? Довірчий інтервал – це діапазон значень вище та нижче вибіркової статистики, або ми також можемо визначити його як ймовірність того, що діапазон значень навколо вибіркової статистики містить справжній параметр сукупності.

Довірчі інтервали з Z-статистикою

Перш ніж заглиблюватися в тему, давайте познайомимося з деякими статистичними термінологіями.

населення: Це сукупність усіх подібних осіб. Наприклад, населення міста, студенти коледжу тощо.

зразок: Це невелика сукупність подібних особин, отриманих із популяції. Аналогічно, випадкова вибірка — це вибірка, взята випадковим чином із сукупності.

параметри: середнє (mu), стандартні відхилення (сигма), частка (p), отримана від сукупності.

статистики: середнє (x бар), стандартне відхилення (S), пропорції (p^), що стосуються зразків.

Z-оцінка: це відстань будь-якої точки вихідних даних у нормальному розподілі від середнього, нормалізованого за стандартним відхиленням. Дається: х-му/сигма

Тепер ми готові глибоко зануритися в поняття довірчих інтервалів. Чомусь я вважаю, що набагато краще розуміти поняття на прикладах, які можна порівняти, а не на грубих математичних визначеннях. Тож почнемо.

припустимо, ви живете в місті з населенням 100,000 100, а вибори вже не за горами. Як соціолог, ви повинні спрогнозувати, хто переможе на виборах — синя партія чи жовта. Отже, ви бачите, що зібрати інформацію від усього населення майже неможливо, тому ви випадково вибираєте 62 людей. Наприкінці опитування ви виявили, що 62% людей збираються проголосувати за жовтий. Тепер питання полягає в тому, чи варто зробити висновок, що жовтий переможе з ймовірністю перемоги 62% або 58% всього населення проголосує за жовтий? Ну, відповідь НІ. Ми не знаємо точно, наскільки наша оцінка далека від істинного параметра, якщо ми візьмемо інший зразок, результат може виявитися 65% або XNUMX%. Отже, замість цього ми зробимо пошук діапазону значень навколо нашої вибіркової статистики, які, швидше за все, відображатимуть справжню частку населення. Тут пропорція відноситься до відсотка

зображення належить автору

Тепер, якщо ми візьмемо сотню таких вибірок і побудуємо вибіркову частку кожної вибірки, ми отримаємо нормальний розподіл пропорцій вибірки, а середнє значення розподілу буде найбільш наближеним значенням частки сукупності. І наша оцінка може лежати де завгодно на кривій розподілу. Відповідно до правила 3-сигм ми знаємо, що близько 95% випадкових величин знаходяться в межах 2 стандартних відхилень від середнього розподілу. Отже, можна зробити висновок, що ймовірність того p^ знаходиться в межах 2 стандартних відхилень від p становить 95%. Або ми також можемо стверджувати, що ймовірність того, що p знаходиться в межах 2 стандартних відхилень нижче і вище p^, також становить 95%. Ці два твердження фактично еквівалентні. Ці дві точки нижче та над p^ є нашими довірчими інтервалами.

зображення належить автору

Якщо ми зможемо якимось чином знайти сигму, ми зможемо обчислити наш необхідний інтервал. Але сигма тут є параметром сукупності, і ми знаємо, що його часто майже неможливо обчислити, тому замість цього ми будемо використовувати вибіркову статистику, тобто стандартну помилку. Це дається як

$SE = \sqrt{\hat{p}(1- \hat{p})/n}$

де p^= частка вибірки, n=кількість проб

SE =√(0.62 . 0.38/100) = 0.05

отже, 2xSE = 0.1

Довірчий інтервал для наших даних становить (0.62-0.1,0.62+0.1) або (0.52,0.72). Оскільки ми взяли 2xSE, це означає 95% довірчий інтервал.

Тепер виникає питання: що, якщо ми хочемо створити 92% довірчий інтервал? У попередньому прикладі ми помножили 2 на SE, щоб побудувати 95% довірчий інтервал, це 2 є z-оцінкою для 95% довірчого інтервалу (точне значення дорівнює 1.96), і це значення можна знайти з z-таблиці. Критичне значення z для 92% довірчого інтервалу становить 1.75. Відноситься до це стаття для кращого розуміння z-оцінки та z-таблиці.

Інтервал визначається як: (p^ + z*.SE , p^-z*.SE).

Якщо замість пропорції вибірки вказано середнє вибіркове значення, буде стандартна помилка сигма/sqrt(n). Тут сигма є стандартним відхиленням сукупності, оскільки ми часто його не маємо, замість цього використовуємо вибіркове стандартне відхилення. Але часто помічається, що такий тип оцінки, коли надається середнє значення, має тенденцію бути дещо упередженим. Тому в таких випадках краще використовувати t-статистику замість z-статистики.

Загальна формула для довірчого інтервалу з z-статистикою задається

$statistic \pm z^* . \sigma _ s$

Тут статистика відноситься до вибіркового середнього або вибіркової частки. сигма_sє стандартним відхиленням сукупності.

Інтерпретація довірчих інтервалів

Дуже важливо правильно інтерпретувати довірчі інтервали. Розглянемо попередній приклад опитування, де ми розрахували наш 95% довірчий інтервал як (0.52,0.62). Що це означає? Ну, 95% довірчий інтервал означає, що якщо ми візьмемо n вибірок із сукупності, то 95% часу похідний інтервал міститиме справжню частку сукупності. Пам’ятайте, що 95% довірчий інтервал не означає, що існує 95% ймовірність того, що інтервал містить справжню частку населення. Наприклад, для 90% довірчого інтервалу, якщо ми візьмемо 10 вибірок із сукупності, тоді 9 з 10 разів більше зазначеного інтервалу міститиме справжній параметр сукупності. Для кращого розуміння подивіться на малюнок нижче.

зображення належить автору

Припущення для довірчих інтервалів за допомогою Z-статистики

Існують певні припущення, які ми повинні шукати, щоб побудувати дійсний довірчий інтервал за допомогою z-статистики.

Випадкова вибірка: вибірки мають бути випадковими. Існують різні методи вибірки, як-от стратифікована вибірка, проста випадкова вибірка, кластерна вибірка для отримання випадкових вибірок.
Нормальна умова: дані повинні задовольняти цій умові np^>=10 і n.(1-p^)>=10. Це, по суті, означає, що наш вибірковий розподіл середніх вибірок має бути нормальним, а не перекошеним з жодної сторони.
Незалежні: зразки повинні бути незалежними. Кількість вибірок має бути менше або дорівнювати 10% від загальної сукупності або якщо вибірка проводиться із заміною.

Довірчі інтервали з T-статистикою

Що робити, якщо розмір вибірки відносно невеликий, а стандартне відхилення сукупності не вказано або не може бути припущено? Як ми побудуємо довірчий інтервал? ну, саме тут на допомогу приходить t-статистика. Основна формула для визначення довірчого інтервалу тут залишається незмінною, лише z* замінено на t*. Загальна формула задається

$statistic \pm t^* . S / \sqrt{n}$

де S = стандартне відхилення вибірки, n = кількість вибірок

Припустимо, ви організували вечірку і хочете оцінити середнє споживання пива вашими гостями. Отже, ви отримуєте випадкову вибірку з 20 осіб і виміряєте споживання пива. Дані зразка є симетричними із середнім значенням 0f 1200 мл і стандартним відхиленням 120 мл. Отже, тепер ви хочете побудувати 95% довірчий інтервал.

Отже, ми маємо вибіркове стандартне відхилення, кількість вибірок та вибіркове середнє. Все, що нам потрібно, це t*. Отже, t* для 95% довірчого інтервалу зі ступенем свободи 19(n-1 = 20-1) дорівнює 2.093. Отже, наш необхідний інтервал після розрахунку становить (1256.16, 1143.83) з похибкою 56.16. Відноситься до це відео, щоб знати, як читати t-таблицю.

Припущення для CI за допомогою T-статистики

Подібно до випадку z-статистики тут, у випадку t-статистики також є деякі умови, на які ми повинні звернути увагу в даних даних.

Вибірка повинна бути випадковою
Зразок повинен бути нормальним. Щоб бути нормальним, розмір вибірки повинен бути більшим або рівним 30 або якщо батьківський набір даних, тобто сукупність, приблизно нормальна. Або якщо розмір вибірки менше 30, то розподіл має бути приблизно симетричним.
Індивідуальні спостереження мають бути незалежними. Це означає, що він відповідає правилу 10%, або вибірка виконується із заміною.

Створення Т-інтервалу для парних даних

До цього часу ми використовували лише дані одного зразка. Тепер ми побачимо, як ми можемо побудувати t-інтервал для парних даних. У парних даних ми робимо два спостереження за однією людиною. Наприклад, порівняння оцінок студентів до та після тесту або даних про вплив препарату та плацебо на групу осіб. У парних даних ми знайшли різницю між двома спостереженнями в 3-му стовпці. Як зазвичай, ми розглянемо приклад, щоб також зрозуміти це поняття,

З. Вчитель спробував оцінити вплив нової навчальної програми на результат тесту. Нижче наведено результати спостережень.

зображення належить автору

Оскільки ми маємо намір знайти інтервали для середньої різниці, нам потрібна лише статистика для відмінностей. Ми будемо використовувати ту саму формулу, яку використовували раніше

статистика +- (критичне значення або t-значення) (стандартне відхилення статистики)

$\bar{x} _{d} \pm t^* . S_{d} / \sqrt{n}$

x_d = середнє значення різниці, S_d = вибіркове стандартне відхилення, для 95% ДІ зі ступенем свободи 5 t* дорівнює 2.57. Допустима помилка = 0.97 і довірчий інтервал (4.18,6.13).

Інтерпретація: З наведених вище оцінок, як ми бачимо, довірчий інтервал не містить нульових або негативних значень. Отже, можна зробити висновок, що нова навчальна програма позитивно вплинула на контрольні показники учнів. Якби вона мала лише негативні значення, то можна було б сказати, що навчальний план мав негативний вплив. Або якщо він містив нуль, то могла бути ймовірність того, що різниця була нульовою або ніякого впливу навчальної програми на результати тестування.

Z-значення проти T-значення

На початку виникає багато плутанини щодо того, коли що використовувати. Основне правило: коли розмір вибірки >= 30, а стандартне відхилення сукупності, як відомо, використовує z-статистику. Якщо розмір вибірки < 30, використовуйте t-статистику. У реальному житті ми не маємо параметрів сукупності, тому будемо використовувати z або t на основі розміру вибірки.

Для менших вибірок (n<30) центральна теорема LImit не застосовується, і використовується інший розподіл, який називається t-розподілом Стьюдента. Т-розподіл подібний до нормального розподілу, але набуває різних форм залежно від розміру вибірки. Замість значень z використовуються значення t, які є більшими для менших вибірок, що створює більшу похибку. Оскільки невеликий розмір вибірки буде менш точним.

Довірчі інтервали з Python

Python має величезну бібліотеку, яка підтримує всі види статистичних обчислень, що полегшує наше життя. У цьому розділі ми розглянемо дані про звички сну малюків. 20 учасників цих спостережень були здорові, нормально поводилися, не мали розладів сну. Наша мета — проаналізувати час сну для дітей раннього віку, які дрімають і не дрімають.

Посилання: Akacem LD, Simpkin CT, Carskadon MA, Wright KP Jr, Jenni OG, Achermann P та ін. (2015) Хронометраж циркадних годин і сну різняться між дрімаючими та недрімаючими дітьми. PLOS ONE 10(4): e0125181. https://doi.org/10.1371/journal.pone.0125181

Ми будемо імпортувати бібліотеки, які нам знадобляться

import numpy as np import pandas as pd from scipy.stats import t pd.set_option('display.max_columns', 30) # set so can see all columns of the DataFrame import math

df = pd.read_csv(nap_no_nap.csv) #читання даних

df.head()

Створіть два 95% довірчих інтервали для середнього часу сну: один для малюків, які дрімають, і один для малюків, які цього не сплять. По-перше, ми виділимо стовпець «нічний час сну» для тих, хто дрімає в новій змінній, і тих, хто не дрімає в іншій змінній. Час сну тут десятковий.

bedtime_nap = df['night bedtime'].loc[df['napping'] == 1] bedtime_no_nap = df['night bedtime'].loc[df['napping'] == 0]

print(len(bedtime_nap))

print(len(bedtime_no_nap))

вихід: 15 п 5

Тепер ми знайдемо зразок середнього часу сну для дрімоти та no_nap.

nap_mean_bedtime = bedtime_nap.mean() #20.304 no_nap_mean_bedtime = bedtime_no_nap.mean() #19.59

Тепер ми знайдемо вибіркове стандартне відхилення для X_{подрімати} і X_{немає дрімоти}

nap_s_bedtime = np.std(bedtime_nap,ddof=1) no_nap_s_bedtime = np.std(bedtime_no_nap,ddof=1)

Примітка: для параметра ddof встановлено значення 1 для зразка std dev, інакше він стане сукупністю std dev.

Тепер ми знайдемо зразок стандартної помилки для X_{подрімати} і X_{немає дрімоти}

nap_se_mean_bedtime = nap_s_bedtime/math.sqrt(len(bedtime_nap)) #0.1526 no_nap_se_mean_bedtime = no_nap_s_bedtime/math.sqrt(len(bedtime_no_nap)) #0.2270

Поки все добре, тепер, оскільки розмір вибірки невеликий і ми не маємо стандартного відхилення частки сукупності, ми будемо використовувати значення t*. Одним із способів знайти значення t* є використання scipy.stats t.ppf функція. Аргументами для t.ppf() є q = відсоток, df = ступінь свободи, масштаб = std dev, loc = середнє. Оскільки t-розподіл є симетричним для 95% довірчого інтервалу, q буде 0.975. Відноситься до це для отримання додаткової інформації про t.ppf().

nap_t_star = t.ppf(0.975,df=14) #2.14 no_nap_t_star = t.ppf(0.975,df=5) #2.57

Тепер ми додамо фрагменти, щоб остаточно побудувати наш довірчий інтервал.

nap_ci_plus = nap_mean_time + nap_t_star*nap_se_time

nap_ci_minus = nap_mean_time – nap_t_star*nap_se_bedtime

print(nap_ci_minus,nap_ci_plus)

no_nap_ci_plus = no_nap_mean_time + no_nap_t_star*nap_se_time

no_nap_ci_minus = no_nap_mean_time – no_nap_t_star*nap_se_bedtime

print(no_nap_ci_minus,no_nap_ci_plus)

вихід: 19.976680775477412 20.631319224522585 18.95974084563192 20.220259154368087

Інтерпретація:

З наведених вище результатів ми робимо висновок, що ми на 95% впевнені, що середній час сну для немовлят, що дрімають, знаходиться між часом 19.98 – 20.63 (півдня), тоді як для дітей, які не дрімають, – між 18.96 – 20.22 (півдня). Ці результати відповідають нашим очікуванням, що якщо ви подрімаєте вдень, ви будете спати пізно вночі.

Кінцеві примітки

Отже, все йшлося про прості довірчі інтервали з використанням значень z і t. Це дійсно важлива концепція, яку слід знати у випадку будь-якого статистичного дослідження. Чудовий статистичний метод висновку для оцінки параметрів сукупності на основі даних вибірки. Довірчі інтервали також пов’язані з перевіркою гіпотези про те, що для 95% ДІ ви залишаєте 5% місця для аномалій. Якщо нульова гіпотеза потрапляє в довірчий інтервал, то значення p буде великим, і ми не зможемо відхилити нуль. І навпаки, якщо він виходить за межі, ми матимемо достатні докази, щоб відкинути нульову і прийняти альтернативні гіпотези.

Сподіваюся, вам сподобалася стаття і з Новим роком (:

Медіафайли, показані в цій статті, не належать Analytics Vidhya і використовуються на розсуд Автора.