Разобраться и сделать

Какой вопрос вы задаёте данным?

«Есть ли статистическая значимость?» — это ещё не исследовательский вопрос. Сначала назовите кого сравниваете , какой показатель и какое различие важно по смыслу .

Например: «Насколько различается средний итоговый балл стресса у студентов тренинговой и контрольной групп?» Здесь явно указаны две независимые группы, количественный результат и интерес к разнице средних.

Сравнивать по очереди всё, что есть в файле, и оставлять только p < 0,05 — путь к ложным находкам. Заранее определите основной исход, вторичные исходы и правило множественных сравнений.

Главная развилка: группы действительно независимы?

Разные люди в каждой группе

Участник находится только в одной группе, а наблюдение одного человека не определяет наблюдение другого. Можно продолжать шаги этой страницы.

До/после или подобранные пары

Нужен парный t-критерий или знаково-ранговый критерий Уилкоксона. Тесты для независимых групп занизят или исказят информацию о связи наблюдений.

Студенты из одной учебной группы, клиенты одного специалиста или участники нескольких центров могут быть кластеризованы. Обычный тест независимых групп не учитывает такую зависимость автоматически.

Когда сравнение средних осмысленно

Независимый t-критерий оценивает разницу средних относительно неопределённости. Ему нужны не «идеальные данные», а разумно выполненные предпосылки.

Независимость наблюдений

Определяется дизайном, а не тестом Шапиро—Уилка. Это самое важное и часто непроверяемое по таблице предположение.

Количественный исход

Среднее должно иметь понятный смысл для шкалы. Отдельные порядковые категории требуют отдельного обоснования.

Форма и выбросы внутри групп

Посмотрите точки, гистограммы или Q–Q-графики. Особенно при малой выборке единичная ошибка или выброс может изменить вывод.

Student

Объединяет оценку дисперсии

Классический вариант предполагает одинаковые дисперсии групп. Его не стоит выбирать только потому, что тест равенства дисперсий оказался «незначимым».

Welch

Не требует равных дисперсий

Часто является безопасной отправной точкой для сравнения средних: корректирует стандартную ошибку и число степеней свободы при разных разбросах и размерах групп.

Нужно ли выбирать тест только по Шапиро—Уилку?

Нет. При маленькой выборке тест может не заметить важное отклонение, а при очень большой — найти несущественное. Решение строят по дизайну, шкале, графикам, выбросам, размерам групп и устойчивости вывода. Не запускайте Student, Welch и Манна—Уитни ради выбора самого маленького p.

Манна—Уитни — не волшебный «тест медиан»

Критерий Манна—Уитни работает с порядком наблюдений и проверяет, отличаются ли распределения групп в смысле вероятностного превосходства. Он не требует нормальности, но у него есть свои условия и своя интерпретация.

Если распределения имеют сходную форму и разброс, различие можно осторожно описывать как сдвиг положения. Если формы различаются, значимый результат может отражать разброс, асимметрию или более сложное различие — не только медианы.

«Не прошла нормальность — всегда беру Манна—Уитни».

«Какой параметр отвечает моему вопросу, что показывают графики и какие предпосылки позволяют честно интерпретировать тест?»

Одни и те же шаги для SPSS и JASP

Проверьте файл

Одна строка — участник; отдельный столбец группы; количественный или порядковый исход; понятные пропуски и диапазоны.

Покажите данные

Для каждой группы выведите n, пропуски, среднее и SD или медиану и квартильный размах. Добавьте точки и распределения, а не только столбики средних.

Выберите оценку

Для средних — Student или, чаще, Welch; для порядкового исхода или вопроса о ранговом превосходстве — Манна—Уитни с корректной интерпретацией.

Сообщите больше, чем p

Нужны групповые описания, оценка различия, 95% доверительный интервал, размер эффекта и заранее оговорённый уровень α.

Ищите действие по смыслу

Для t-критерия: Compare Means → Independent-Samples T Test. Для рангового анализа: Nonparametric Tests → Independent Samples. Перенесите исход в Test Variable, а группу — в Grouping Variable; явно задайте коды групп.

Independent Samples T-Test

Перенесите показатель в Dependent Variables, группу — в Grouping Variable. Отметьте Descriptives, графики, Effect size и Confidence interval; выберите Welch или Mann–Whitney в соответствии с вопросом и предпосылками.

Формула честного учебного отчёта

«В группе A ( n = …) показатель составил …, в группе B ( n = …) — …. Разница [средних / распределений] оценивалась с помощью …, поскольку …. Оценка различия составила …, 95% ДИ […; …], размер эффекта …, статистика теста …, p = ….»

• Укажите точную версию программы и название выбранного теста.

• Для Welch сообщайте скорректированные степени свободы из вывода.

• Для Манна—Уитни не подменяйте распределения медианами без проверки сходства формы.

• «Не обнаружили различие» не означает «доказали полное отсутствие различия».

• Статистическая значимость не равна практической важности.

Академические ограничения

Эти шаги не покрывают любой дизайн

Он не подходит без доработки для повторных измерений, кластерных выборок, ковариат, большого числа групп, множественных исходов, цензурированных данных и причинных выводов из наблюдательного исследования. При очень малых выборках обсудите точные варианты теста, план мощности и устойчивость результата с научным руководителем или методологом.

На что опирается разбор

• Welch B. L. The Generalization of “Student's” Problem when Several Different Population Variances are Involved. Biometrika . 1947;34(1/2):28–35.

• Mann H. B., Whitney D. R. On a Test of Whether one of Two Random Variables is Stochastically Larger than the Other. Annals of Mathematical Statistics . 1947;18(1):50–60.

• Lakens D. Calculating and reporting effect sizes to facilitate cumulative science. Frontiers in Psychology . 2013;4:863.