SYSTEM ATLASЗагрузка материала

Проблема множественных проверок

Multiple Testing Problem

Рост числа тестов увеличивает вероятность ложных открытий.

Механизм действия

Сначала проверяют, есть ли исходное условие из определения. Затем смотрят, как оно влияет на исходные параметры, ограничения модели и измеряемые величины. Если эту связь не удаётся наблюдать, принцип не стоит использовать как готовое объяснение.

Пример в работе

Нерабочий подход

Сразу приклеить к ситуации название принципа и выбрать решение, не проверив его условия и границы применимости.

Системный подход

Сначала описать конкретную ситуацию, затем проверить условия принципа и только после этого выбирать действие. После изменения сравнить ожидаемый результат с фактическим.

Ограничения

«Проблема множественных проверок» объясняет только часть происходящего в области «Статистика». Сам принцип не говорит, насколько сильным будет эффект в вашем случае, и не заменяет измерения. При другом масштабе, среде или временном горизонте результат может отличаться.

Источник

Yoav Benjamini, “Discovering the false discovery rate”, 2010.

Первоисточник