2808
2014-06-03 23:04:44
0
http://en.wikipedia.org/wiki/Multiple_comparisons_problem#The_problem
For example, if one test is performed at the 5% level, there is only a 5% chance of incorrectly rejecting the null hypothesis if the null hypothesis is true. However, for 100 tests where all null hypotheses are true, the expected number of incorrect rejections is 5. If the tests are independent, the probability of at least one incorrect rejection is 99.4%. These errors are called false positives or Type I errors.
예를 들어 유의수준 5%로 어떠한 검정을 한 번 시행하면, 귀무가설이 참일 때 귀무가설을 (잘못) 기각하여 1형 오류를 범할 확률은 5%에 불과합니다.
1-0.95^1 = 0.05
그런데 그런 검정을 만약 100번 독립적으로 시행한다면, 그 중 한 번이라도 귀무가설을 (잘못) 기각하여 1형 오류를 범할 확률은 99.4%로 올라가게 됩니다.
1-(0.95)^100 = 1-0.006 = 0.994