p-value는 정말로 유효할까?

 p-value는 요즘 시대에도 여전히 유효할까요? 언제 p-value가 실제를 호도하는 경향이 있을까요?

앞선 포스팅에 설명했듯이, 가설검정을 하기 위해 통계학에서 p-value를 계산한다. 또한 이 값을 이용해 가설의 채택유무를 정한다. 통상적으로 0.05값보다 작으면 유의하다고 간주한다.

 

 

p-value의 한계와 악용

p값에는 한계가 여럿 존재하는데, 흔히 알려진 p-value의 한계점은 다음과 같이 두가지가 있다.

첫째, 관측치가 많을수록 p값이 작아진다는 것이다. 표본의 크기가 매우 크면 p값은 작게 나올 수 있다.  임계값에 도달하기 위해서 일부러 관측치를 증가시켜, 억지로 유의하게 만드는 방법이 있다. 이로써 빅데이터 분석에서는 p값이 제 역할을 할 수 없다.

 

둘째, 선택적으로 p-value와 통계적 방법론을 선택하는 경우. 유의한 p값만을 제시하는 경우가 있다. 유의하지 않은 변수를 제거하고 유의한 변수만 사용해 눈속임이 가능하다. 통계적 방법론 역시 유의한 결과가 나오도록 방법론을 조작하는 경우도 존재한다.

이를 보완하기 위해 신뢰구간을 사용하기도 한다. 신뢰구간은 실험적 처치 효과의 크기, 이를테면 평균 시험점수의 차이 같은 것을 포함한다고 추정되는 범위이다. 신뢰구간은 이 블로그의 다른 포스팅에 있으니 참고하자.

 

ref

• https://niceguy1575.medium.com/%EA%B0%80%EC%84%A4%EA%B2%80%EC%A0%95%EC%97%90%EC%84%9C-p-value%EB%8A%94-%EC%A0%95%EB%A7%90%EB%A1%9C-%EC%9C%A0%ED%9A%A8%ED%95%A0%EA%B9%8C-24a8d93093cd