p-value가 여전히 유효할까?

Q. p-value는 요즘 시대에도 여전히 유효할까요?
언제 p-value가 실제를 호도하는 경향이 있을까요?

• p-value는 귀무가설이 맞다고 가정할 때 얻은 결과보다 극단적인 결과가 실제로 관측될 확률이다.
  • 귀무가설: 통계분석에서 검증하는 가설
  • 대립가설: 새로운 주장
  • p-value가 작을 수록 관찰된 데이터가 귀무가설과 양립하는 정도가 약하다고 볼 수 있으며 0.05 보다 작을 경우 귀무가설을 관례이다.
• 그러나 p-value는 몇 가지 한계를 가지고 있다.
  • 관측치가 많아질 수록 p-value 가 작아진다.
    • 관측치를 일부러 많이 증가시켜 유의하게 만드는 경우가 있다. 따라서 빅데이터 분석이 많이 이루어지고 있는 요즘 시대에서의 통계적 유의성을 판단하기 위해 p-value를 사용하는 것은 좋지 않다.
    • 신뢰 구간, 효과 크기를 공개 함으로써 가설 기각 뿐만 아니라 크기와 정도를 함께 제시할 수 있다.
  • 유의한 p-value 만을 제시할 수 있다.
    • 최대한 유의한 결과가 나오도록 유의하지 않은 결과의 변수들은 제거하고, 유의한 값을 나타낸 변수들만 활용하여 유의성을 눈속임 할 수 있다.
• 이러한 한계점들이 있음에도, p-value 는 충분히 과학적이기 때문에 버릴 수는 없다.
  • 과학자들은 한계점을 개선하기 위해 p-value 임계값을 0.05의 관례에서 0.005로 바꿀 것을 권고한 적이 있다.
  • 또한, 기존의 0.05~0.005의 p-value를 '제안적 증거'라고 표현하고, 0.005 이하의 p-value 에서 '유의미'하다라는 표현을 사용할 것을 권고하고 있다.

Summary

p-value는 귀무가설이 맞다고 가정할 때 얻은 결과보다 극단적 결과가 관측될 확률을 나타낸다. 그러나 p-value 는 관측치가 많아질 수록 작아진다는 한계점을 갖고 있으며, 주로 빅데이터 분석이 이루어지는 요즘 시대에서 오직 p-value 만을 사용하여 통계적 유의성을 사용하는 것은 좋지 않다. 이러한 문제 해결을 위해 신뢰 구간, 효과 크기 공개의 방법이 있으며 p-value 의 임계값을 0.05에서 0.005로 낮추는 방법을 고려할 수도 있다. 

 

Reference

https://ko.wikipedia.org/wiki/%EC%9C%A0%EC%9D%98_%ED%99%95%EB%A5%A0#cite_note-1

https://niceguy1575.medium.com/%EA%B0%80%EC%84%A4%EA%B2%80%EC%A0%95%EC%97%90%EC%84%9C-p-value%EB%8A%94-%EC%A0%95%EB%A7%90%EB%A1%9C-%EC%9C%A0%ED%9A%A8%ED%95%A0%EA%B9%8C-24a8d93093cd