AIMS Study Blog

결측치를 처리하는 것은 중요한 문제이다. 왜냐하면, 결측치가 데이터에 존재하는 경우에, 모델링 자체가 불가능한 경우가 많다. 따라서, 결측치를 그대로 유지하기보다는 처리 과정을 통해서 특정한 값들로 채워야 한다. 하지만, missing vlaue를 채울 때에는 주의해야 한다. 적절한 방법으로 채우지 않으면 결과가 왜곡될 수 있고, 잘못된 결론을 도출하게 될 수도 있다. 결측치 유형 파악 완전 무작위 결측(MCAR : Missing Completely At Random) 결측값이 데이터의 다른 부분들과 전혀 관련이 없이 독립적으로 발생한 경우를 의미한다. 자료의 관측 값과 결측 값 모두 결측의 발생과 독립적이다. 무작위 결측(MAR : Missing At Random) 관측값으로부터 결측값을 추정하는 것이..

검정력( Statistical Power)이란, 대립가설이 참인 경우에, 귀무가설을 기각하고 대립가설을 채택할 확률로 \(1 - \beta\)라고 표현한다. 검정력을 이야기할 때, \(\alpha\)와 \(\beta\)가 많이 사용된다. 먼저 이 두 기호가 사용되는 상황을 정리를 해보면, \(\alpha\)를 사용하는 경우 : 귀무가설이 참인 경우를 가정한다. \(\alpha\) : 귀무가설이 참일 때, 대립가설을 채택할 확률을 의미한다. 즉, Type 1 Error(False Positive)의 확률을 의미한다. \(1 - \alpha\) : 귀무가설이 참일 때. 귀무가설을 채택할 확률을 의미한다. (True Negative) \(\beta\)를 사용하는 경우 : 대립가설이 참인 경우를 가정한다. \(..

검정력(statistical power)은 무엇일까요? 검정력 (Statistical power) 검정력은 대립가설이 참일 때, 올바르게 사실로 채택할 확률이다. 만약 검정력이 95%라면, 대립가설이 참임에도 귀무가설을 채택할 확률, 즉 2종 오류 (β)는 5%가 된다. 검정력이 좋아진다는 뜻은 2종 오류를 범할 확률이 낮아진다는 뜻이기도 하다. 따라서 검정력의 수치는 (1-β)로 나타낼 수 있다. 참고로, β(2종 오류)는 귀무가설이 거짓일 때 이를 채택하는 오류를 뜻한다. p(do not reject H0 | H0 is false) = β α (1종 오류)는 귀무가설이 참일 때 이를 채택하지 않는 오류를 뜻한다. p(reject H0 | H0 is true) = α 실험에서 유의하다고 결론내기 위해서..

“모수적 방법(Parametric Method)” 우리는 통계적 방법을 사용하여 특정 사실을 검정하는 경우에, 표본을 뽑아 실험을 하게 된다. 이렇게 표본을 뽑아 실험을 하게 되는 이유는, 모집단 전체를 조사하기에는 시간과 비용 문제가 발생하게 된다. 우리가 가지고 있는 표본이 모집단을 잘 대표한다는 가정이 있다면, 우리는 시간과 비용을 덜 들이면서도 제대로 된 검정을 할 수 있다. 많은 경우에, 데이터의 분포는 정규 분포를 따른다. 따라서, 그동안 통계적 방법도, 애초에 데이터가 정규 분포를 따른다는 가정하에 여러가지를 검정할 수 있는 방법이 고안되었다. 데이터의 분포가 정규분포를 따른다는 것은, 표본들의 평균과 표준편차 등 몇가지 통계량만으로 해당 집단의 많은 정보를 알 수 있다는 의미를 내포하고 있..