회귀 모델 평가에서 F-통계량(F-Statistic)의 p-값(유의확률)과 귀무가설

- p-값과 관련한 Dacon 답변

블루몰드 님 안녕하세요.
선형 회귀분석 스테이지1의 F-통계량의 p- 값에 관한 문의를 주셨습니다.  

p-값은 F-통계량에 대응하는 유의확률로서, 귀무가설이 참일 때 현재의 F-통계량 값이나 그보다 더 극단적인 값을 관측할 확률을 의미합니다. 
여기서 귀무가설은 "모델이 통계적으로 유의하지 않다" 또는 "독립 변수들이 종속 변수에 유의한 영향을 미치지 않는다"는 가정입니다. 
따라서 p-값이 작을수록 귀무가설을 기각할 수 있으며, 이는 모델이 통계적으로 유의미하다는 것을 나타냅니다.

간략히 요약하자면, p값이 작을 수록 모델을 믿을 수 있다는 의미로 이해하시면 됩니다.
일반적으로 p값은 0.05 보다 작을 경우 통계적으로 신뢰할 수 있다고 하나,
0.01로 바꿔야한다는 주장이 있을 때도 있습니다.

감사합니다.
데이콘 교육팀 드림.

 

귀무가설과 유의확률에 대해 더 알아보고자 했다.

 

---

 

1. 귀무가설이란?

 

귀무가설(Null Hypothesis,  H_0 )은 통계적 검정에서 비교의 기준이 되는 가설로, 흔히 “효과가 없다” 또는 “차이가 없다”는 주장이다. 연구에서 비교하고자 하는 두 집단 간의 차이, 변수 간의 관계가 없다고 가정하는 것이다. 귀무가설은 새로운 증거가 없는 상태에서 기본적으로 참이라고 가정하고 시작하는 가설이다.

 

예를 들어, 두 그룹 간 평균 차이를 검정하는 연구에서 귀무가설은 “두 그룹의 평균이 같다”는 가설로 설정된다. 만약 실험 결과가 귀무가설을 뒷받침한다면, 두 그룹 간의 차이는 통계적으로 유의하지 않은 것으로 간주한다.

 

통계적으로 유의하다는 것은, 어떤 결과나 관찰된 데이터가 단순히 우연에 의해 발생했다고 보기 어려울 정도로 강력한 증거를 가진다는 의미다. 즉, 실험이나 분석 결과가 통계적 검정 기준(보통 유의 수준 0.05) 내에서 귀무가설을 기각할 만큼 충분히 강력한 효과나 차이를 나타낸다는 뜻이다.

 

예를 들어, 두 그룹의 평균을 비교하는 실험에서 통계적으로 유의한 결과를 얻었다고 하면, 관찰된 두 평균 간의 차이가 단순히 무작위적인 요인에 의해 생겼을 가능성이 매우 낮다는 의미다.

 

2. 유의 확률의 의미

Chat-GPT 생성 이미지

 

유의 확률(p-값)은 귀무가설이 참일 때, 관찰된 데이터나 이보다 극단적인 데이터가 나올 확률을 의미한다. p-값은 실제로 귀무가설이 참이지만, 우리가 관찰한 정도의 데이터가 우연히 나타날 수 있는 가능성을 측정하는 값이다.

 

유의 확률은 설정된 유의 수준(보통 0.05)과 비교되어 귀무가설을 기각할지 결정하는 중요한 지표가 된다:

• p-값이 작을수록(예: p < 0.05), 관찰된 결과가 우연히 나타날 가능성이 낮다는 의미이므로, 귀무가설을 기각하고 대립가설을 지지하게 된다.

• p-값이 클수록(예: p > 0.05), 관찰된 결과가 우연히 나타날 가능성이 높다는 의미이므로, 귀무가설을 기각하지 않고 그대로 유지하게 된다.

 

3. p-값과 귀무가설의 관계

 

유의 확률(p-값)은 귀무가설을 검정하는 데 있어 중요한 기준을 제공한다. 연구에서는 보통 미리 설정한 유의 수준(α, 흔히 0.05)을 기준으로 p-값을 비교하여 귀무가설을 기각할지 결정한다.

• p-값 < α: 관찰된 결과가 우연히 발생했을 가능성이 유의 수준보다 낮으므로, 귀무가설을 기각한다. 즉, 데이터에 유의미한 효과나 차이가 있다고 판단한다.

• p-값 ≥ α: 관찰된 결과가 우연히 발생했을 가능성이 유의 수준보다 높으므로, 귀무가설을 기각하지 않는다. 즉, 데이터에 유의미한 효과나 차이가 있다고 결론을 내리기 어렵다.

 

종합적으로 보면

 

귀무가설은 기본적으로 “차이 없음” 또는 “효과 없음”을 주장하며, 유의 확률(p-값)은 이 귀무가설이 참일 때 관찰된 데이터가 우연히 나타날 확률을 나타낸다. 연구자는 p-값을 유의 수준과 비교하여, 관찰된 데이터가 단순히 우연으로 설명되기 어려운지를 판단하고, 그에 따라 귀무가설을 유지하거나 기각하는 결정을 내린다.