The American Statistician에 게재 예정인 The ASA’s statement on p-values: context, process, and purpose 중에서 발췌
원문 링크: http://dx.doi.org/10.1080/00031305.2016.1154108
- P-value: 특정한 통계 모형 하에서 통계량(ex. 표본 평균 차이)이 실제 관측된 값 이상이 될 확률
- 원칙(Principles)
- P-value는 데이터가 특정 통계 모형과 얼마나 다른지 나타냄
- P-value는 가설이 참일 확률이나 데이터가 우연일 확률을 알려주지 않음; 종종 p-value를 귀무가설의 진위나 관측된 데이터가 우연일 확률에 대한 진술로 바꾸려는 사람들이 있지만 p-value는 그런 의미가 아니라 어떤 가설과 관련된 데이터에 대한 진술임
- p-value가 (0.05와 같은) 어떤 기준을 넘는지만으로 과학적 결론과 경영상 또는 정치적 결정을 해서는 안 되고 관련된 여러 요인들을 고려해야 함
- 제대로 된 추론을 위해서는 모든 정보가 그대로 보여져야 함; p-value나 연관된 분석들 중에서 선택적으로 골라서 사용해서는 안 되고 모든 데이터를 공개해야 함. 적어도 어떤 분석을 수행했는지를 전부 아는 상태에서 p-value와 통계량으로부터 결론을 내려야 함
- P-value는 영향력이나 결과의 중요성을 나타내지 않음; 표본의 크기가 크거나 측정이 정밀하다면 영향이 아주 적더라도 작은 p-value가 나올 수 있음. 반대로 표본의 크기가 작거나 측정이 부정확하다면 영향이 크더라도 특별할 것 없는 p-value가 나올 수 있음
- P-value만으로는 모형이나 가설에 대한 근거가 되지 않음; 문맥이나 다른 근거가 없는 상태에서는 p-value는 제한적인 정보만을 줌. p-value가 0.05 정도로 작다고 해서 귀무가설에 반하는 강한 증거가 되는 것이 아니고 반대로 p-value가 크다고 해서 귀무가설을 지지하는 근거가 되는 것이 아님. 따라서 다른 대안이 있다면 p-value를 계산하는 것으로 데이터 분석이 끝나서는 안 됨.