학계와 업계에서 발표되는 수백 개의 팩터 중 상당수가 실전에서 재현되지 않는데, 다중검정과 데이터 스누핑 문제를 어떻게 걸러내야 하나요?

팩터 리서치가 축적되며 발표된 이상현상은 수백 개에 이르지만, 이를 독립적으로 재검증하면 상당수가 통계적 유의성을 잃습니다. 근본 원인은 다중검정(multiple testing)과 데이터 스누핑입니다. ①하나의 시장 데이터를 두고 수천 가지 변수·조합·기간을 반복 시험하면 순전히 우연만으로도 t값이 관행 기준인 2를 넘는 '유의한' 팩터가 다수 출현합니다. 20개를 시험하면 그중 하나쯤은 5% 유의수준에서 우연히 걸리는 식이므로, 발표된 팩터 대다수가 진짜 위험보상이 아니라 표본 내 과최적화의 산물일 수 있습니다. ②그래서 Harvey·Liu·Zhu(2016)는 검정 횟수가 폭증한 현실을 반영해, 신규 팩터가 인정받으려면 관행적 t값 2가 아니라 대략 3 이상을 넘겨야 한다는 상향된 허들을 제안했습니다^[1]. 실제로 Hou·Xue·Zhang(2020)의 대규모 재현 연구에서는 452개 이상현상 중 약 65%가 소형주 영향을 NYSE 기준으로 통제하고 시가총액 가중을 적용하면 t값 1.96조차 넘지 못했고^[2], 다중검정 허들을 적용하면 실패율은 더 올라갔습니다. 걸러내는 실무 절차는 다음과 같습니다. ③첫째, 발견 전에 경제적 근거(리스크 프리미엄인지 행태적 미스프라이싱인지)를 먼저 세우고 그 가설에 맞는 소수의 변수만 검정해 검정 횟수 자체를 줄입니다. 둘째, 데이터를 학습·검증·홀드아웃으로 분리하고 발표 이후 기간의 아웃오브샘플과 다른 국가·자산군에서 효과가 유지되는지 확인합니다. 셋째, 여러 전략을 시도한 사실을 반영해 성과지표를 보정하는 방법(디플레이티드 샤프비율 등)을 쓰고, 거래비용·회전율을 반영한 순수익 기준으로 재평가합니다. 넷째, 유사 팩터와의 상관을 통제해 기존 팩터로 설명되지 않는 증분 알파가 있는지 검증합니다. 주의할 점은, 이렇게 걸러낸 팩터라도 미래 성과를 보장하지 않으며 발표 후 초과수익이 감소하는 경향도 보고된다는 것입니다. 통계적 유의성은 최소 조건일 뿐이고, 재현 가능성과 경제적 논리, 비용 반영 후 실현 가능성을 함께 따져야 합니다. 최종 투자 판단과 책임은 투자자 본인에게 있습니다.