RSI나 MACD 같은 보조지표의 매매 신호를 실제로 검증하려면 워크포워드 분석(walk-forward analysis)이나 표본 외 검증(out-of-sample test)을 어떻게 설계해야 하나요?

RSI·MACD 같은 보조지표의 매매 신호를 제대로 검증하려면, 파라미터를 최적화한 구간(인샘플)과 성과를 평가하는 구간(아웃오브샘플)을 철저히 분리하는 것이 절대 원칙입니다. 최적화에 사용한 데이터로 그대로 성과를 평가하면 커브피팅(과최적화)된 결과를 실력으로 착각하게 됩니다.

구체적인 설계는 다음과 같은 절차로 진행하시면 됩니다. ① 전체 데이터를 인샘플과 아웃오브샘플로 나눕니다. 일반적으로 60/40 또는 70/30 분할, 혹은 학습:테스트 비율 3:1이 권장되며, 예를 들어 6년치 데이터로 최적화하고 이어지는 1년을 검증에 쓰는 방식(전체의 약 16.7%를 아웃오브샘플로 예약)^[1]도 흔히 쓰입니다. ② 이렇게 정한 윈도우를 테스트 구간 길이의 절반만큼씩 앞으로 이동시키며(예: 2010~2015년 데이터로 최적화 후 2016년 검증, 다음은 2011~2016년으로 최적화 후 2017년 검증) 반복하는 것이 워크포워드 분석(WFA)입니다^[2]. 이 기법은 Robert Pardo가 1992년 저서에서 정식화한 것으로 알려져 있으며, 학습 기간 길이를 일정하게 유지하며 전진하는 Rolling 방식이 업계 표준이고, 시작일을 고정한 채 학습 기간만 늘리는 Anchored 방식은 상대적으로 덜 쓰입니다^[3]. ③ 모든 아웃오브샘플 구간의 결과를 이어 붙여 하나의 '진짜 표본 외' 복합 자산곡선을 만들어 최종 성과를 판단합니다.

신뢰할 만한 결과를 얻으려면 윈도우 개수는 최소 5~6개, 가능하면 12개 이상을 확보하고, 각 테스트 윈도우당 최소 30건(이상적으로는 50건 이상)의 거래가 발생해야 하며^[4], 지표 기반 전략은 누적 100~200건 이상의 거래를 쌓은 뒤에 판단하는 것이 안전합니다^[5]. 워크포워드 효율(WFE), 즉 아웃오브샘플 성과가 인샘플 성과의 50% 이상이면 양호, 70% 이상이면 강한 신호로 해석하며^[6], 인접한 기간마다 도출된 최적 파라미터 값이 ±10% 이내로 안정적이어야 이상적이고, 값이 12에서 47, 다시 23으로 튀는 식이면 과적합을 의심해야 합니다^[7].

과적합을 피하려면 지표는 1~2개로 최소화하고 RSI와 스토캐스틱처럼 유사한 개념을 중복 사용하지 않으며^[9], 각 지표의 역할(추세필터·진입·청산)을 명확히 나누고, RSI 임계값이나 이동평균 길이를 여러 조합으로 무작정 탐색하지 않아야 합니다. 전략당 핵심 파라미터는 2~3개로 제한하는 것이 좋은데, 파라미터가 늘어날수록 조합 수가 지수적으로 폭증하기 때문입니다(예: 2개×10개 값=100가지, 5개×10개 값=10만 가지)^[8]. 최적값 근처에서만 성과가 급격히 좋아지는 '고립된 피크'나 부자연스럽게 매끈한 수익곡선, 테스트 기간을 조금만 옮겨도 결과가 급변하는 현상은 모두 과적합의 신호이며, 반대로 파라미터를 조금 바꿔도 넓은 구간에서 비슷하게 양호한 결과(plateau)가 나온다면 실제 구조를 포착했을 가능성이 높습니다. 아울러 특정 시점의 신호는 그 이전 데이터만으로 생성해야 하며(당일 고가·저가로 신호를 만들지 않고 종가 기반 특성만 다음날 거래에 반영)^[10], 여러 종목·시간대·시장국면에서 검증해 단일 자산에서의 최고 성과가 아니라 여러 자산의 중앙값 성과를 기준으로 판단하는 것이 견고합니다.

다만 워크포워드 분석도 표본 외 성과가 우연히 좋아 보이는 허위 발견(false discovery)을 완전히 막지는 못한다는 한계가 있습니다. 이 때문에 학계에서는 2017년 Marcos López de Prado가 개발한 것으로 알려진 purged cross-validation(겹치는 라벨 제거와 embargo로 학습·검증 데이터의 독립성을 확보하는 기법)^[11]이나, 시간 순서를 지키면서 여러 학습-테스트 경로를 생성하는 CPCV(조합적 퍼지드 교차검증)를 함께 활용하는 것을 권합니다. 관련 비교 연구에서는 CPCV가 전통적 k-fold나 워크포워드보다 과적합 확률(PBO)이 낮고 디플레이티드 샤프비율(DSR) 측면에서도 더 우수하다고 보고되어^[12], 두 방법을 상충 관계가 아니라 보완 관계로 병행하는 것이 최근 흐름입니다. 여기에 부트스트랩 신뢰구간이나 순열 검정, 몬테카를로 시뮬레이션을 곁들이면 검증의 신뢰도를 더 높일 수 있습니다.

이 방법론은 국내 법령이나 세법이 아닌 계량투자 기법 영역으로, 어떤 검증 절차를 거쳤든 표본 외 성과가 좋게 나온다고 해서 미래 수익이 보장되는 것은 아닙니다. 본 콘텐츠는 일반적 정보·교육 목적이며 특정 종목의 매수·매도 추천이 아닙니다. 투자 판단과 책임은 투자자 본인에게 있습니다.