보조지표의 파라미터를 과거 데이터에 맞춰 최적화하는 것이 과적합(overfitting) 위험을 낳는 이유는 무엇인가요?

보조지표의 파라미터 최적화가 과적합 위험을 낳는 근본 원인은, 과거 가격 데이터가 반복 가능한 '신호(signal)'와 반복되지 않는 '잡음(noise)'을 함께 담고 있는데, 최적화 과정이 이 둘을 구분하지 못하고 과거 구간의 잡음까지 그대로 학습해 버리기 때문입니다. 예를 들어 RSI의 기준선을 30/70이 아니라 특정 구간에서 가장 잘 맞았던 27/73으로, MACD의 이동평균 기간을 12·26·9가 아니라 11·24·8로 미세 조정하면 표본내(in-sample) 수익률은 올라가지만, 그 개선분의 상당 부분은 실제 시장의 규칙성이 아니라 해당 과거 구간에만 우연히 존재했던 변동성·추세의 우연한 배열을 맞춘 결과일 수 있습니다. 파라미터라는 자유도(degrees of freedom)를 늘릴수록 어떤 시계열에든 곡선을 정교하게 끼워 맞출 수 있으며, 자유도가 충분하면 순수한 난수 데이터에서도 그럴듯한 규칙이 발견됩니다^[1]. 이것이 과적합의 핵심 메커니즘이며, 지표를 통계 모델로 볼 때 표본내 오차는 낮지만 표본외(out-of-sample) 오차는 높은 '일반화 실패'로 나타납니다. 여기에 더 미묘한 위험이 다중검정(multiple testing) 문제입니다. 하나의 파라미터 조합만 시험하는 것이 아니라 수십·수백 개 조합을 격자탐색으로 훑고 그중 가장 성적이 좋은 것을 고르는 순간, '최우수 조합'은 진짜 예측력을 가진 것이 아니라 여러 번 시험한 결과 우연히 상위에 오른 거짓 발견(false discovery)일 가능성이 커집니다. 이를 데이터 스누핑(data snooping) 편의라 하며, 시험한 조합 수가 많을수록 최고 성적의 기대치는 실제 실력과 무관하게 부풀려집니다. White(2000)의 리얼리티 체크나 Hansen(2005)의 SPA 검정, Bailey·López de Prado의 백테스트 과적합 확률(PBO) 같은 도구가 바로 이 '여러 규칙을 훑어본 뒤 최고를 골랐다'는 사실을 통계적으로 보정하기 위해 고안된 것입니다^[2]. 실무적 한계와 주의점은 다음과 같습니다. 첫째, 최적화된 파라미터는 시장 국면(레짐)이 바뀌면 급격히 무너지기 쉽습니다. 추세장에서 최적이던 값이 횡보장에서는 오히려 손실을 키우는데, 과거 특정 국면에 맞춰진 값일수록 국면 전환에 취약합니다. 둘째, 검증 방법을 잘못 쓰면 과적합을 걸러내지 못합니다. 데이터를 무작위로 섞어 나누면 미래 정보가 과거로 새어드는 look-ahead 편향이 생기므로, 시간 순서를 지키는 워크포워드(walk-forward)나 확장 창(expanding window) 방식으로 학습 구간 이후의 별도 구간에서만 성과를 확인해야 실전 배포와 유사한 검증이 됩니다. 셋째, 최적점 하나의 숫자보다 그 주변의 파라미터 안정성(민감도)을 함께 보는 것이 중요합니다. 인접한 값들이 고르게 양호하면 신호일 가능성이 크지만, 특정 한 점에서만 성과가 튀면 잡음을 맞춘 것으로 의심해야 합니다. 결국 소수의 견고한 파라미터, 표본외 검증, 다중검정 보정, 국면별 강건성 점검을 병행해야 최적화가 '과거를 예쁘게 설명하는 일'에서 '미래에 통하는 규칙을 남기는 일'로 바뀝니다. 다만 어떤 검증을 거쳐도 미래 성과가 보장되지는 않으며, 투자 판단과 책임은 투자자 본인에게 있습니다.