백테스팅 (Backtesting)

한 줄 정의: 위험모형이나 투자전략을 과거 실제 시장자료에 적용하여 그 예측력이나 성과가 사후적으로 얼마나 정확했는지를 검증하는 절차이다.

쉽게 풀면

미리 만든 위험 예측 모형이나 투자 전략이 실제 과거 데이터에 적용했을 때 얼마나 잘 맞았는지 검증해보는 작업이다. 아무리 이론적으로 그럴듯한 전략이라도, 실제 과거 데이터로 검증하지 않으면 그 성과를 신뢰하기 어렵다.

왜 중요한가

백테스팅은 투자 전략이나 위험모형을 과거 데이터에 적용해 성과를 재현해 보는 절차로, 퀀트 전략 개발과 VaR 모형 검증에서 사실상 필수 단계입니다. 규제 측면에서도 은행 내부모형의 적정성을 판단할 때 예측 손실과 실제 손실의 초과 횟수를 세는 백테스트가 활용됩니다.

논문에서는 이렇게 쓰입니다

Kupiec(1995)은 「Techniques for Verifying the Accuracy of Risk Measurement Models」에서 VaR 모형의 정확성을 검증하기 위한 실패비율(failure rate) 기반의 통계적 검정법을 제시했다.

그는 실제 손실이 VaR 추정치를 초과한 횟수가 이론적으로 기대되는 빈도와 통계적으로 유의하게 다른지를 검정함으로써 위험모형의 적합성을 판단하는 절차를 정립했다.

"동일한 변동성 모형을 여러 국가 주가지수에 백테스팅한 연구는 선진국 지수에서는 초과 손실 빈도가 이론치에 가까웠지만 신흥국 지수에서는 훨씬 자주 초과가 발생했다고 보고하였다."

이 문장은 같은 위험모형이라도 시장에 따라 백테스팅 결과가 크게 달라질 수 있다는 뜻입니다. 앞의 예문이 실패비율 검정이라는 방법론을 다뤘다면, 이 문장은 시장별 적용 결과 차이라는 다른 측면을 보여 줍니다.

조금 더 깊게 보면

가장 큰 함정은 같은 데이터로 수많은 전략을 시험한 뒤 가장 좋은 결과만 보고하는 다중검정 문제이며, 이 때문에 표본 외 검증과 시험 횟수 보정이 강조됩니다. 그 밖에 상장폐지 종목 누락으로 생기는 생존편향, 발표 시점 이전 정보를 사용하는 미래참조 편향, 거래비용 무시가 성과를 부풀립니다. 백테스트 성과가 좋다는 것은 필요조건일 뿐 실제 수익을 보장하지 않습니다. Kupiec 검정 외에도 초과손실의 독립성(군집 여부)까지 함께 검정하는 Christoffersen 검정이 실무에서 보완적으로 활용된다.

주의할 점

백테스팅은 과거 자료에 기반하므로, 과거에 발생하지 않았던 구조적 변화나 새로운 유형의 위기에 대해서는 예측력을 보장하지 못한다는 근본적 한계가 있다. 검증 기간이 짧으면 통계적 검정력이 낮아져 실제로 부정확한 모형도 통과시킬 위험이 있다.