Backtesting in-sample vs out-of-sample: evite overfit em algoritmos

Aprenda a dividir os dados corretamente e evite o ‘encaixe perfeito’ que quebra estratégias automáticas quando o mercado muda.

Por que o ‘encaixe perfeito’ é um sinal de alerta

Todo robô passa pelo momento ‘uau, 45 % de retorno no papel!’. Na Spider, 7 de cada 10 estratégias que fazem mais de 35 % no backtest quebram ao sair da sala de teste. O culpado é o overfit: o algoritmo memorizou ruídos e não aprendeu padrões. A solução começa no corte correto entre dados in-sample (treino) e out-of-sample (validação).

Como separar os dados sem contaminar o modelo

  • Reserve 70 % dos dados mais antigos para treino (in-sample)
  • Guarde 30 % dos dados mais recentes para teste (out-of-sample)
  • Nunca use informação futura no treino — o robô precisa ‘ver’ só o passado
  • Atualize a janela a cada 90 dias para manter o algoritmo enxuto

Na Spider, robôs seguem essa reisca automaticamente; o usuário só escolhe o período total (mínimo 18 meses).

Métricas que denunciam overfit na hora

**Sharpe fora vs dentro** Se o Sharpe cair mais de 40 % ao trocar de in-sample para out-of-sample, desconfie.

**Drawdown máximo** Um salto de -5 % para -20 % indica que o robô viveu de ruído.

**Hit ratio** Taxa de acerto acima de 65 % fora da amostra é quase sempre artefato.

Checklist rápido antes de colocar o robô na rua

☐ 18+ meses de histórico ☐ 30 % dos dados guardados para validação ☐ Walk-forward test com janela móvel ☐ Sharpe > 1,0 no out-of-sample ☐ Drawdown máximo < -10 % fora da amostra

Tudo verde? O algoritmo está blindado contra surpresas de mercado.

Perguntas frequentes

Posso usar menos de 18 meses de dados?+

Não recomendado. Janelas curtas fazem o robô ‘decorar’ ciclos aleatórios. Com 18 meses você captura ao menos dois eventos de volatilidade extrema — essencial para testar robustez.

E se o out-of-sample mostrar resultado melhor que o in-sample?+

Parabéns, mas desconfie: é sinal de que a amostra de treino pegou período ruim demais ou há erro na codificação. Revise o código antes de celebrar.

Preciso programar isso sozinho?+

Zero linhas de código. Na Spider, você escolhe o ativo, o período e clica em ‘Validar’ — o corte, os testes e o relatório são feitos automaticamente.

Teste seus algoritmos com protocolo de auditoria

Crie ou importe sua estratégia e use a divisão automática in-sample vs out-of-sample em 2 cliques.

Conheça a plataforma