Predicción: Análisis retrospectivo

Definición de Análisis Retrospectivo (Backtesting)

Por Joannès Vermorel. Última revisión: agosto de 2013

En el contexto del pronóstico de las series de tiempo, el concepto de análisis retrospectivo hace referencia al proceso de evaluación de la precisión del método de pronóstico mediante el uso de datos históricos existentes. El proceso es generalmente iterativo y se repite en varias fechas presentes en los datos históricos. El análisis retrospectivo se utiliza para calcular la precisión futura esperada de un método de pronóstico, lo que resulta útil para evaluar qué modelo de pronóstico debería considerarse más preciso.

Cómo funciona el análisis retrospectivo

El proceso de análisis retrospectivo comienza con la selección de una lista de fechas umbral dentro de un período de tiempo cubierto por los datos históricos. En la ilustración a continuación, los umbrales están marcados como T1, T2, T3 y T4.

Para cada umbral

1. se truncan los datos históricos en el umbral,
2. se entrena al modelo de pronóstico y se lo aplica a los datos truncados,
3. se comparan los pronósticos con los datos originales truncados.

Por último, se establece un error de pronóstico promedio para todos los umbrales.

Este error promediado se puede interpretar como una estima del error que se asociará al modelo cuando se elaboren pronósticos verdaderos (sobre el futuro). La elección de un conjunto apropiado de umbrales generalmente exige cierto conocimiento relacionado con el problema específico. Como regla general, el aumento de la cantidad de umbrales con frecuencia mejora la resistencia del proceso contra los problemas de sobreajuste.

A los fines de la optimización del inventario, debido a que generalmente hay cientos de SKU involucradas, solo se necesita un puñado de umbrales para decidir, con mucha confianza, si un método de pronóstico es mejor que otro.

Un error habitual: pronosticar varias veces con un solo entrenamiento

El análisis retrospectivo es generalmente bastante intensivo en términos de recursos informáticos, ya que es preciso entrenar un nuevo modelo de pronóstico para cada umbral. Como consecuencia, a menudo vemos a practicantes que entrenan el modelo de pronóstico solo una vez, generalmente aprovechando todo el rango de datos históricos, y luego pasan a las iteraciones de análisis retrospectivo. El beneficio percibido de este método es generalmente una gran aceleración de los tiempos del análisis.

Sin embargo, este truco es engañoso y trae aparejados problemas de sobreajuste importantes. De hecho, implícitamente, debido a que los datos futuros se envían al modelo de pronóstico, cualquier estima variable que tenga lugar durante la fase de aprendizaje hará que el modelo incluya información sobre este futuro. Como resultado, la precisión medida por los análisis retrospectivos no reflejará las capacidades de generalización del modelo, sino sus capacidades de memorización, es decir, la capacidad del modelo de reproducir situaciones idénticas a las encontradas en el conjunto de datos de entrenamiento.

Lokad

Read more »