La literatura sobre evaluación de pronósticos de modelos de series macroeconómicas ha identificado ganancias en la diversificación de estrategias de proyección en función al horizonte de pronóstico (Carriero, Galvao, & Kapetanios, 2018), proponiéndose estrategias de combinación de modelos (Diebold, 2017). Adicionalmente, se han observado ganancias de modelar explícitamente cambios estructurales y considerar coeficientes variables en el tiempo (D’Agostino, Gambetti, & Giannone, 2010). Ahora bien, no siempre se obtienen ganancia de la especialización de los modelos, por ejemplo, en el marco de los modelo de Vectores Autorregresivos, el uso de un gran número de predictores no mejora necesariamente la precisión del pronóstico (Carriero, Galvao, & Kapetanios, 2018) (Fuentes, Poncela, & Rodríguez, 2014), corriéndose el riesgo de sobre parametrizar el modelo. Bajo estas condiciones, algunos autores han propuestos estrategias de combinación dinámica, que pondere en cada momento el peso de los modelos en función de su rendimiento reciente (Korobilis & Koop, 2011).
Este marco sobre evaluación de pronósticos esta fundamentalmente basado en la precisión del pronóstico fuera de muestra [1], es decir, en minimizar el error de pronóstico 
que resulta de comparar las proyecciones a distintos horizontes 
, con las realizaciones efectivamente observadas 
.
A los distintos horizontes se establecen medidas de agregación del error como el promedio 
y la varianza del error 
. Estas agregaciones buscan resumir la historia del error de pronóstico, mientras que algunas alternativas de agregación, como la media del error cuadrado (MSE), buscan evitar que errores positivos y negativos se compensen. Mientras el cuadrado del MSE busca expresar la medida de error en la misma escala que la serie estudiada. Es decir, posteriores alternativas de agregación del error, se ajustan para mejorar el proceso de comparación de estrategias.
Ahora, posterior a minimizar el error de pronóstico, la literatura considera que las proyecciones deben cumplir con el principio de imprevisibilidad, asumiendo cuestiones estadísticas a un paso 
como que estos sean ruido blanco (Diebold, 2017) o ortogonales respecto al set de información disponible en t. Es decir, que los errores históricos no estén sesgados en alguna dirección respecto a la serie observada, o que no puedan ser explicados por alguna variable observada en t. Estas condiciones pueden evaluarse desde el test t, utilizando la expresión Mincer-Zarnowitz para contrastar 
:
Ahora, respecto a las evaluaciones tradicionales de los modelos de series temporales, en el caso de las proyecciones macroeconómicas “no se busca minimizar los errores de pronósticos”, en cambio, el objetivo principal es contar una historia coherente macroeconómicamente (Iguarin, 2023) [2]. Es decir, el modelo busca construir una historia macro a partir del panorama actual [3] y presentar una trayectoria coherente sobre la evolución futura de las variables, condicionada a la evolución de las variables de política (Iguarin, 2023) . Esto indica, que no es un modelo puro, sino, uno donde se incorpora la reacción de política del banco y se asumen supuestos sobre variables relevantes, por lo que, debe contener una idea clara de hacia dónde se dirige la economía (n.d., 1996), condicionada a una posible reacción de política de las autoridades.
Algunas de las alternativas usadas más frecuentemente para evaluar la coherencia macro del modelo son: las funciones impulso respuestas (FIR) (Forni, Gambetti, & Sala, 2014); la descomposición de choques y la comparación entre los momentos de las series del modelo y las series observadas (Resende, Fall, & Sy, 2022). En el caso de las FIR, que dependen de los parámetros del modelo, verifican si el modelo replica la visión que se tiene de la economía. Por ejemplo, estudia si son coherentes los mecanismos de transmisión de la política, la respuesta de los bienes transables a las presiones del tipo de cambio o las presiones inflacionarias derivadas de choques de demanda.
Mientras que la descomposición de coques [4], usualmente presentada como deviaciones respecto al estado estacionario, utiliza la representación de las series como un proceso media móvil para mostrar una representación histórica de las variables en función de choques. Esta permite estudiar la importancia relativa de diferentes shocks exógenos (Sims, 2016), en función de los parámetros asociados a las varianzas relativas de estos choques. En tal sentido, permite contrastar la coherencia de la historia macro contada por el modelo [5]. Es decir, que más allá de minimizar el error de pronósticos, el modelo debe presentar una evolución coherente de choques, Por ejemplo, el modelo debe ilustrar la incidencia positiva en el componente energético de la inflación doméstica que se espera de choques positivos en el precio del petróleo. Esta descomposición debe extenderse la descomposición de choques al periodo proyectado con el objetivo de facilitar el proceso de comunicación de las decisiones de política.
Una vez se logra que el modelo cuente una historia macro coherente, condicionado a la evolución histórica de las variables y los supuestos asumidos sobre las sendas de variables exógenas, se suelen utilizar gráficos de espaguetis para evaluar pronósticos en cada instante del tiempo, siendo lo relevante no identificar un sesgo persistente en las sendas proyectadas en las variables económicas. Esta evaluación es importante realizarla condicionada y no condicionada, para evaluar tanto el pronóstico del modelo como el aporte de las informaciones agregadas en el ciclo del pronóstico. Esta segmentación en la evaluación permite determinar si los errores observados resultan de la parametrización o estructura del modelo (Iguarin, 2023).
Adicionalmente, como los modelos son sensibles a la incorporación de choques, es fundamental describir como estos se incluyen en el modelo, dada su relevancia en el resultado final del pronóstico, resulta necesario colocar magnitudes a las fuerzas que se entienden incidirán en el horizonte [6]. Por tanto, considerando que los choques se pueden segmentar en anticipados o no – en función de reacción de la política –; transitorios y no – a partir de su persistencia (Gráfico 1) –. Además, considerar que podemos introducir estos choques en el modelo a partir de las variables consideradas o como un choque característico (para aquellos choques no considerados en el modelo, es decir, no depende de datos observados) al incorporarse en el escenario central, cada ciclo de pronóstico debe establecer claramente como incluir los choques y cuál es la magnitud esperada. En el Gráfico 1 se muestra la diferencia en la incidencia sobre el nivel de precios 
deerivada de un choque transitorio a uno persistente.
Posteriormente, una vez el modelo cuente una historia macro coherente, se hayan discutido los supuestos asumidos y caracterizado los choques esperados en la senda central del pronóstico, es necesario guardar las proyecciones que resultan de las diversas etapas. Esto permitirá contar con un histórico de proyecciones que permita estudiar la incidencia de cada una de las etapas sobre la historia de pronóstico presentada. Estas versiones, deben ser recogida en una bitácora asociada a cada ciclo, para fundamental cualquier comunicación posterior de la autoridad, dado que adicionalmente, es importante que las proyecciones del modelo sean fáciles de comunicar (Iguarin, 2023). Ahora, estas alternativas pueden compararse en términos del error cuadrático y condicionado a contextos relevantes como el COVID-19.
En conclusión, pese a que los errores de pronósticos son una fuente valiosa para estudiar la precisión de los modelos de serie temporales, en el marco de evaluación de modelos macroeconómicos, las proyecciones, como fuente de información para las decisiones de política, deben presentar adicionalmente una historia macro coherente y un pronóstico condicionado (variables exógenas y choques) que incorpore una recomendación de política con el objetivo de ayudar en el proceso de toma de decisiones. Siendo relevante que la política no se base en el pronóstico como tal, sino en los juicios sobre el balance de riesgo [7]. En tal sentido, la efectividad del pronóstico como insumo en el proceso de política, no debe basarse fundamental o principalmente, en la evaluación posterior de la precisión de los pronósticos, si no en como las proyecciones demostraron anticipar la evolución de las variables y servir como insumo para las decisiones de política. Por tanto, dada la relevancia del proceso de pronósticos, este proceso debe ser institucionalizado (Blanco, 2023) y basado en un calendario definido, para asegurar el tratamiento adecuado de cada fase (Iguarin, 2023).
[1] No siendo recomendable medidas de ajuste dentro de muestra, tal como el R-cuadrado tradicional.
[2] Se debe partir de preguntarse sobre cuál es la situación actual de la economía (Shigehara, 1994). En este sentido se asumen supuestos sobre la trayectoria de corto plazo de las variables y las sendas de variables exógenas. Estos intentan capturar cuales fuerzas ayudaron a consolidar la coyuntura actual y cuales estarían operando en el plazo relevante de política. Estas sendas pueden resultar de modelos satélites, juicio experto o fuentes externas como organismos oficiales o especialistas del mercado.
[3] El pronóstico suele concluir con una recomendación sobre la política o la respuesta acontecimientos probables.
[4] Aunque Sims (2016) presenta algunos inconvenientes de usos convencionales.
[5] Posteriormente, esta descomposición de choque se extenderá luego para la parte del pronóstico (Iguarin, 2023).
[6] Este debe contener longitudes tal, que permite considerar los efectos rezagados entre las variables (n.d., 1996).
[7] Entendiendo el pronóstico como un rango de probabilidad.
Referencias:
- Blanco, A. (2023). Palabras de bienvenida. Taller regional: Sistema de pronóstico y análisis de política. Antigua, Guatemala.
- Carriero, A., Galvao, A., & Kapetanios, G. (2018). A comprehensive evaluation of macroeconomic forecasting methods. Recuperado el 2 de 8 de 2023, de https://warwick.ac.uk/fac/soc/wbs/subjects/finance/mpf/working-papers/esrc_paper_8.pdf
- D’Agostino, A., Gambetti, L., & Giannone, D. (2010). Macroeconomic forecasting and structural change. European Central Bank(1167). Recuperado el 2023 de 12 de 2, de https://www.ecb.europa.eu/pub/pdf/scpwps/ecbwp1167.pdf
- Diebold, F. (2017). Forecasting in Economics, Business, Finance and Beyond. University of Pennsylvania.
- Forni, M., Gambetti, L., & Sala, L. (2014). VAR Information and the Empirical Validation of DSGE Models.
- Fuentes, J., Poncela, P., & Rodríguez, J. (2014). Sparse Partial Least Squares in Time Series for Macroeconomic Forecasting. (W. O. Library, Ed.) Journal of Appkied Econometrics.
- Iguarin, A. (2023). Sistema de pronóstico y análisis de política. Taller regional CAPTAC-DR/SECMCA.
- Korobilis, D., & Koop, G. (2011). UK macroeconomic forecasting with many predictors: Which models forecast best and when do they do so? Economic Modelling, 28(5), 2307-2318.
- n.d. (1996). Macroeconomic Forecasts: Purpose, Methodology and Performance.
- Resende, C., Fall, A., & Sy, D. (2022). A Quarterly Projection Model for the WAEMU. IMF. Institute for Capacity Development .
- Sims, E. (2016). What’s News in News? A Cautionary Note on Using a Variance Decomposition to Assess the Quantitative Importance of News Shocks. University of Notre Dame & NBER.
