Bewertung der Verzerrung von Punktprognosen über mehrere Zeitreihen hinweg: Maßnahmen und visuelle Werkzeuge
Assessing point forecast bias across multiple time series: Measures and visual tools
Evaluación del sesgo de pronóstico puntual en múltiples series temporales: Medidas y herramientas visuales
Évaluation du biais de prévision ponctuelle sur plusieurs séries chronologiques : Mesures et outils visuels
Valutazione del bias delle previsioni puntuali su più serie temporali: misure e strumenti visivi
Résumé
Measuring bias is important as it helps identify flaws in quantitative forecasting methods or judgmental forecasts. It can, therefore, potentially help improve forecasts. Despite this, bias tends to be under-represented in the literature: many studies focus solely on measuring accuracy. Methods for assessing bias in single series are relatively well-known and well-researched, but for datasets containing thousands of observations for multiple series, the methodology for measuring and reporting bias is less obvious. We compare alternative approaches against a number of criteria when rolling-origin point forecasts are available for different forecasting methods and for multiple horizons over multiple series. We focus on relatively simple, yet interpretable and easy-to-implement metrics and visualization tools that are likely to be applicable in practice. To study the statistical properties of alternative measures we use theoretical concepts and simulation experiments based on artificial data with predetermined features. We describe the difference between mean and median bias, describe the connection between metrics for accuracy and bias, provide suitable bias measures depending on the loss function used to optimise forecasts, and suggest which measures for accuracy should be used to accompany bias indicators. We propose several new measures and provide our recommendations on how to evaluate forecast bias across multiple series.
La mesure du biais est importante car elle permet d'identifier les failles des méthodes de prévision quantitative ou des prévisions fondées sur le jugement. Elle peut donc potentiellement contribuer à améliorer les prévisions. Malgré cela, le biais tend à être sous-représenté dans la littérature : de nombreuses études se concentrent uniquement sur la mesure de la précision. Les méthodes d'évaluation du biais dans les séries uniques sont relativement bien connues et bien étudiées, mais pour les ensembles de données contenant des milliers d'observations pour des séries multiples, la méthodologie de mesure et de communication du biais est moins évidente. Nous comparons des approches alternatives par rapport à un certain nombre de critères lorsque des prévisions ponctuelles d'origine glissante sont disponibles pour différentes méthodes de prévision et pour plusieurs horizons sur plusieurs séries. Nous nous concentrons sur des mesures et des outils de visualisation relativement simples, mais interprétables et faciles à mettre en œuvre, qui sont susceptibles d'être applicables dans la pratique. Pour étudier les propriétés statistiques des mesures alternatives, nous utilisons des concepts théoriques et des expériences de simulation basées sur des données artificielles avec des caractéristiques prédéterminées. Nous décrivons la différence entre le biais moyen et le biais médian, nous décrivons le lien entre les mesures de précision et de biais, nous fournissons des mesures de biais appropriées en fonction de la fonction de perte utilisée pour optimiser les prévisions, et nous suggérons quelles mesures de précision devraient être utilisées pour accompagner les indicateurs de biais. Nous proposons plusieurs nouvelles mesures et fournissons nos recommandations sur la manière d'évaluer le biais des prévisions sur plusieurs séries.
Mots clés
forecasting
forecast bias
mean bias
median bias
MPE
AvgRel-metrics
AvgRelAME
AvgRelAMdE
RelAME
RelMdE
AvgRelME
AvgRelMdE
OPc
Mean Percentage Error
MAD/MEAN ratio
Overestimation Percentage corrected
OPc-diagram
OPc-boxplot
AvgRel-prefix
RelAMdE
RelME
absolute mean error
absolute median error
AvgRelRMSE
AvgRelMAE
AvgRelMSE
AvgRel-boxplots
statistical graphics
forecast evaluation workflow
FEW
FEW-L1
FEW-L2
pooled prediction-realization diagram
prediction-realization diagram
criteria for error measures
construct validity
target loss function
point forecast evaluation setup
PFES
forecasting competitions
testing for bias
geometric mean
optimal correction of forecasts
symmetric quadratic loss
symmetric linear loss
absolute mean scaled error
LnQ
ease of communication
ease of interpretation
ease of implementation
scale-independence
time series analysis
rolling-origin evaluation
inventory control
relative root mean squared error
RelRMSE
relative performance
forecast evaluation setup
data science
forecast density
mean-unbiasedness
median-unbiasedness
binomial test
Wilcoxon signed rank test
boxplots
double-scale plots
Domaines
Statistiques [math.ST] Mathématiques [math] Applications [stat.AP] Méthodologie [stat.ME] Synthèse d'image et réalité virtuelle [cs.GR] Probabilités [math.PR] Informatique Economies et finances Méthodes et statistiques Machine Learning [stat.ML] Statistiques [stat] Analyse de données, Statistiques et Probabilités [physics.data-an]
Origine : Fichiers produits par l'(les) auteur(s)