Assessing point forecast bias across multiple time series: Measures and visual tools - HAL-SHS - Sciences de l'Homme et de la Société Accéder directement au contenu
Article Dans Une Revue International Journal of Statistics and Probability Année : 2021

Bewertung der Verzerrung von Punktprognosen über mehrere Zeitreihen hinweg: Maßnahmen und visuelle Werkzeuge

Assessing point forecast bias across multiple time series: Measures and visual tools

Evaluación del sesgo de pronóstico puntual en múltiples series temporales: Medidas y herramientas visuales

Évaluation du biais de prévision ponctuelle sur plusieurs séries chronologiques : Mesures et outils visuels

Valutazione del bias delle previsioni puntuali su più serie temporali: misure e strumenti visivi

Andrey Davydenko
  • Fonction : Auteur
  • PersonId : 1111773

Résumé

Measuring bias is important as it helps identify flaws in quantitative forecasting methods or judgmental forecasts. It can, therefore, potentially help improve forecasts. Despite this, bias tends to be under-represented in the literature: many studies focus solely on measuring accuracy. Methods for assessing bias in single series are relatively well-known and well-researched, but for datasets containing thousands of observations for multiple series, the methodology for measuring and reporting bias is less obvious. We compare alternative approaches against a number of criteria when rolling-origin point forecasts are available for different forecasting methods and for multiple horizons over multiple series. We focus on relatively simple, yet interpretable and easy-to-implement metrics and visualization tools that are likely to be applicable in practice. To study the statistical properties of alternative measures we use theoretical concepts and simulation experiments based on artificial data with predetermined features. We describe the difference between mean and median bias, describe the connection between metrics for accuracy and bias, provide suitable bias measures depending on the loss function used to optimise forecasts, and suggest which measures for accuracy should be used to accompany bias indicators. We propose several new measures and provide our recommendations on how to evaluate forecast bias across multiple series.
La mesure du biais est importante car elle permet d'identifier les failles des méthodes de prévision quantitative ou des prévisions fondées sur le jugement. Elle peut donc potentiellement contribuer à améliorer les prévisions. Malgré cela, le biais tend à être sous-représenté dans la littérature : de nombreuses études se concentrent uniquement sur la mesure de la précision. Les méthodes d'évaluation du biais dans les séries uniques sont relativement bien connues et bien étudiées, mais pour les ensembles de données contenant des milliers d'observations pour des séries multiples, la méthodologie de mesure et de communication du biais est moins évidente. Nous comparons des approches alternatives par rapport à un certain nombre de critères lorsque des prévisions ponctuelles d'origine glissante sont disponibles pour différentes méthodes de prévision et pour plusieurs horizons sur plusieurs séries. Nous nous concentrons sur des mesures et des outils de visualisation relativement simples, mais interprétables et faciles à mettre en œuvre, qui sont susceptibles d'être applicables dans la pratique. Pour étudier les propriétés statistiques des mesures alternatives, nous utilisons des concepts théoriques et des expériences de simulation basées sur des données artificielles avec des caractéristiques prédéterminées. Nous décrivons la différence entre le biais moyen et le biais médian, nous décrivons le lien entre les mesures de précision et de biais, nous fournissons des mesures de biais appropriées en fonction de la fonction de perte utilisée pour optimiser les prévisions, et nous suggérons quelles mesures de précision devraient être utilisées pour accompagner les indicateurs de biais. Nous proposons plusieurs nouvelles mesures et fournissons nos recommandations sur la manière d'évaluer le biais des prévisions sur plusieurs séries.
Fichier principal
Vignette du fichier
Davydenko_Goodwin_2021_Bias.pdf (854.76 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03359179 , version 1 (30-09-2021)

Licence

Paternité

Identifiants

Citer

Andrey Davydenko, Paul Goodwin. Assessing point forecast bias across multiple time series: Measures and visual tools. International Journal of Statistics and Probability, 2021, 10 (5), pp.46-69. ⟨10.5539/ijsp.v10n5p46⟩. ⟨hal-03359179⟩
42 Consultations
77 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More