Les erreurs de transcription des systèmes de reconnaissance automatique de la parole (RAP) sont généralement évaluées à l’aide de métriques qui les comparent à une transcription de référence, comme le taux d’erreur de mots (WER), qui mesure les écarts orthographiques par rapport à la référence, ou des métriques basées sur des scores sémantiques. Cependant, ces approches négligent souvent ce qui est compréhensible pour les humains lorsqu’ils interprètent les erreurs de transcription. Pour remédier à cette limitation, une nouvelle méthode d’évaluation est proposée, catégorisant les erreurs en quatre niveaux de gravité, subdivisés en sous-types, sur la base de critères linguistiques objectifs, de schémas contextuels et de l'emploi des mots lexicaux comme unité d’analyse. Cette métrique est appliquée à un benchmark de 10 systèmes RAP de dernière génération en langue française, incluant des modèles basés sur les HMM ainsi que des modèles de bout en bout. Nos résultats mettent en lumière les forces et faiblesses de chaque système, en identifiant ceux qui offrent la meilleure expérience de lecture pour les utilisateurs.