Comment évaluer la qualité des transcriptions automatiques pour la détection d’entités nommées ? - HAL-SHS - Sciences de l'Homme et de la Société Accéder directement au contenu
Communication Dans Un Congrès Année : 2014

How to assess the quality of automatic transcriptions for the extraction of named entities?

Comment évaluer la qualité des transcriptions automatiques pour la détection d’entités nommées ?

Résumé

The standard metric used to evaluate the performance of Automatic Speech Recognition (ASR) systems is the Word Error Rate (WER). This well known metric is very useful when ASR systems are used in isolation, but nowadays these systems are often combined with other natural language processing (NLP) systems to perform tasks like speech translation, man-machine dialogue, or information retrieval from speech. That situation exacerbates the need expressed by the speech processing community for a new evaluation metric which can estimate the quality of automatic transcription taking into account their applicative context. We propose an alternative evaluation metric to the WER in the context of Named Entity detection in spoken documents. Our proposed metric makes use of posterior probability to estimate the risk of error that ASR errors can induce to the Named Entity detection system applied downstream.
La métrique standard pour l’évaluation des performances des systèmes de reconnaisance automatique de la parole est le taux d’erreur mot (Word Error Rate). Cette métrique est très efficace quand il s’agit d’évaluer les systèmes de transcription seules, mais de nos jours les systèmes RAP sont très souvent combinés avec d’autres briques technologiques de Traitement Automatique des Langues telles que la traduction de la parole, le dialogue homme-machine, ou l’extraction d’informations. Cette situation exacerbe le besoin exprimé par la communauté pour une métrique qui permet d’estimer la qualité des transcriptions automatiques en tenant compte du contexte applicatif. Nous proposons une métrique alternative au WER qui permet d’évaluer la qualité des transcriptions automatiques dans un contexte d’extraction d’entités nommées à partir de la parole. Notre métrique utilise des probabilités a posteriori pour estimer le risque d’erreur induit par les erreurs de transcription sur un système de détection d’entités nommées appliqué en aval.
Fichier non déposé

Dates et versions

hal-01134868 , version 1 (24-03-2015)

Identifiants

  • HAL Id : hal-01134868 , version 1

Citer

Mohamed Ben Jannet, Martine Adda-Decker, Olivier Galibert, Juliette Kahn, Sophie Rosset. Comment évaluer la qualité des transcriptions automatiques pour la détection d’entités nommées ?. XXXe Journées d'Études sur la Parole (JEP'14), Jun 2014, Le Mans, France. pp.430-437. ⟨hal-01134868⟩
147 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More