Communication Dans Un Congrès Année : 2016

Utilisation des représentations continues des mots et des paramètres prosodiques pour la détection des erreurs dans les transcriptions automatiques de la parole

Résumé

Recent advances in continuous word representation have been successfully used in several natural language processing tasks. This paper focuses on error prediction in Automatic Speech Recognition (ASR) outputs and proposes to investigate the use of continuous word representation (word embeddings) within a neural network architecture. The main contribution of this paper is about word embeddings combination : several combination approaches are proposed in order to take advantage of their complementarity. The use of prosodic features, in addition to classical syntactic ones, is evaluated. Experiments are made on automatic transcriptions generated by the LIUM ASR system applied on the ETAPE corpus. They show that the proposed neural architecture, using an effective continuous word representation combination and prosodic features as additional features, outperforms significantly state-of-the-art approach based on the use of Conditional Random Fields. Last, the proposed system produces a well calibrated confidence measure, evaluated in terms of NCE.

Récemment, l’utilisation des représentations continues de mots a connu beaucoup de succès dans plusieurs tâches de traitement du langage naturel. Dans cet article, nous proposons d’étudier leur utilisation dans une architecture neuronale pour la tâche de détection des erreurs au sein de transcriptions automatiques de la parole. Nous avons également expérimenté et évalué l’utilisation de paramètres prosodiques en suppléments des paramètres classiques (lexicaux, syntaxiques, . . .). La principale contribution de cet article porte sur la combinaison de différentes représentations continues de mots : plusieurs approches de combinaison sont proposées et évaluées afin de tirer profit de leurs complémentarités. Les expériences sont effectuées sur des transcriptions automatiques du corpus ETAPE générées par le système de reconnaissance automatique du LIUM. Les résultats obtenus sont meilleurs que ceux d’un système état de l’art basé sur les champs aléatoires conditionnels. Pour terminer, nous montrons que la mesure de confiance produite est particulièrement bien calibrée selon une évaluation en terme d’Entropie Croisée Normalisée (NCE).

Fichier non déposé

Dates et versions

halshs-01428013 , version 1 (06-01-2017)

Identifiants

  • HAL Id : halshs-01428013 , version 1

Citer

S. Ghannay, Y. Estève, Nathalie Camelin, Dutrey Camille, Fabian Santiago Vargas, et al.. Utilisation des représentations continues des mots et des paramètres prosodiques pour la détection des erreurs dans les transcriptions automatiques de la parole. Journée d'Études sur la Parole (2016), Jul 2016, Paris, France. pp.723-731. ⟨halshs-01428013⟩
352 Consultations
0 Téléchargements

Partager

  • More