Uniformisation d’encodage en deux étapes - HAL Accéder directement au contenu
Article de blog scientifique Tekipaki Année : 2020

Uniformisation d’encodage en deux étapes

Résumé

La lecture préalable de l’article Fiabilité de chardet (https://tekipaki.hypotheses.org/536) est fortement conseillée. Lorsqu’on travaille avec un corpus textuel composé de nombreux fichiers dont l’encodage n’est pas uniforme, l’une des premières étapes de traitement est de convertir l’ensemble du corpus vers un encodage unique et reconnu par les outils qui seront utilisés ensuite. Il existe plusieurs façons d’y parvenir, telle que celle présentée dans cet article (https://tekipaki.hypotheses.org/536), qui fait appel à chardet. Toutefois, en fonction de la composition du corpus et des objectifs poursuivis, détecter et convertir en masse l’encodage de l’ensemble des fichiers n’est pas forcément la solution la plus efficace. Voici une alternative où la détection et la conversion constituent deux étapes distinctes.
Loading...
Fichier non déposé

Dates et versions

hal-03079596, version 1 (17-12-2020)

Identifiants

  • HAL Id : hal-03079596 , version 1

Citer

Alexander Delaporte. Uniformisation d’encodage en deux étapes. 2020, https://tekipaki.hypotheses.org/669. ⟨hal-03079596⟩
13 Consultations
0 Téléchargements
Dernière date de mise à jour le 21/04/2024
comment ces indicateurs sont-ils produits

Partager

Gmail Facebook Twitter LinkedIn Plus