Uniformisation d’encodage en deux étapes
Résumé
La lecture préalable de l’article Fiabilité de chardet (https://tekipaki.hypotheses.org/536) est fortement conseillée.
Lorsqu’on travaille avec un corpus textuel composé de nombreux fichiers dont l’encodage n’est pas uniforme, l’une des premières étapes de traitement est de convertir l’ensemble du corpus vers un encodage unique et reconnu par les outils qui seront utilisés ensuite. Il existe plusieurs façons d’y parvenir, telle que celle présentée dans cet article (https://tekipaki.hypotheses.org/536), qui fait appel à chardet.
Toutefois, en fonction de la composition du corpus et des objectifs poursuivis, détecter et convertir en masse l’encodage de l’ensemble des fichiers n’est pas forcément la solution la plus efficace. Voici une alternative où la détection et la conversion constituent deux étapes distinctes.
Loading...