Textstat : 7 outils pour améliorer la lisibilité des textes

Dans le domaine de l'apprentissage automatique, la capacité à évaluer la lisibilité et la complexité d'un texte est cruciale. La bibliothèque Python Textstat se distingue comme un outil puissant pour extraire des fonctionnalités de lisibilité à partir de texte brut, facilitant ainsi l'intégration de ces mesures dans des modèles d'analyse avancée.

Textstat : Un outil pour quantifier la lisibilité

Textstat offre une approche systématique pour quantifier la lisibilité et la complexité textuelle, des éléments essentiels dans les tâches d'apprentissage automatique. Grâce à cette bibliothèque, il est possible de calculer sept métriques de lisibilité largement reconnues, qui peuvent ensuite être utilisées comme caractéristiques dans des modèles de classification ou de régression.

1. La formule de lisibilité Flesch

La formule de lisibilité Flesch est l'une des méthodes les plus anciennes et les plus populaires pour évaluer la lisibilité d'un texte. Elle repose sur deux paramètres principaux : la longueur moyenne des phrases et le nombre moyen de syllabes par mot. Cette formule génère un score allant théoriquement de 0 à 100, où 0 indique un texte très difficile à lire et 100 un texte extrêmement simple. Cependant, dans la pratique, ce score peut dépasser ces limites.

df['Flesch_Ease'] = df['Text'].apply(textstat.flesch_reading_ease)
print("Scores de lisibilité Flesch :")
print(df[['Category', 'Flesch_Ease']])

Les résultats typiques pour cette métrique sont les suivants :

• Simple : 105.88
• Standard : 45.26
• Complexe : -8.05

2. Les niveaux de classe Flesch-Kincaid

Le niveau de classe Flesch-Kincaid, contrairement au score de lisibilité Flesch, utilise une échelle qui correspond aux niveaux scolaires américains. Plus le score est élevé, plus le texte est complexe. Cette évaluation est particulièrement utile pour adapter le contenu à des publics spécifiques en fonction de leur niveau d'éducation.

df['Flesch_Grade'] = df['Text'].apply(textstat.flesch_kincaid_grade)
print("Niveaux de classe Flesch-Kincaid :")
print(df[['Category', 'Flesch_Grade']])

Les scores obtenus sont :

• Simple : -0.27
• Standard : 11.17
• Complexe : 19.35

3. L'indice SMOG

L'indice SMOG (Simple Measure of Gobbledygook) est une autre mesure de la complexité textuelle, qui estime le nombre d'années d'éducation formelle nécessaires pour comprendre un texte. Cette formule est plus strictement bornée, avec un minimum légèrement supérieur à 3.

df['SMOG_Index'] = df['Text'].apply(textstat.smog_index)
print("Scores de l'indice SMOG :")
print(df[['Category', 'SMOG_Index']])

Les scores typiques pour l'indice SMOG sont :

• Simple : 3.13
• Standard : 11.21
• Complexe : 20.27

4. L'indice de Gunning Fog

L'indice de Gunning Fog mesure le pourcentage de mots complexes et la longueur moyenne des phrases. Il est souvent utilisé pour s'assurer que le contenu technique ou commercial est accessible à un public plus large.

df['Gunning_Fog'] = df['Text'].apply(textstat.gunning_fog)
print("Indice de Gunning Fog :")
print(df[['Category', 'Gunning_Fog']])

Les scores de cet indice sont :

• Simple : 2.00
• Standard : 11.51
• Complexe : 26.00

5. L'indice de lisibilité automatisé

L'indice de lisibilité automatisé (ARI) se concentre sur le nombre de caractères par mot pour déterminer le niveau de classe. Cette approche est particulièrement rapide, ce qui la rend idéale pour traiter de grands volumes de données textuelles.

df['ARI'] = df['Text'].apply(textstat.automated_readability_index)
print("Indice de lisibilité automatisé :")
print(df[['Category', 'ARI']])

Les résultats typiques pour l'ARI sont :

• Simple : -2.29
• Standard : 12.56
• Complexe : 20.13

6. Le score de lisibilité de Dale-Chall

Le score de lisibilité de Dale-Chall se distingue par son approche axée sur le vocabulaire, comparant le texte à une liste de mots familiers pour des élèves de quatrième année. Cette méthode repose sur des ratios et des pourcentages, avec un minimum strict de zéro.

df['Dale_Chall'] = df['Text'].apply(textstat.dale_chall_readability_score)
print("Scores de Dale-Chall :")
print(df[['Category', 'Dale_Chall']])

Les scores obtenus sont :

• Simple : 4.94
• Standard : 12.84
• Complexe : 14.10

7. Text Standard : une métrique de consensus

Pour ceux qui hésitent sur la formule à utiliser, Textstat propose une métrique de consensus, le Text Standard, qui regroupe plusieurs mesures pour offrir une évaluation globale de la lisibilité d'un texte.