[python] NLTK를 사용해 텍스트의 가독성을 평가하는 방법은 무엇인가요?

30 Nov 2023

python

Flesch Reading Ease 점수 계산하기: Flesch Reading Ease는 일반 독자들이 텍스트를 얼마나 쉽게 읽을 수 있는지를 나타내는 점수입니다. NLTK에서는 nltk.corpus 모듈의 cmudict를 사용하여 단어의 음절 수를 계산하여 Flesch Reading Ease 점수를 측정할 수 있습니다.

import nltk
from nltk.corpus import cmudict

def syllables_count(word):
    if word.lower() in cmudict.entries():
        return [len(list(y for y in x if y[-1].isdigit())) for x in cmudict.entries() if x[0] == word.lower()][0]
    return [len(list(y for y in x if y[-1].isdigit())) for x in cmudict.entries() if x[0] == word.lower()+'s'][0]

def flesch_reading_ease(text):
    words = nltk.word_tokenize(text)
    total_words = len(words)
    total_sentences = len(nltk.sent_tokenize(text))
    total_syllables = sum([syllables_count(word) for word in words])
    
    # Flesch Reading Ease 점수 계산
    score = 206.835 - 1.015 * (total_words / total_sentences) - 84.6 * (total_syllables / total_words)
    
    return score

text = "NLTK는 텍스트 처리를 위한 강력한 도구입니다."
score = flesch_reading_ease(text)
print("Flesch Reading Ease 점수: ", score)

Gunning Fog Index 계산하기: Gunning Fog Index는 글의 난이도를 측정하는 지표로, 글의 단어 수와 긴 단어의 비율을 고려합니다. NLTK를 사용하여 Gunning Fog Index를 계산할 수 있습니다.

def gunning_fog_index(text):
    words = nltk.word_tokenize(text)
    total_words = len(words)
    total_sentences = len(nltk.sent_tokenize(text))
    complex_words = 0
    
    for word in words:
        syllable_count = syllables_count(word)
        if syllable_count >= 3:
            complex_words += 1
            
    # Gunning Fog Index 계산
    ratio = complex_words / total_words
    score = 0.4 * ((total_words / total_sentences) + 100 * ratio)
    
    return score

text = "NLTK는 텍스트 처리를 위한 강력한 도구입니다."
score = gunning_fog_index(text)
print("Gunning Fog Index: ", score)

NLTK를 사용하면 텍스트의 가독성을 평가하는 다양한 방법을 적용할 수 있으며, 이는 텍스트 작성자가 텍스트의 더 좋은 가독성을 위해 필요한 수정 사항을 식별하는 데 도움이 될 수 있습니다.

참고:

NLTK 공식 문서: https://www.nltk.org/
Flesch Reading Ease: https://en.wikipedia.org/wiki/Flesch%E2%80%93Kincaid_readability_tests#Flesch_reading_ease
Gunning Fog Index: https://en.wikipedia.org/wiki/Gunning_fog_index