[python] 파이썬 네이처언어 프로세싱 라이브러리를 이용한 문서 요약

21 Dec 2023

python

본 포스트에서는 파이썬의 네이처언어 프로세싱 라이브러리를 사용하여 문서 요약에 대해 다룹니다.

1. 들어가며

문서 요약은 긴 텍스트를 간결하게 요약하는 과정으로, 텍스트의 중요한 내용을 추출하여 정보를 효과적으로 전달하는 방법입니다. 이를 자동화하기 위해 네이처언어 처리 기술과 머신러닝 기술을 사용할 수 있습니다.

2. 네이처언어 프로세싱 라이브러리 소개

파이썬에는 다양한 네이처언어 프로세싱 라이브러리가 있으며, 그 중 NLTK(Natural Language Toolkit)와 Gensim이 대표적입니다. NLTK는 토큰화, 형태소 분석, 품사 태깅 등의 다양한 자연어 처리 기능을 제공하며, Gensim은 문서 요약과 같은 토픽 모델링을 위한 기능을 제공합니다.

3. 문서 요약 기술

문서 요약은 추상적 요약과 추출적 요약으로 나눌 수 있습니다. 추상적 요약은 원본 텍스트의 내용을 표현하는 새로운 문장을 생성하는 반면, 추출적 요약은 원본 텍스트에서 중요한 문장을 추출하여 요약하는 방식입니다.

4. 네이처언어 프로세싱 라이브러리를 활용한 문서 요약 예시

다음은 NLTK 라이브러리를 사용하여 추상적 요약을 수행하는 예시 코드입니다.

import nltk
from nltk.tokenize import word_tokenize, sent_tokenize
from nltk.corpus import stopwords
from nltk.probability import FreqDist
from collections import OrderedDict

text = "Your input text goes here."

# Tokenization
words = word_tokenize(text)
sentences = sent_tokenize(text)

# Stopwords removal
stopWords = set(stopwords.words("english"))
words = [word for word in words if word not in stopWords]

# Frequency table
freqTable = dict()
for word in words:
    word = word.lower()
    if word in freqTable:
        freqTable[word] += 1
    else:
        freqTable[word] = 1

# Sentence scores
sentenceValue = dict()
for sentence in sentences:
    for word, freq in freqTable.items():
        if word in sentence.lower():
            if sentence in sentenceValue:
                sentenceValue[sentence] += freq
            else:
                sentenceValue[sentence] = freq

# Summarization
sumValues = 0
for sentence in sentenceValue:
    sumValues += sentenceValue[sentence]

average = int(sumValues / len(sentenceValue))

summary = ''
for sentence in sentences:
    if (sentence in sentenceValue) and (sentenceValue[sentence] > (1.5 * average)):
        summary += " " + sentence

print(summary)

이제 여러분은 NLTK를 사용하여 텍스트 문서를 요약하는 방법을 알게 되었습니다.

5. 마치며

네이처언어 프로세싱 라이브러리를 이용해서 문서 요약을 수행하는 방법을 살펴보았습니다. 이러한 방법을 응용하여 자동화된 문서 요약 시스템을 구축할 수 있으며, 실제 프로젝트에 적용해 보는 것을 권장합니다.

참고 문헌: NLTK 공식 문서, Gensim 공식 문서