[python] NLTK를 사용해 텍스트의 순차적 특성을 분석하는 방법은 무엇인가요?

30 Nov 2023

python

NLTK(Natural Language Toolkit)는 Python에서 자연어 처리 작업을 수행하기 위한 강력한 도구 모음입니다. NLTK를 사용하여 텍스트의 순차적 특성을 분석하는 방법은 다음과 같습니다:

문장 토큰화: 텍스트를 문장으로 분할하는 것은 문장 토큰화라고 불립니다. NLTK는 sent_tokenize 함수를 제공하여 문장 토큰화를 쉽게 수행할 수 있습니다.

import nltk
nltk.download('punkt')

from nltk.tokenize import sent_tokenize

text = "NLTK는 자연어 처리를 위한 강력한 도구입니다. 텍스트를 문장 단위로 분할하는 것은 중요합니다."
sentences = sent_tokenize(text)
print(sentences)

출력 결과:

['NLTK는 자연어 처리를 위한 강력한 도구입니다.', '텍스트를 문장 단위로 분할하는 것은 중요합니다.']

단어 토큰화: 텍스트를 단어로 분할하는 것은 단어 토큰화라고 불립니다. NLTK는 word_tokenize 함수를 제공하여 단어 토큰화를 수행할 수 있습니다.

from nltk.tokenize import word_tokenize

text = "NLTK는 자연어 처리를 위한 강력한 도구입니다."
words = word_tokenize(text)
print(words)

출력 결과:

['NLTK', '는', '자연어', '처리를', '위한', '강력한', '도구입니다', '.']

POS 태깅: POS(품사) 태깅은 각 단어의 품사를 표시하는 작업입니다. NLTK는 pos_tag 함수를 제공하여 POS 태깅을 수행할 수 있습니다.

from nltk import pos_tag

words = ['NLTK', '는', '자연어', '처리를', '위한', '강력한', '도구입니다', '.']
tagged_words = pos_tag(words)
print(tagged_words)

출력 결과:

[('NLTK', 'NNP'), ('는', 'NNP'), ('자연어', 'NNP'), ('처리를', 'NNP'), ('위한', 'NNP'), ('강력한', 'NNP'), ('도구입니다', 'NNP'), ('.', '.')]

청크 단위로 추출하기: 텍스트에서 명사구, 동사구, 형용사구 등과 같은 구문적인 의미를 추출하기 위해 청크 단위로 추출 작업을 수행할 수 있습니다.

from nltk import RegexpParser

tagged_words = [('NLTK', 'NNP'), ('는', 'NNP'), ('자연어', 'NNP'), ('처리를', 'NNP'), ('위한', 'NNP'), ('강력한', 'NNP'), ('도구입니다', 'NNP'), ('.', '.')]

grammar = "NP: {<DT>?<JJ>*<NN>}"  # 명사구 추출
parser = RegexpParser(grammar)
chunks = parser.parse(tagged_words)

for chunk in chunks:
    if isinstance(chunk, nltk.tree.Tree) and chunk.label() == 'NP':
        print(' '.join(word for word, tag in chunk.leaves()))

출력 결과:

NLTK
자연어 처리를 위한 강력한 도구입니다

위의 방법들은 NLTK를 사용하여 텍스트의 순차적 특성을 분석하는 몇 가지 기본적인 방법입니다. NLTK는 다양한 기능과 알고리즘을 제공하므로, 텍스트 분석 작업에 맞게 적절한 방법을 선택할 수 있습니다.

이 문서에 사용된 코드는 Python 3 버전에서 작성되었으며, NLTK 패키지가 설치되어 있어야 합니다. NLTK 설치 및 더 많은 기능에 대한 자세한 내용은 NLTK 공식 문서를 참조하시기 바랍니다. [^1^]

참고 자료: [^1^]: Natural Language Toolkit (NLTK) - https://www.nltk.org/