[파이썬] nltk 문장 구조 및 의존성 구문 분석

06 Sep 2023

nltk

Natural Language Toolkit (NLTK)은 Python에서 자연어 처리 작업을 수행하기 위한 강력한 도구입니다. NLTK를 사용하면 텍스트 데이터의 문장 구조 및 의존성 관계를 분석할 수 있습니다. 이 글에서는 NLTK를 사용하여 문장 구조 및 의존성 구문 분석을 수행하는 방법에 대해 알아보겠습니다.

문장 구조 분석 (Sentence Parsing)

문장 구조 분석은 텍스트 데이터의 문장을 구문 요소로 분석하는 과정입니다. 이를 통해 문장의 구조를 파악할 수 있고, 문장을 의미적으로 분해하여 처리할 수 있습니다. NLTK에서는 다양한 방법으로 문장 구조 분석을 수행할 수 있습니다.

품사 태깅 (Part-of-speech Tagging)

품사 태깅은 문장의 각 단어에 해당하는 품사를 태깅하는 작업입니다. NLTK에서는 pos_tag 함수를 사용하여 품사 태깅을 수행할 수 있습니다. 다음은 NLTK를 사용하여 품사 태깅을 수행하는 예제 코드입니다.

from nltk import pos_tag
from nltk.tokenize import word_tokenize

sentence = "I love natural language processing"
tokens = word_tokenize(sentence)
pos_tags = pos_tag(tokens)

print(pos_tags)

위의 코드를 실행하면 문장의 각 단어와 해당하는 품사 태그가 출력됩니다.

구문 분석 (Parsing)

구문 분석은 문장의 구조를 파악하는 작업입니다. NLTK에서는 구문 분석을 위해 여러 알고리즘 및 데이터 구조를 제공합니다. 가장 널리 사용되는 구문 분석 알고리즘 중 하나는 CKY 알고리즘입니다. 다음은 NLTK에서 구문 분석을 수행하는 예제 코드입니다.

from nltk import CFG, ChartParser
from nltk.tokenize import word_tokenize

grammar = CFG.fromstring("""
    S -> NP VP
    NP -> 'I'
    VP -> V NP
    V -> 'love' | 'like'
    NP -> 'natural' 'language' 'processing'
""")

parser = ChartParser(grammar)

sentence = "I love natural language processing"
tokens = word_tokenize(sentence)

for tree in parser.parse(tokens):
    print(tree)

위의 코드를 실행하면 입력된 문장에 대해 구문 분석을 수행한 결과가 출력됩니다.

의존성 구문 분석 (Dependency Parsing)

의존성 구문 분석은 문장의 단어 간의 의존 관계를 파악하는 작업입니다. NLTK에서는 의존성 구문 분석을 수행하기 위해 Stanford Parser 및 MaltParser와 같은 도구를 지원합니다. 이를 사용하여 문장의 단어 간의 의존 관계를 추출할 수 있습니다.

다음은 NLTK에서 의존성 구문 분석을 수행하는 예제 코드입니다.

from nltk.parse import DependencyGraph
from nltk.tokenize import word_tokenize

sentence = "I love natural language processing"
tokens = word_tokenize(sentence)

dependency_graph = DependencyGraph("""
    1   I       _   PRP   _   2   nsubj   _   _
    2   love    _   VBP   _   0   root    _   _
    3   natural _   JJ    _   4   amod    _   _
    4   language_   NN    _   2   dobj    _   _
    5   processing _  NN    _   2   dobj    _   _
""")

for governor, dependent, relation in dependency_graph.triples():
    print(f"{governor} -{relation}-> {dependent}")

위의 코드를 실행하면 문장의 단어 간의 의존 관계가 출력됩니다.

NLTK를 사용하여 문장 구조 및 의존성 구문 분석을 수행하는 방법에 대해 알아보았습니다. 이는 자연어 처리 작업에서 중요한 기술 중 하나이며, NLTK를 통해 쉽게 구현할 수 있습니다. NLTK의 다양한 기능을 활용하여 자연어 처리 작업을 보다 효율적으로 수행할 수 있습니다.