SpaCy를 사용하여 텍스트에서 가장 유의미한 문장 추출(Salient Sentence Extraction)

24 Sep 2023

spacy

텍스트 데이터에서 유의미한 정보를 추출하는 것은 자연어처리(NLP)의 중요한 작업 중 하나입니다. 이를 위해 SpaCy라는 Python 라이브러리를 사용하여 텍스트에서 가장 유의미한 문장을 추출하는 기술을 알아보겠습니다.

SpaCy 라이브러리 설치하기

먼저 SpaCy 라이브러리를 설치해야 합니다. 아래의 명령어를 사용하여 설치할 수 있습니다.

pip install spacy

또한, SpaCy 라이브러리에서 제공하는 모델을 다운로드해야 합니다. 대표적인 모델로는 en_core_web_sm이 있으며, 영어 텍스트를 처리하는 데 사용됩니다. 아래의 명령어를 사용하여 모델을 다운로드할 수 있습니다.

python -m spacy download en_core_web_sm

문장 추출하기

이제 SpaCy를 사용하여 텍스트로부터 가장 유의미한 문장을 추출하는 방법을 살펴보겠습니다. 아래의 코드를 참고하여 작성해주세요.

import spacy

# SpaCy의 영어 모델 로드
nlp = spacy.load('en_core_web_sm')

def extract_salient_sentence(text):
    # 텍스트를 SpaCy 문서 객체로 변환
    doc = nlp(text)

    # 모든 문장을 탐색하여 유의미도 점수 계산
    sentence_scores = []
    for sentence in doc.sents:
        salience_score = 0
        for token in sentence:
            # 유의미한 품사인지 확인
            if token.pos_ in ['NOUN', 'VERB', 'ADJ']:
                salience_score += 1

        # 각 문장의 점수 저장
        sentence_scores.append((sentence, salience_score))

    # 유의미도 점수 기준으로 문장 정렬
    sentence_scores.sort(key=lambda x: x[1], reverse=True)

    # 가장 유의미한 문장 반환
    salient_sentence = sentence_scores[0][0]
    return salient_sentence.text

# 예시 텍스트
text = "SpaCy is a powerful Python library for natural language processing. It provides a wide range of features and tools to process text data efficiently. In this tutorial, we will focus on using SpaCy to extract the most salient sentence from a given text."

# 가장 유의미한 문장 추출
salient_sentence = extract_salient_sentence(text)
print(salient_sentence)

위의 코드를 실행하면 예시 텍스트에서 가장 유의미한 문장을 출력할 수 있습니다.

마무리

SpaCy를 사용하여 텍스트에서 가장 유의미한 문장을 추출하는 방법을 알아보았습니다. 이를 활용하면 텍스트 데이터에서 중요한 정보를 추출하고 다양한 자연어처리 작업을 수행할 수 있습니다. SpaCy는 다양한 언어와 다양한 NLP 작업에 적용할 수 있기 때문에, NLP 개발에 유용한 도구 중 하나입니다. #NLP #SpaCy