[파이썬] 딥러닝을 이용한 텍스트 생성

04 Sep 2023

python

딥러닝은 자연어 처리 분야에서 다양한 응용 프로그램에 사용되고 있습니다. 그 중에서도 텍스트 생성은 매우 흥미로운 분야입니다. 딥러닝을 사용하여 텍스트를 생성하면 자연스러운 문장을 생성할 수 있습니다.

LSTM(Long Short-Term Memory) 모델

텍스트 생성을 위해 자주 사용되는 딥러닝 모델은 LSTM(Long Short-Term Memory)입니다. LSTM은 순환 신경망(RNN)의 한 종류로서, 텍스트 시퀀스에 대한 정보를 유지하고 장기 의존성을 학습할 수 있는 능력을 가지고 있습니다.

데이터 전처리

텍스트 생성을 위해서는 데이터 전처리 과정이 필요합니다. 텍스트를 읽어와서 단어나 문자 단위로 분할하고, 각 단어나 문자에 고유한 정수 인덱스를 할당해야 합니다. 이 인덱스를 이용하여 텍스트를 숫자로 표현할 수 있습니다.

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences

# 텍스트 데이터 읽어오기
text_data = ["I love deep learning", "Deep learning is amazing", "Text generation using deep learning"]

# 텍스트 데이터 토큰화
tokenizer = Tokenizer()
tokenizer.fit_on_texts(text_data)
total_words = len(tokenizer.word_index) + 1

# 텍스트 데이터 시퀀스로 변환
sequences = tokenizer.texts_to_sequences(text_data)

# 시퀀스 패딩
max_sequence_length = max([len(seq) for seq in sequences])
padded_sequences = pad_sequences(sequences, maxlen=max_sequence_length, padding='post')

# 예측 대상 단어 분리
input_sequences = padded_sequences[:, :-1]
labels = padded_sequences[:, -1]

print("Total words:", total_words)
print("Input sequences:", input_sequences)
print("Labels:", labels)

텍스트 생성 모델 만들기

from tensorflow.keras.layers import Embedding, LSTM, Dense
from tensorflow.keras.models import Sequential

# 텍스트 생성 모델 생성
model = Sequential()
model.add(Embedding(total_words, 100, input_length=max_sequence_length-1))
model.add(LSTM(150))
model.add(Dense(total_words, activation='softmax'))

# 모델 컴파일
model.compile(loss='sparse_categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

# 모델 훈련
model.fit(input_sequences, labels, epochs=100, verbose=1)

텍스트 생성

import numpy as np

# seed 텍스트
seed_text = "I love"

# seed 텍스트를 기반으로 텍스트 생성
for _ in range(10):
    token_list = tokenizer.texts_to_sequences([seed_text])[0]
    token_list = pad_sequences([token_list], maxlen=max_sequence_length-1, padding='post')
    predicted = model.predict_classes(token_list, verbose=0)
    output_word = ""
    for word, index in tokenizer.word_index.items():
        if index == predicted:
            output_word = word
            break
    seed_text += " " + output_word
    print(seed_text)

위의 예시 코드를 참고하여 딥러닝을 이용한 텍스트 생성을 구현해 보세요. 텍스트 생성은 문장을 생성하는 데에 활용될 수 있으며, 다양한 응용 분야에서 유용하게 사용될 수 있습니다.