[python] 파이썬 PyTorch에서 모델의 학습률을 동적으로 조절하는 방법은?

22 Nov 2023

python

PyTorch에서는 Optimizer 객체를 사용하여 모델의 학습률을 조절할 수 있습니다. 학습률은 일반적으로 학습 알고리즘의 성능을 개선하기 위해 조정됩니다. 다음은 PyTorch에서 모델의 학습률을 동적으로 조절하는 몇 가지 방법입니다.

학습률 스케줄러 사용: 학습률 스케줄러를 사용하면 특정 에폭 또는 특정 지점에서 학습률을 조정할 수 있습니다. PyTorch에는 다양한 학습률 스케줄러가 내장되어 있습니다. 예를 들어 StepLR, ReduceLROnPlateau, CosineAnnealing 등이 있습니다. 이러한 스케줄러를 사용하여 학습률을 동적으로 조정할 수 있습니다.

import torch.optim as optim
from torch.optim.lr_scheduler import StepLR

# Optimizer 선언
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 학습률 스케줄러 선언
scheduler = StepLR(optimizer, step_size=10, gamma=0.1)

# Epoch 루프에서 학습률 스케줄링
for epoch in range(num_epochs):
    # 학습 및 역전파
    
    # 학습률 업데이트
    scheduler.step()

직접 학습률 조정: 직접 학습률을 조정하는 방법도 있습니다. 예를 들어, 특정 에폭마다 학습률을 절반으로 줄일 수 있습니다.

import torch.optim as optim

# Optimizer 선언
optimizer = optim.SGD(model.parameters(), lr=0.1)

# Epoch 루프에서 직접 학습률 조정
for epoch in range(num_epochs):
    # 학습 및 역전파
    
    # 특정 에폭마다 학습률 조절
    if epoch % 10 == 0:
        for param_group in optimizer.param_groups:
            param_group['lr'] *= 0.5

사용자 정의 스케줄링: 복잡한 학습률 스케줄링이 필요한 경우, 사용자 정의 스케줄링 함수를 작성하여 학습률을 동적으로 조정할 수도 있습니다. 이 경우에는 옵티마이저의 step 메서드를 호출할 때마다 학습률을 업데이트합니다.

import torch.optim as optim

# 옵티마이저 선언
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 사용자 정의 스케줄링 함수
def custom_scheduler(epoch):
    if epoch < 10:
        return 0.1
    elif epoch < 20:
        return 0.01
    else:
        return 0.001

# Epoch 루프에서 사용자 정의 스케줄링 함수 적용
for epoch in range(num_epochs):
    # 학습 및 역전파
    
    # 학습률 업데이트
    optimizer.param_groups[0]['lr'] = custom_scheduler(epoch)

이러한 방법을 사용하여 PyTorch에서 모델의 학습률을 동적으로 조절할 수 있습니다. 이렇게 하면 학습 알고리즘의 성능을 개선하고 더 나은 결과를 얻을 수 있을 것입니다.

더 자세한 내용은 PyTorch 공식 문서를 참조하십시오.