[머신러닝] Multiple Linear Regression 2
Multiple Linear Regression(2)-Numpy&Pandas
앞에서 Preprocessing DataSet을 가지고 Numpy&Pandas를 가지고 Multiple Linear Regression 모델을 만들어 본다.
추가 Package
앞에서 만들어 둔 수치미분 파일을 가져온다.
from my_library.machine_learning_library import numerical_derivative
Training_data 정의
앞에서 preprocessing DataSet을
x_data,t_data(Label)로 나눠준다.
x_data = training_data.drop(['Ozone'], axis=1).values # numpy.dot을 이용해야 하므로 values만 가져온다.
t_data = training_data['Ozone'].values.reshape(-1,1) # 2차원으로 만들어준다.
Weight & Bias 초기값 설정
Weight과 Bias가 통합된
input_var를 random 값을 활용해 만들어준다.
input_var = np.random.rand(x_data.shape[1]+1,1)
Linear Model 정의 (Hypothesis)
Hypothesis 를 정의한다.
def hypothesis(input):
A = np.concatenate([x_data, np.full((x_data.shape[0],1),1,dtype=np.float64)], axis=1)
H = np.dot(A,input) + b
return H
Loss 함수 정의
위에서 정의한 Linear Model을 이용해 Loss 함수를 정의해준다.
def loss(input):
H = hypothesis(input) # Hypothesis
L = np.mean(np.power(H - t_data,2)) # Loss
return L
학습 진행
Learning Rate 를 정의 하고
forloop를 이용해 학습을 진행한다.
learning_rate = 1e-4
for step in range(300000):
input_var -= learning_rate * numerical_derivative(loss,input_var)
W = input_var[:-1]
b = input_var[-1,-1]
if step%30000 == 0:
print('W : {}, b : {}, loss : {}'.format(W.reshpae(1,-1), b, loss(input_var)))
## W : [[0.33774472 0.59702106 0.91244826]], b : 0.34576628035121904, loss : 1.6877422161418247
## W : [[0.14910521 0.14083617 0.76778394]], b : -0.09183588622570978, loss : 0.036627090537938514
## W : [[ 0.19253086 -0.00702312 0.80315532]], b : -0.07680314472571996, loss : 0.02797712392572623
## W : [[ 0.21942004 -0.10279433 0.81269906]], b : -0.0633375784216576, loss : 0.02446836282842487
## W : [[ 0.23580439 -0.16636131 0.80942587]], b : -0.05155711873369851, loss : 0.022914192186538677
## W : [[ 0.2455407 -0.20967655 0.80044323]], b : -0.04141812246897333, loss : 0.022153433439396877
## W : [[ 0.25109798 -0.23999601 0.78952631]], b : -0.032794111878912596, loss : 0.021743981070132583
## W : [[ 0.25405647 -0.26178006 0.77858967]], b : -0.02552252147410651, loss : 0.021506221637416126
## W : [[ 0.25542549 -0.27781357 0.76852548]], b : -0.019431720561419848, loss : 0.021360648301830012
## W : [[ 0.25584698 -0.28986825 0.75967754]], b : -0.014355943482384096, loss : 0.021268465653799314
예측하기
predict함수를 정의하고 data가 주어졌을때 오존량을 예측한다.
def predict(input_var, predict_data):
return np.dot(predict_data, input_var[:-1,:])+ input_var[-1]
predict_data_x = np.array([[150, 8, 65]]) # 태양관 : 150, 바람 : 8, 온도 : 65
predict_data_X = scaler_x.transform(predict_data_x) # normalization을 해준다.
result = predict(input_var, predict_data_x) # 예측
result = scaler_t.inverse_transform(result) # inverse normalizaion해 준다.
print(result)
## [[9.30144516]]