[ML] 03. 머신러닝 모델 학습 프로세스

본 포스팅은 고려대학교 산업경영공학부 김성범 교수님의 유튜브 강의를 정리한 내용입니다.

유튜브 - 김성범[ 교수 / 산업경영공학부 ]

 

모델 학습의 핵심 아이디어

X(입력 변수)와 Y(출력 변수)의 관계를 찾는 것

수식으로 표현하면 아래와 같음.

 

파라미터(parameter)

w :   파라미터, 모수, 매개변수

X, Y 데이터가 주어졌을 때 파라미터 w를 구하는 것이 머신러닝의 핵심

ε = 0 이 되는 경우가 가상 이상적

 

손실함수(Loss Function)

실제 값과 추정 값의 차이 즉, 오차를 말함.

( i = 1,2 ,...,n )

 

비용 함수(Cost Function)

개별적인 오차를 정의하는 것이 손실함수라면 손실함수를 합이나 평균의 형식으로 나타낸 것이 비용함수(사실상 엄밀하게 구분하여 사용하지는 않음)

비용함수는 단순합으로 나타낼 경우 0이 되어 사라짐.

 

위의 상황을 방지하기 위해 보통 제곱을 취한 형식을 사용

 

 

파라미터 추정

비용함수를 최소로 하는 w를 찾는 것

 

 

모델별 파라미터 추정을 위한 알고리즘

• 다중선형회귀 모델 → Least Square Estimation Algoritm

• 로지스틱회귀 모델 →  Conjugate Gradient Algorithm

• 뉴럴네트워크 모델 →  Backpropagation Algorith

 

머신러닝 모델 학습 과정 요약

• 모델 결정하기 (Y를 표현하기 위한 X들의 조합 방식 결정)
• 모델을 구성하는 파라미터 찾기(모델의 핵심) → 가지고 있는 데이터를 이용하여 실제 데이터의 값과 최대한 같게 나오도록