[ML] 머신러닝 - TIL(11월 22일 오전)

목차

1. 최적화와 모형학습

2. 경사하강법 개요

3. 경사하강법 심화

 

1. 최적화와 모형학습

- 머신러닝의 최적화는 Loss(손실)을 최소화하는 모델을 찾는 것이다.

- 대부분의 데이터들은 3차원 이상의 복잡한 Loss function을 가지고 있다.

- 그에 맞는 함수를 사용하는 적합한 모델을 찾는 것도 중요하다.

 

2. 경사하강법 개요

경사하강법(Gradient Descent)은 처음에 random의 w로 시작하여 미분값이 0이되는 지점으로 한발자국씩 나아가간다. 미분값이 0이라는 것은 손실값이 0이라는 것인데 사실상 손실값 0 은 불가능에 가깝기 때문에 최대한으로 근접을 한 w값을 찾는 것이다.

 

3. 경사하강법 심화

3-1. Learning rate

learning rate는 미분값이 0인 곳으로 점차 나아가는 과정을 뜻하는데 이때 나아가는 보폭을 running step이라고 하며 running step에 따라 과적합이 일어날 수 있으므로 매우 중요한 설정장치이다.

3-2. Stochastic Gradient Descent

경사하강법의 단점인 느리다는 점을 보완한 경사하강법 기법으로 속도가 빠르다. 하지만 설정해줘야하는 Optimizer들이 많고 한 스텝 나아가기 위한 사이즈를 정하는 것이 어렵다.

 

3-3. Momentum

Momentum(관성)은 경사하강법의 여러 한계점을 개선한 심화 최적화 기법이다.