ML, DL 정리 블로그

Gradient descent global minimum이나 global maximum이 아닌 가까운 local minumum이나 maximum을 찾는 방법입니다. 초기값에 따라 찾는 솔루션이 달라집니다. 복잡한 함수인 경우에는 초기값에 따라서 global minimum을 찾을 수 도 있습니다. convex function이라면 어느 점이든 상관이 없습니다. 동작 방식은 지금 내 위치에서 비용이 작아지는 방향으로 이동합니다. 이동하는 정도는 사용자가 정해줘야합니다. 그래서 알아야 하는 것들이 1. 기울기를 통해서 비용이 가파르게 내려가는 방향을 알아야 합니다. 2. 얼마나 내려갈 것인지 (step size) 방향은 단순하게 미분만 해도 알 수 있습니다. 초기값 $x_k$가 존재할 때 다음 지점은 $x_{..

최적화를 공부해야하는 이유는? - 어떤 변수가 존재하고 그 변수에 따른 비용이 존재할 때, 비용을 최저로 줄이는 변수를 찾을 수 있습니다. (효율적이다!) 지금 공부할 convex optimization은 convex 형태의 최적화 문제를 푸는 방법입니다. convex optimization에는 inequality와 equality라는 조건이 존재합니다. 이 조건들이 만족하는 범위내에서의 변수 중 가장 낮은 cost를 갖는 변수를 찾아야 합니다. 우리가 최적화할 함수를 표현할 때는 $min$ $f(x)$로 표현하고 object function이라고 부릅니다. 그리고 minimize할 때 제한 조건들(constraints)은 다음과 같습니다. 1. $subject$ $to$ $h(x) = 0$ (equal..