ML, DL 정리 블로그

이번 강의는 1차 도함수, 상수 계수 선형 방정식의 시스템을 푸는 것에 관한 내용입니다. 핵심 아이디어는 선형 방정식의 해가 지수라는 것입니다. - 저번 시간에는 거듭제곱을 계산했는데 이번에는 지수를 계산합니다. 어떤 양이 그 크기에 비례해서 커진다고 가정해보면 $\frac {dy}{dx} = ky$의 꼴이 나옵니다. 여기서 변수 분리를 이용해서 풀면 $y = Ce^{kx}$꼴의 지수함수가 나옵니다. 예시 인구수가 p일 때 시간에 따른 인구수 변화량에 대해 알아보려고 합니다. $\frac {dP}{dt} = kP$, 이전 인구 수와 어떤 상수를 곱하면 시간에 따른 인구 상승을 알 수 있습니다. 즉 인구 수의 변화량은 실제 인구 수와 비례합니다. 많은 인구수를 다룰 때 더 큰 비율이 적용됩니다. 이 조건들..

Gradient descent global minimum이나 global maximum이 아닌 가까운 local minumum이나 maximum을 찾는 방법입니다. 초기값에 따라 찾는 솔루션이 달라집니다. 복잡한 함수인 경우에는 초기값에 따라서 global minimum을 찾을 수 도 있습니다. convex function이라면 어느 점이든 상관이 없습니다. 동작 방식은 지금 내 위치에서 비용이 작아지는 방향으로 이동합니다. 이동하는 정도는 사용자가 정해줘야합니다. 그래서 알아야 하는 것들이 1. 기울기를 통해서 비용이 가파르게 내려가는 방향을 알아야 합니다. 2. 얼마나 내려갈 것인지 (step size) 방향은 단순하게 미분만 해도 알 수 있습니다. 초기값 $x_k$가 존재할 때 다음 지점은 $x_{..

최적화를 공부해야하는 이유는? - 어떤 변수가 존재하고 그 변수에 따른 비용이 존재할 때, 비용을 최저로 줄이는 변수를 찾을 수 있습니다. (효율적이다!) 지금 공부할 convex optimization은 convex 형태의 최적화 문제를 푸는 방법입니다. convex optimization에는 inequality와 equality라는 조건이 존재합니다. 이 조건들이 만족하는 범위내에서의 변수 중 가장 낮은 cost를 갖는 변수를 찾아야 합니다. 우리가 최적화할 함수를 표현할 때는 $min$ $f(x)$로 표현하고 object function이라고 부릅니다. 그리고 minimize할 때 제한 조건들(constraints)은 다음과 같습니다. 1. $subject$ $to$ $h(x) = 0$ (equal..

고유값에 대한 두 번째 강의입니다. 첫 번째 강의에서 핵심은 $Ax = \lambda x$ 였습니다. 여기서 $x$는 고유벡터이고 람다는 고유값입니다. 고유벡터와 고유값을 구한 다음 무엇을 해야할까요? 이것들을 잘 사용하는 방법 중 하나가 행렬의 대각화 입니다. 고유값과 고유벡터를 알면 행렬의 중요한 특성을 알 수 있는데 그 중 하나가 행렬의 대각화입니다. $S^{-1}AS = \Lambda$ ($\Lambda$는 대각행렬로 원소는 고유값으로 이루어져있습니다.) 이 식은 대각화에 대한 식입니다. 행렬 S는 A의 고유벡터들을 열에 가지고 있는 고유벡터 행렬입니다. 이 고유벡터 행렬은 가역행렬이여야 합니다. 즉 A의 고유벡터들로 이루어진 행렬 S가 가역행렬이여야 하니 A의 고유벡터들이 전부 선형독립이여야 합..

고유값(eigenvalue)와 고유벡터(eigenvector)은 무엇일까요? square matrix A가 존재한다고 해보겠습니다. 여기에 $x$벡터를 곱해 나온 결과 $Ax$는 대부분 $x$벡터가 가르키는 방향과 다른 방향을 가르키게 됩니다. 하지만 몇몇 경우에는 $Ax$와 $x$벡터가 평행한 경우가 있습니다. 이때 이 $x$벡터를 고유벡터라고 합니다. ($Eigenvector:$ $Ax$ $parallel$ $to$ $x$) $Ax$와 $x$는 평행하니까 $x$를 적절히 조절해 $Ax$와 같게 만들 수 있을 것입니다. $Ax = \lambda x$, 이때 $\lambda$를 고유값이라고 합니다. $A$는 $x$에 곱해져서 방향, 위치를 변환시키게 됩니다. 어떤 $A$를 곱하더라도 그 위치, 방향이 동..

이전 두 강에서 행렬식과 행렬식의 속성에 대한 공식을 얻기 위해서 공부했습니다. 행렬식은 모든 정보를 단일 숫자로 묶습니다. 몇 차원 행렬이든지 행렬식의 결과값은 스칼라 값입니다. 이것이 역행렬과 어떤 관계가 있을까요? $\left[\begin{matrix} a & b \\ c & d \end{matrix} \right]^{-1} = \frac 1 {ad - bc} \left[\begin{matrix} d & -b \\ -c & a \end{matrix} \right]$ $2 \times 2$ 행렬의 역에 대한 공식이 있습니다. 행렬식으로 교체된 행렬을 나눠주면 됩니다. 여기서 나눠지는 행렬의 1행 1열을 d를 보면 a의 cofactor라는 것을 알 수 있습니다. -b는 c의 cofactor이듯이 이 행..

우리가 이전 시간에 정리했던 행렬식(determinant)의 10가지 특성에 대해서 배웠습니다. 이 10개의 특성은 3개의 특성을 기반으로 나머지 특성들을 정의할 수 있습니다. 이 3개의 특성을 다시 정리해보겠습니다. 기반이 되는 주요 특성 첫 번째는 단위행렬의 determinant는 1이 나온다는 것이고 두 번째는 행 교환을 하면 부호가 바뀝니다. $ \begin{vmatrix} 1 & 0 \\ 0 & 1 \notag \end{vmatrix} = 1$, $ \begin{vmatrix} 0 & 1 \\ 1 & 0 \notag \end{vmatrix} = -1$ 세 번째는 다음과 같이 분리가 된다는 것입니다. $\begin{vmatrix} a & b \\ c & d \notag \end{vmatrix} $..

이제까지 rectangular matrix에 집중했기 때문에 이번에는 sqaure matrix에 대해서 공부해 보겠습니다. square matrix에서 행렬식이 필요한 가장 큰 이유는 고유값 때문입니다. 행렬식은 가끔 $det$ $A$ 또는 $|A|$로 표기되기도 합니다. 이 강의에서 이렇게 적혀있으면 행렬식을 의미하는 겁니다. 행렬식은 역할은 무엇일까요? - 역행렬이 존재하는지 안 하는지 구분할 수 있습니다. 행렬식 값이 0이 아닐 때는 역행렬이 존재하지만 0일 때는 역행렬이 존재하지 않습니다. $\left[\begin{matrix} a & b \\ c & d \end{matrix} \right] = ad - bc$ 다음과 같은 공식을 통해서 알 수 있습니다. 행렬식(determinant)의 특징 1...

이번 강의에서는 직교기저와 직교행렬 그리고 그람-슈미트에 대해서 배웁니다. 직교기저란 무엇일까요? q벡터라는 직교벡터가 존재할 때 이 q벡터가 다른 모든 직교벡터들과 직교를 한다면 직교기저라고 할 수 있습니다. 직교행렬 Q는 직교벡터 q들을 column으로 가지고있는 행렬입니다. Orthogonal matrices and Orthogonal basis 직교행렬의 성질로는 $Q^TQ = I$, 전치를 하면 역행렬이 나오는 성질을 가지고 있습니다. - 역행렬을 쉽게 구할 수 있다. 대표적인 직교행렬로는 어떤 것들이 있을까요? 1. 치환행렬 PermQ = $\left[\begin{matrix} 0 & 0& 1 \\ 1 & 0& 0 \\ 0 & 1& 0 \end{matrix} \right], \left[\beg..

이전 강의에 이어서 projection에 대해서 조금 더 강의가 진행됩니다. 우리가 $Ax = b$에서 b가 A의 column space에 존재하지 않는다면 $A \hat{x} = p$으로 가장 가까운 점에 투영시켜서 답을 찾았습니다. 만약 $Ax = b$에서 b가 A의 column space에 존재한다면 어떻게 될까요? $p = b$ $p^2 = p$ $pb = b$ 이러한 관계를 만족시키게 될 것입니다. p와 b가 직교한다면 $pb = 0$이 될 것입니다. column space에 수직으로 있는 차원은 null space이기 때문입니다. p와 b가 수직인 상태로 계속 설명해보겠습니다. 벡터 b를 투영한 p와 투영된 차원에 수직인 e를 더하면 b가 나옵니다. $p + e = b$ 저번 시간에 말했듯이 ..