ML, DL 정리 블로그

이번 강의는 1차 도함수, 상수 계수 선형 방정식의 시스템을 푸는 것에 관한 내용입니다. 핵심 아이디어는 선형 방정식의 해가 지수라는 것입니다. - 저번 시간에는 거듭제곱을 계산했는데 이번에는 지수를 계산합니다. 어떤 양이 그 크기에 비례해서 커진다고 가정해보면 $\frac {dy}{dx} = ky$의 꼴이 나옵니다. 여기서 변수 분리를 이용해서 풀면 $y = Ce^{kx}$꼴의 지수함수가 나옵니다. 예시 인구수가 p일 때 시간에 따른 인구수 변화량에 대해 알아보려고 합니다. $\frac {dP}{dt} = kP$, 이전 인구 수와 어떤 상수를 곱하면 시간에 따른 인구 상승을 알 수 있습니다. 즉 인구 수의 변화량은 실제 인구 수와 비례합니다. 많은 인구수를 다룰 때 더 큰 비율이 적용됩니다. 이 조건들..

고유값에 대한 두 번째 강의입니다. 첫 번째 강의에서 핵심은 $Ax = \lambda x$ 였습니다. 여기서 $x$는 고유벡터이고 람다는 고유값입니다. 고유벡터와 고유값을 구한 다음 무엇을 해야할까요? 이것들을 잘 사용하는 방법 중 하나가 행렬의 대각화 입니다. 고유값과 고유벡터를 알면 행렬의 중요한 특성을 알 수 있는데 그 중 하나가 행렬의 대각화입니다. $S^{-1}AS = \Lambda$ ($\Lambda$는 대각행렬로 원소는 고유값으로 이루어져있습니다.) 이 식은 대각화에 대한 식입니다. 행렬 S는 A의 고유벡터들을 열에 가지고 있는 고유벡터 행렬입니다. 이 고유벡터 행렬은 가역행렬이여야 합니다. 즉 A의 고유벡터들로 이루어진 행렬 S가 가역행렬이여야 하니 A의 고유벡터들이 전부 선형독립이여야 합..

고유값(eigenvalue)와 고유벡터(eigenvector)은 무엇일까요? square matrix A가 존재한다고 해보겠습니다. 여기에 $x$벡터를 곱해 나온 결과 $Ax$는 대부분 $x$벡터가 가르키는 방향과 다른 방향을 가르키게 됩니다. 하지만 몇몇 경우에는 $Ax$와 $x$벡터가 평행한 경우가 있습니다. 이때 이 $x$벡터를 고유벡터라고 합니다. ($Eigenvector:$ $Ax$ $parallel$ $to$ $x$) $Ax$와 $x$는 평행하니까 $x$를 적절히 조절해 $Ax$와 같게 만들 수 있을 것입니다. $Ax = \lambda x$, 이때 $\lambda$를 고유값이라고 합니다. $A$는 $x$에 곱해져서 방향, 위치를 변환시키게 됩니다. 어떤 $A$를 곱하더라도 그 위치, 방향이 동..

이전 두 강에서 행렬식과 행렬식의 속성에 대한 공식을 얻기 위해서 공부했습니다. 행렬식은 모든 정보를 단일 숫자로 묶습니다. 몇 차원 행렬이든지 행렬식의 결과값은 스칼라 값입니다. 이것이 역행렬과 어떤 관계가 있을까요? $\left[\begin{matrix} a & b \\ c & d \end{matrix} \right]^{-1} = \frac 1 {ad - bc} \left[\begin{matrix} d & -b \\ -c & a \end{matrix} \right]$ $2 \times 2$ 행렬의 역에 대한 공식이 있습니다. 행렬식으로 교체된 행렬을 나눠주면 됩니다. 여기서 나눠지는 행렬의 1행 1열을 d를 보면 a의 cofactor라는 것을 알 수 있습니다. -b는 c의 cofactor이듯이 이 행..

우리가 이전 시간에 정리했던 행렬식(determinant)의 10가지 특성에 대해서 배웠습니다. 이 10개의 특성은 3개의 특성을 기반으로 나머지 특성들을 정의할 수 있습니다. 이 3개의 특성을 다시 정리해보겠습니다. 기반이 되는 주요 특성 첫 번째는 단위행렬의 determinant는 1이 나온다는 것이고 두 번째는 행 교환을 하면 부호가 바뀝니다. $ \begin{vmatrix} 1 & 0 \\ 0 & 1 \notag \end{vmatrix} = 1$, $ \begin{vmatrix} 0 & 1 \\ 1 & 0 \notag \end{vmatrix} = -1$ 세 번째는 다음과 같이 분리가 된다는 것입니다. $\begin{vmatrix} a & b \\ c & d \notag \end{vmatrix} $..

이제까지 rectangular matrix에 집중했기 때문에 이번에는 sqaure matrix에 대해서 공부해 보겠습니다. square matrix에서 행렬식이 필요한 가장 큰 이유는 고유값 때문입니다. 행렬식은 가끔 $det$ $A$ 또는 $|A|$로 표기되기도 합니다. 이 강의에서 이렇게 적혀있으면 행렬식을 의미하는 겁니다. 행렬식은 역할은 무엇일까요? - 역행렬이 존재하는지 안 하는지 구분할 수 있습니다. 행렬식 값이 0이 아닐 때는 역행렬이 존재하지만 0일 때는 역행렬이 존재하지 않습니다. $\left[\begin{matrix} a & b \\ c & d \end{matrix} \right] = ad - bc$ 다음과 같은 공식을 통해서 알 수 있습니다. 행렬식(determinant)의 특징 1...

이번 강의에서는 직교기저와 직교행렬 그리고 그람-슈미트에 대해서 배웁니다. 직교기저란 무엇일까요? q벡터라는 직교벡터가 존재할 때 이 q벡터가 다른 모든 직교벡터들과 직교를 한다면 직교기저라고 할 수 있습니다. 직교행렬 Q는 직교벡터 q들을 column으로 가지고있는 행렬입니다. Orthogonal matrices and Orthogonal basis 직교행렬의 성질로는 $Q^TQ = I$, 전치를 하면 역행렬이 나오는 성질을 가지고 있습니다. - 역행렬을 쉽게 구할 수 있다. 대표적인 직교행렬로는 어떤 것들이 있을까요? 1. 치환행렬 PermQ = $\left[\begin{matrix} 0 & 0& 1 \\ 1 & 0& 0 \\ 0 & 1& 0 \end{matrix} \right], \left[\beg..

이전 강의에 이어서 projection에 대해서 조금 더 강의가 진행됩니다. 우리가 $Ax = b$에서 b가 A의 column space에 존재하지 않는다면 $A \hat{x} = p$으로 가장 가까운 점에 투영시켜서 답을 찾았습니다. 만약 $Ax = b$에서 b가 A의 column space에 존재한다면 어떻게 될까요? $p = b$ $p^2 = p$ $pb = b$ 이러한 관계를 만족시키게 될 것입니다. p와 b가 직교한다면 $pb = 0$이 될 것입니다. column space에 수직으로 있는 차원은 null space이기 때문입니다. p와 b가 수직인 상태로 계속 설명해보겠습니다. 벡터 b를 투영한 p와 투영된 차원에 수직인 e를 더하면 b가 나옵니다. $p + e = b$ 저번 시간에 말했듯이 ..

이번 강의는 굉장히 중요한 내용입니다. 투영에 관한 강의인데 바로 b벡터를 a벡터에 투영해보겠습니다. 다음과 같이 다른 선상에 존재하는 두 벡터가 존재할 때 투영하는 방법에 대해서 알아보겠습니다. 우선 a선상에서 b벡터와 가장 가까운 점을 찾습니다. (이 점을 P라고 부릅니다.) 그리고 그 점과 b벡터를 연결하면 b에서 내려진 수선의 발과 a가 이루는 각도는 직교가 됩니다. 수선의 발을 e라고 했을 때 $e = b - p$가 됩니다. 벡터 p는 a벡터에 스칼라곱을 한 형태입니다. - $p = xa$ x는 임의의 상수 모든 핵심은 수선의 발 e와 a벡터가 이루는 각도가 수직이라는 것입니다. $a^T(b - xa) = 0$ $a^T(e) = 0$ - a와 e는 수직입니다. 우선 첫 번째 방정식을 풀어주겠습니..

$x_1y_1 +x_2y_2 = 0$ 이번 강의에서는 orthogonality에 대한 강의입니다. 벡터, 부분공간, 기저가 직교한다는 것은 어떤 의미일까요? 10강에서 사용했던 이미지를 다시 한번 봐보겠습니다. 이 이미지에서는 많은 정보를 얻을 수 있습니다. 각 space의 차원과 차원들이 이루는 각도에 대한 정보를 가지고 있는데 여기서 필요한 정보는 부분공간 사이의 각도가 90도가 된다는 것입니다. null space와 row space의 관게를 나타낼 때 사용하던 것이 $Ax = 0$ 이었습니다. 여기서 알 수 있듯이 직교성을 테스트하는 방법으로 내적을 활용한다는 것을 알 수 있습니다. 이제 벡터로 넘어가 보겠습니다. 다음과 같이 orthogonal한 x벡터와 y벡터가 존재할 때 n차원 공간에서 벡터..