ML, DL 정리 블로그

이전 강의에 이어서 projection에 대해서 조금 더 강의가 진행됩니다. 우리가 $Ax = b$에서 b가 A의 column space에 존재하지 않는다면 $A \hat{x} = p$으로 가장 가까운 점에 투영시켜서 답을 찾았습니다. 만약 $Ax = b$에서 b가 A의 column space에 존재한다면 어떻게 될까요? $p = b$ $p^2 = p$ $pb = b$ 이러한 관계를 만족시키게 될 것입니다. p와 b가 직교한다면 $pb = 0$이 될 것입니다. column space에 수직으로 있는 차원은 null space이기 때문입니다. p와 b가 수직인 상태로 계속 설명해보겠습니다. 벡터 b를 투영한 p와 투영된 차원에 수직인 e를 더하면 b가 나옵니다. $p + e = b$ 저번 시간에 말했듯이 ..

이번 강의는 굉장히 중요한 내용입니다. 투영에 관한 강의인데 바로 b벡터를 a벡터에 투영해보겠습니다. 다음과 같이 다른 선상에 존재하는 두 벡터가 존재할 때 투영하는 방법에 대해서 알아보겠습니다. 우선 a선상에서 b벡터와 가장 가까운 점을 찾습니다. (이 점을 P라고 부릅니다.) 그리고 그 점과 b벡터를 연결하면 b에서 내려진 수선의 발과 a가 이루는 각도는 직교가 됩니다. 수선의 발을 e라고 했을 때 $e = b - p$가 됩니다. 벡터 p는 a벡터에 스칼라곱을 한 형태입니다. - $p = xa$ x는 임의의 상수 모든 핵심은 수선의 발 e와 a벡터가 이루는 각도가 수직이라는 것입니다. $a^T(b - xa) = 0$ $a^T(e) = 0$ - a와 e는 수직입니다. 우선 첫 번째 방정식을 풀어주겠습니..

$x_1y_1 +x_2y_2 = 0$ 이번 강의에서는 orthogonality에 대한 강의입니다. 벡터, 부분공간, 기저가 직교한다는 것은 어떤 의미일까요? 10강에서 사용했던 이미지를 다시 한번 봐보겠습니다. 이 이미지에서는 많은 정보를 얻을 수 있습니다. 각 space의 차원과 차원들이 이루는 각도에 대한 정보를 가지고 있는데 여기서 필요한 정보는 부분공간 사이의 각도가 90도가 된다는 것입니다. null space와 row space의 관게를 나타낼 때 사용하던 것이 $Ax = 0$ 이었습니다. 여기서 알 수 있듯이 직교성을 테스트하는 방법으로 내적을 활용한다는 것을 알 수 있습니다. 이제 벡터로 넘어가 보겠습니다. 다음과 같이 orthogonal한 x벡터와 y벡터가 존재할 때 n차원 공간에서 벡터..

이번 강의는 $Ax = b$에 대한 복습을 해보겠습니다. Q1. u, v, w가 $R^7$에 존재하며 0이 아닌 벡터일 때 이 벡터가 가지는 sapn의 rank는? - 벡터가 3개 존재하니 최소 1차원, 최대 3차원입니다. (1 ~ 3차원) Q2. $5 \times 3$ shape의 u행렬이 존재하며 피벗은 3개일 때 이 행렬의 null space는? - 피벗이 3개이면 rank가 3이니 null space에 영벡터만 존재하게 됩니다. (1개) Q3. $10 \times 3$ B행렬의 사다리꼴 형태는 무엇일까? 이 행렬을 echelon form(사다리꼴 행) 이라고 가정해보겠습니다. $u, 2u$로 선형종속된 형태이니 소거를 진행해보면 한 가지 더 질문을 해보겠습니다. 이 행렬의 형태는 어떨까요? (Re..

여기서 배우는 그래프는 객체들의 관계를 나타내는 구조를 말합니다. 위의 사진을 보면 그래프는 노드(node)와 엣지(edge)로 이루어져 있습니다. 방향을 가지는 엣지는 directed graph 방향이 없으면 undirected graph라고 합니다. 방향이 있는 경우 -, +를 표현할 수 있습니다. - 노드는 사진에서 동그란 원 입니다. 그리고 그래프의 연결을 행렬로 표현할 수 있습니다. 위 사진을 표현하면 node = 4, edge = 5 이므로 $5 \times 4$ 형태의 행태인 행렬이 만들어집니다. edge가 column에 들어가는 방향인지 나오는 방향인지에 따라서 원소 부호가 정해지게 됩니다. 사진을 보면 노드들끼리 연결된 화살표들이 존재하는데 이런 연결 관계를 행렬로 표현할 수 있습니다. ..

행렬 공간이란 무엇일까? - 무수히 많은 행렬들이 모여 생성되는 공간, 하지만 아무 행렬이나 허용되는 것이 아니라 행렬들끼리 선형결합한 결과물이 같은 공간에 존재해야 합니다. 10강에서 벡터 공간에 대해서 이야기 했습니다. 이 행렬 공간도 벡터 공간이라고 할 수 있습니다. 위에서 말한 조건처럼 행렬끼리 선형결합을 해도 같은 공간에 위치하게 되어 벡터 공간의 조건을 만족하기 때문입니다. $3 \times 3$ 행렬을 가졌다고 해봅시다. 이제 이 행렬의 부분 공간으로는 1. Symmetic $3 \times 3$ (대칭행렬) 2. Upper triangular matrix $3 \times 3$ (상삼각행렬) 3. Diagonal matrix $3 \times 3$ (대각행렬) 이 강의에서 $S$는 대칭행렬..

4개의 주요 부분 공간은 아래와 같습니다. 1. column space $C(A)$ - column vector들의 선형 조합으로 형성되는 공간 - $m \times n$ 행렬에서 column space는 $R^m$ 공간에 존재합니다. 2. row space $C(A^T)$ (column을 사용하여 표현) - row vector들의 선형 조합으로 형성되는 공간 - $m \times n$ 행렬에서 row space는 $R^n$ 공간에 존재합니다. 3. null space $N(A)$ - $Ax = 0$을 만족시키는 x들의 선형 조합으로 형성되는 공간 - $m \times n$ 행렬에서 null space는 $R^n$ 공간에 존재합니다. 4. letf null space $N(A^T)$ - $m \times..

이번 강의에서는 선형독립(Independence), span, basis, 차원(Dimension)에 대해 배워보겠습니다. 열이 n개 이고 행이 m개 일 때 (n>m)인 행렬이 있다고 해보겠습니다. 이 행렬은 n이 m보다 크니 1개 이상의 free column이 존재할 것입니다. 그래서 free variable도 1개 이상 존재하게 되고 여기에 0이 아닌 임의의 값을 넣으면 $Ax = 0$를 만족하는 x값 중 0이 아닌 값을 찾게 됩니다. Linear independence 선형독립이란 벡터들이 존재할 때 모든 계수가 0인 경우를 제외하고 선형 조합으로 0을 만들 수 없을 때 그 벡터들을 독립이라고 합니다. 예를 들어 설명해보겠습니다. Q1. 다음과 같이 $v$와 $2v$가 존재할 때 이 두 벡터는 독립..

이번 강의에서도 선형 방정식을 푸는 방법에 대해 배워보겠습니다. $Ax = b$ $x_1 + 2x_2 + 2x_3 + 2x_4 = b_1$ $2x_1 + 4x_2 + 6x_3 + 8x_4 = b_2$ $3x_1 + 6x_2 + 8x_3 + 10x_4 = b_3$ 이전 강의에서 사용한 matrix인데 다음과 같이 방정식으로 풀어뒀습니다. 1, 2행을 더하면 3행이 나오는 행렬입니다. 이 행렬의 솔루션이 존재하는지 알아보겠습니다. 이 시스템에서 솔루션을 갖기 위해서는 $b_1, b_2, b_3$이 갖춰야 할 조건이 존재합니다. 만약 $b_1 = 1$ 그리고 $b_2 = 5$이라면 $b_3$는 6이 됩니다. - 그 이유는 첫 번째 두 번째 식을 더 했을 때 세 번째 식이 나오니 우변을 보면 $b_3 = b_1..

이번 강의에서 배울 내용들은 크게 3가지입니다. computing the null space($Ax = 0$) pivot variables - free variables special solution $Ax = 0$을 푸는 알고리즘은 무엇이 있을까요? 이 A 행렬의 column space와 row space에 대해서 생각해보겠습니다. 여기서 2열은 1열의 배수라는 것을 알 수 있습니다. 그리고 3행은 1, 2행의 합으로 나타낼 수 있습니다. - 전부 dependent 한 상태 $Ax = 0$을 소거를 통해 풀어보겠습니다. $\left[\begin{matrix} 2 & 4 & 6 & 8\end{matrix} \right] - 2 \left[\begin{matrix} 1 & 2 & 2 & 2\end{matr..