ML, DL 정리 블로그

이번 강의는 $Ax = b$에 대한 복습을 해보겠습니다. Q1. u, v, w가 $R^7$에 존재하며 0이 아닌 벡터일 때 이 벡터가 가지는 sapn의 rank는? - 벡터가 3개 존재하니 최소 1차원, 최대 3차원입니다. (1 ~ 3차원) Q2. $5 \times 3$ shape의 u행렬이 존재하며 피벗은 3개일 때 이 행렬의 null space는? - 피벗이 3개이면 rank가 3이니 null space에 영벡터만 존재하게 됩니다. (1개) Q3. $10 \times 3$ B행렬의 사다리꼴 형태는 무엇일까? 이 행렬을 echelon form(사다리꼴 행) 이라고 가정해보겠습니다. $u, 2u$로 선형종속된 형태이니 소거를 진행해보면 한 가지 더 질문을 해보겠습니다. 이 행렬의 형태는 어떨까요? (Re..

여기서 배우는 그래프는 객체들의 관계를 나타내는 구조를 말합니다. 위의 사진을 보면 그래프는 노드(node)와 엣지(edge)로 이루어져 있습니다. 방향을 가지는 엣지는 directed graph 방향이 없으면 undirected graph라고 합니다. 방향이 있는 경우 -, +를 표현할 수 있습니다. - 노드는 사진에서 동그란 원 입니다. 그리고 그래프의 연결을 행렬로 표현할 수 있습니다. 위 사진을 표현하면 node = 4, edge = 5 이므로 $5 \times 4$ 형태의 행태인 행렬이 만들어집니다. edge가 column에 들어가는 방향인지 나오는 방향인지에 따라서 원소 부호가 정해지게 됩니다. 사진을 보면 노드들끼리 연결된 화살표들이 존재하는데 이런 연결 관계를 행렬로 표현할 수 있습니다. ..

행렬 공간이란 무엇일까? - 무수히 많은 행렬들이 모여 생성되는 공간, 하지만 아무 행렬이나 허용되는 것이 아니라 행렬들끼리 선형결합한 결과물이 같은 공간에 존재해야 합니다. 10강에서 벡터 공간에 대해서 이야기 했습니다. 이 행렬 공간도 벡터 공간이라고 할 수 있습니다. 위에서 말한 조건처럼 행렬끼리 선형결합을 해도 같은 공간에 위치하게 되어 벡터 공간의 조건을 만족하기 때문입니다. $3 \times 3$ 행렬을 가졌다고 해봅시다. 이제 이 행렬의 부분 공간으로는 1. Symmetic $3 \times 3$ (대칭행렬) 2. Upper triangular matrix $3 \times 3$ (상삼각행렬) 3. Diagonal matrix $3 \times 3$ (대각행렬) 이 강의에서 $S$는 대칭행렬..

4개의 주요 부분 공간은 아래와 같습니다. 1. column space $C(A)$ - column vector들의 선형 조합으로 형성되는 공간 - $m \times n$ 행렬에서 column space는 $R^m$ 공간에 존재합니다. 2. row space $C(A^T)$ (column을 사용하여 표현) - row vector들의 선형 조합으로 형성되는 공간 - $m \times n$ 행렬에서 row space는 $R^n$ 공간에 존재합니다. 3. null space $N(A)$ - $Ax = 0$을 만족시키는 x들의 선형 조합으로 형성되는 공간 - $m \times n$ 행렬에서 null space는 $R^n$ 공간에 존재합니다. 4. letf null space $N(A^T)$ - $m \times..

이번 강의에서는 선형독립(Independence), span, basis, 차원(Dimension)에 대해 배워보겠습니다. 열이 n개 이고 행이 m개 일 때 (n>m)인 행렬이 있다고 해보겠습니다. 이 행렬은 n이 m보다 크니 1개 이상의 free column이 존재할 것입니다. 그래서 free variable도 1개 이상 존재하게 되고 여기에 0이 아닌 임의의 값을 넣으면 $Ax = 0$를 만족하는 x값 중 0이 아닌 값을 찾게 됩니다. Linear independence 선형독립이란 벡터들이 존재할 때 모든 계수가 0인 경우를 제외하고 선형 조합으로 0을 만들 수 없을 때 그 벡터들을 독립이라고 합니다. 예를 들어 설명해보겠습니다. Q1. 다음과 같이 $v$와 $2v$가 존재할 때 이 두 벡터는 독립..

이번 강의에서도 선형 방정식을 푸는 방법에 대해 배워보겠습니다. $Ax = b$ $x_1 + 2x_2 + 2x_3 + 2x_4 = b_1$ $2x_1 + 4x_2 + 6x_3 + 8x_4 = b_2$ $3x_1 + 6x_2 + 8x_3 + 10x_4 = b_3$ 이전 강의에서 사용한 matrix인데 다음과 같이 방정식으로 풀어뒀습니다. 1, 2행을 더하면 3행이 나오는 행렬입니다. 이 행렬의 솔루션이 존재하는지 알아보겠습니다. 이 시스템에서 솔루션을 갖기 위해서는 $b_1, b_2, b_3$이 갖춰야 할 조건이 존재합니다. 만약 $b_1 = 1$ 그리고 $b_2 = 5$이라면 $b_3$는 6이 됩니다. - 그 이유는 첫 번째 두 번째 식을 더 했을 때 세 번째 식이 나오니 우변을 보면 $b_3 = b_1..

이번 강의에서 배울 내용들은 크게 3가지입니다. computing the null space($Ax = 0$) pivot variables - free variables special solution $Ax = 0$을 푸는 알고리즘은 무엇이 있을까요? 이 A 행렬의 column space와 row space에 대해서 생각해보겠습니다. 여기서 2열은 1열의 배수라는 것을 알 수 있습니다. 그리고 3행은 1, 2행의 합으로 나타낼 수 있습니다. - 전부 dependent 한 상태 $Ax = 0$을 소거를 통해 풀어보겠습니다. $\left[\begin{matrix} 2 & 4 & 6 & 8\end{matrix} \right] - 2 \left[\begin{matrix} 1 & 2 & 2 & 2\end{matr..

3차원 벡터라면 어떻게든 3차원 공간 안에 존재합니다. $R^3$의 부분공간은 다음과 같이 원점을 가지는 평면과 원점을 지나는 직선입니다. 평면을 P, 직선을 L이라고 하겠습니다. 그러면 $P \cup L$도 부분공간에 해당할까요? (아니요) - 선형결합의 규칙이 성립되지 않습니다. 임의의 상수를 곱하거나 공간 내의 다른 원소끼리 더해도 같은 공간에 존재해야 하는데, 각자 다른 공간에 있는 것들도 합친 것이기 때문에 불가능합니다. - 만약 직선이 평면 위에 존재하다면 가능할 것입니다. 이 경우 선형결합과 벡터 덧셈, 스칼라 곱을 해도 같은 벡터 공간에 존재하기 때문입니다. 사진속 평면과 직선은 원점만 공유하게 됩니다. 서로 다른 공간에 존재하지만 원점은 똑같이 지나갑니다. 여기 한 행렬이 있습니다. 이 ..

치환행렬 (Permuation matrix)은 P라고 표기하며 행 교환을 해줍니다. $PA = LU$ 행 교환이 이루지는 행렬에 대한 소거를 배워보겠습니다. P는 재정렬된 행이 있는 단위행렬입니다. 행을 교환할 수 있는 가짓수는 몇 개가 있을까요? 팩토리얼로 나타낼 수 있습니다. $n! = n(n-1) + ... + 2 + 1$ 이렇게 $n \times n$ 치환의 재정렬 가짓수를 계산할 수 있습니다. 치환행렬의 특징은 $P^{-1} = P^T$ 전치하면 역행렬을 구할 수 있어서 우리가 바꿨던 행들을 다시 원래대로 복구할 수 있습니다. 대칭행렬 (Symmetric matrices) 이 행렬은 전치를 통해서 행렬이 바뀌지 않습니다. 어떻게 하면 대칭행렬을 얻을 수 있을까요? 다음과 같은 rectangula..

저번 강의에서 우리는 소거를 통해 A행렬이 소거가 완료된 행렬 U로 이동한다는 것을 배웠습니다. 이번 시간에는 두 개의 연산을 진행하는 행렬을 소거해보겠습니다. $AB$의 역행렬을 구해봅시다. 개별적인 두 행렬의 역행렬을 구해야 합니다. 그리고 그 두 역행렬을 곱해야 하는데 곱하는 순서가 있습니다. 바로 역순으로 곱해줘야 합니다. $ABB^{-1}A^{-1} = AB(AB)^{-1}$ $A(BB^{-1})A^{-1} = AIA^{-1} = AA^{-1} = I$ 이렇게 역순으로 곱하게 되면 A와 A의 역행렬을 곱할 수 있게 됩니다. LU decomposition LU 분해는 행렬의 가장 기본적인 분해입니다. $A = LU$ 여기서 U는 A에 소거를 진행한 결과물입니다. 설명을 위해 행렬 A이 존재한다고 ..