8. ONTO and ONE - TO - ONE

전사함수와 일대일 함수 (ONTO and ONE - TO - ONE) 

ONTO

 

ONTO는 공역(입력) = 치역(출력이 될 수 있는 애들)일 때 이 경우를 ONTO라고 부릅니다. 공역과 치역이 같을 때!

 

 

공역과 치역이 같을 때 필요한 최소한의 조건은 정의역이 치역 이상이어야 합니다.

 

 

즉 치역의 모든 원소를 한번 이상의 매핑이 필요합니다.

 

1. $R^3 \rightarrow R^2$

2. $R^2 \rightarrow R^3$

 

2번째의 경우에는 절대 전사함수가 될 수 없습니다. 위에서 말한 최소한의 조건을 만족시키지 못했기 때문입니다.

- 입력 Dimention이 출력 Dimention보다 작으면 안 됩니다.

 

$T ( \left [ \begin{matrix} 1 \\ 0 \end{matrix} \right] ) = \left [ \begin{matrix} 1 \\ 2 \\ 3 \end{matrix} \right] $

 

하지만 정의역의 원소가 많다고 해도 다 하나의 치역만 가리킨다면 ONTO가 될 수 없습니다. 이것을 Neural Network에 적용할 경우 다음과 같습니다.

 

csacademy에서 그린 그래프

 

 

ONE - TO - ONE

일대일 함수의 경우 ONTO일 필요는 없고 치역에서 화살을 맞은 원소들이 한 개만 존재할 때 성립됩니다.

- ONE - TO - ONE은 선형독립과 같은 의미입니다.

 

그렇기 때문에 

 

1. $R^3 \rightarrow R^2$

2. $R^2 \rightarrow R^3$

 

여기서 1번일 때는 일대일 함수가 될 수 없습니다. 정의역의 원소가 많아서 치역이 겹치게 되기 때문입니다.

 

- 1번은 다음과 같이 차원이 축소되는 경우

$T ( \left [ \begin{matrix} 1 \\ 0 \\0 \end{matrix} \right] ) = \left [ \begin{matrix} 1 \\ 2 \end{matrix} \right]$

 

$T ( \left [ \begin{matrix} 0 \\ 1 \\0 \end{matrix} \right] ) = \left [ \begin{matrix} 3 \\ 4 \end{matrix} \right]$

 

$T ( \left [ \begin{matrix} 0 \\ 0 \\ 1 \end{matrix} \right] ) = \left [ \begin{matrix} 5 \\ 6 \end{matrix} \right]$

 

3차원 벡터 원소 $x_1, x_2, x_3$을 다음과 같이 변환하는 것이 됩니다.

- 3차원 벡터가 2차원 벡터로 축소되는 모습

 

$T:y = Ax =  \left [ \begin{matrix} 1 && 3 && 5 \\ 2 && 4 && 8 \end{matrix} \right]  \left [ \begin{matrix} x_1 \\ x_2 \\ x_3 \end{matrix} \right]$

 

다음과 같이 3차원 벡터가 2차원 벡터에 화살표를 줬다면

- 똑같이 3차원 벡터를 2차원 벡터 축소하는 과정

 

$\left [ \begin{matrix} 1 && 3 && 5 \\ 2 && 4 && 8 \end{matrix} \right]  \left [ \begin{matrix} x_1 \\ x_2 \\ x_3 \end{matrix} \right] = \left [ \begin{matrix} 5 \\ 7 \end{matrix} \right]$

 

이것은 그냥 선형 방정식 꼴이 돼버립니다.

- 행렬을 곱해서 차원을 축소하는 과정은 선형 방정식으로 표현 가능!

 

$Ax = b$

 

출력값을 줘서 화살표를 구하는 과정이 곧 역함수를 구하는 방식과 동일합니다. 이때 이 2차원 벡터에 화살표를 쏜 3차원 벡터가 최소한 1개 이상은 있게 되고 그러면 위에 식을 만족하는 x값이 최소한 1개 이상 있다는 의미가 됩니다.

 

x가 unique 하냐 안 하냐가 바로 일대일 함수를 결정하게 됩니다. x벡터가 선형독립이면 unique 하고 아니라면 해가 여러 개가 존재하게 됩니다.

 

이때 2차원 공간을 3차원 벡터로 표현한다면 이미 중복된 벡터가 존재하게 되고 그러면 선형종속이 되어 해가 여러 개가 존재되어 일대일 함수가 되지 못하게 됩니다.

 

Fully - connected layers

 

 

Neural Network을 점차 위로 올라갈수록 유의미한 feature을 추출하는 과정입니다. 2번째 레이어를 본다면 과체중인 것과 키가 큰데 흡연을 하는 것 이 두 개를 조합해서 기대 수명을 찾습니다.

 

입력값에서는 자잘한 차이가 있지만 진행하면서 자잘한 차이를 없애는 과정이라고 생각할 수도 있습니다.