ML, DL 정리 블로그

Convolution Network을 학습할 때 ImageNet의 도움을 받을 수 있습니다. ImageNet의 가중치를 가져와서 우리 모델에 적용하는 것이 Transfer learning 입니다. (이후에 우리의 문제에 알맞게 fine tuning을 진행하면 됩니다.) 다음과 같이 fine tuning을 어느 정도할 것인지 정할 수 있습니다. - 만약 가지고 있는 데이터가 너무 적다면 나머지 부분은 고정시키고 classfier 부분만 훈련시킵니다. - 데이터가 어느 정도 있다면 ImageNet 가중치를 가져와 모델의 초기값으로 사용합니다. 이제 Nerual Netowrk에 역사에 대해 알아보겠습니다. Neural Netowrk의 발전 초기에는 단순한 연산만을 할 수 있는 perceptron 으로 시작합니..

Backpropagation을 한 번에 계산하는 것은 불가능한 일입니다. 모델들이 너무 거대해서 계산 수가 너무 많기 때문입니다. 그래서 각 모델의 모듈별로 계산을 해줘야 합니다. 다음과 같은 방법으로 기울기를 구합니다. 정방향 진행 순전파는 fp, forward pass라고 하고 역방향 진행 역전파는 bp, backward pass라고 합니다. 그래서 bp를 구할 때는 출력단에서부터 내려오면 됩니다. $\frac {df} {df}$ : indentity function으로 자기 자신을 나누니 1이 나오게 됩니다. 이후에 $\frac {df} {dz}$를 구하고 $\frac {df} {dq}$를 구한 다음 체인 룰을 사용해서 구하면 됩니다. $\frac {df} {dy} = \frac {df} {dq} ..

score에 대한 부족한 부분을 가시화시켜주는 Loss function과 Loss function을 minimize 된 parameter를 찾아주는 Optimizer에 대해 알아보겠습니다. Loss function 중 SVM을 활용한 Hinge loss와 Softmax를 사용한 Cross entropy에 대해 알아보겠습니다. SVM - Hinge loss score가 $s = f(x, W)$라고 할 때 Loss 값은 파란색 네모와 같습니다. 0과 오른쪽 항 중에서 큰 것을 취하는 형식으로 Loss 값이 구해집니다. 여기서 $s_j$는 잘못된 label의 score $s_{y_i}$는 제대로 된 label의 score입니다. 여기서 1을 더해주는 데 이 값은 safety margin입니다. 고양이의 $s_..

Image classification image classification은 컴퓨터 비전의 핵심적인 작업 중 하나입니다. image classification이 가능하면 Detction, Segmentation, Image captioning 같은 작업들은 수월하게 진행할 수 있다고 합니다. 이미지를 분류하는데 있어서 문제점이 하나 있는데 바로 컴퓨터가 이미지를 볼때 3차원 배열의 값으로 인식하면서 생기는 semantic gap 문제입니다. Viewpoint variation: 보이는 각도에 따라 달라질 수 있는 문제 Illumination: 조명에 따라 픽셀 값의 변형 Deformation: 객체의 형태가 변형될 때 Occlusion: 객체가 숨어있어 일부분의 특징만 보일 Background clutt..