ML, DL 정리 블로그

https://www.youtube.com/watch?v=QZekRr4xUAk&t=1s 논문을 읽다 보면 항상 제안된 방법들이 뛰어난 성능을 보인다는 내용들이 많았지만 실제로 문제에 적용하기 전까지는 제대로 된 성능이 나오는지 확인할 수 있는 방법이 없습니다. 이 영상에서는 직접 YOLOv5x 모델을 여러 경량화 기법들을 적용해서 좋은 성능을 보여준 방법들이 정리되어있습니다. 영상에서는 드론에 들어있는 디바이스에서 YOLOv5x 를 돌리는 것을 목표로 내용이 진행됩니다. 경량화를 진행한 경우 다음과 같은 이점들이 존재합니다. 전체적으로 비용이 감소하며, 성능이 증가합니다. 그러면 무조건 경량화 기법을 쓰면 성능이 증가하면 비용이 감소할까요? 우선 일부 경량화 방법은 하드웨어와 밀접한 관계를 가지고 있기 ..

시간에 지남에 따라 더 좋은 성능을 가진 모델들이 등장하고 있지만 논문의 저자가 Tensorflow Hub 사이트에서 사람들이 사용하는 모델의 다운로드 횟수를 찾아본 결과, 성능이 좋은 큰 모델보다 Resnet-50 모델과 같이 비교적 작고 저렴한 모델을 사용한 경우가 대부분이었습니다. - 실제 문제에 적용하기 위해서 모델을 고를 때 단순히 큰 모델이 적합하지 않을 수 있다. 큰 모델을 현실에서 사용하기 적합하도록 하는 방법 두 가지가 있는데 첫 번째는 pruning이고 두 번째가 knowledge distillation입니다. 여기서 pruning 같은 경우는 knowledge distillation보다 간단하게 적용할 수 있지만 model family 변경이 어렵다는 단점이 있습니다. - knowle..