[논문 리뷰] GhostNet: More Features from Cheap Operations, CVPR 2020

저번에 발표된 논문은 GhostNet: More Features from Cheap Operations, CVPR 2020 입니다. 이 논문에서는 Feature Map 중복(Redundancy)에 대해서 조금 더 간단하게 만들기 위한 방법을 제안합니다. 중복된 피쳐들은 성공적인 딥러닝 모델의 특징입니다.

 

Ghost Feature(중복 피쳐)를 Linear transformation을 통해서 만드는 방법을 사용하여 생성하게 되는데 이 방법은 기존 방법(Convolution)에 비해 연산량이 적습니다.

 

한 가지 이미지에 대해 중복되는 피쳐(중요한 특징)들이 나오는 것을 볼 수 있습니다.

 

Ghost Feature은 유사한 두 이미지가 유령사진처럼 보인다고 해서 Ghost라고 부릅니다. 이런 이미지들을 비용이 비싼 Convolution 연산으로 구하는 것이 아니라 Linear Transfer을 사용하여 만들어 내는 것이 핵심 아이디어 입니다.

 

 

기존 컨볼루션 연산과 Chost module을 비교한 것입니다. Conv 연산의 결과로 나오는 피쳐의 갯수는 줄이고 Linear transformation을 통해 Ghost 피쳐들을 만들어냅니다. (Conv 연산으로 만드는 과정을 일부 생략하여 진행)

 

- 몇 번 conv 연산을 통해 feature map을 만들고 그 중에서 겹치는 것을 따로 Linear transformation으로 만드는 것인가?

 

 

- Linear transform 과정의 수식으로 m = Intrinsic feature의 갯수, s = Linear transform의 갯수

- 마지막 Linear transform은 identity mapping 입니다. (기존 피쳐를 보존하기 위해)

 

속도 향상, 압축량은 S (Linear Transform의 갯수)와 비례합니다.

 

Ghost bottleneck

 

Ghostnet 구조

 

Figure1에서 각 색깔 별 피쳐 한 쌍 중 하나를 input, 하나를 output으로 하고 Linear Transform은 Depthwise Convolution으로 설정하여 간단한 실험을 진행했습니다. (다른 연산들도 가능하겠지만 Convolution 연산은 이미 하드 웨어, 라이브러리등에서 최적화 지원을 받기 때문에 더 좋다고 판단했지만 관련 비교 실험은 없습니다.)

 

• d : Linear transform의 필터 사이즈
• 모든 d에 대해서 input, output의 MSE가 '매우' 작게 나타남 → 딥러닝 모델에서의 피쳐는 서로 매우 강한 상관관계가 있으며, 이러한 중복피쳐들은 기존의 피쳐들을 통해 생성할 수 있다는 것 증명

Ghost Module을 통해 생성된 피쳐들

 

성능

 

 

내 생각

- 중복된 피쳐가 중요한 이유는 그 이미지를 대표하는 특징이기에 여러번 중복되어 나타난다고 생각합니다. 그렇기 때문에 이러한 피쳐들은 모델 성능에 많은 영향을 줍니다.

 

- 피쳐의 다양성과 성능 = 그 이미지를 표현하는 여러 개의 피쳐가 존재할 때 그 중 비중이 큰 피쳐들로 그 이미지를 표현할 수 있는 것이 경량화 목적에 알맞다고 생각합니다. 약간 SVD 같이 중요도가 높은 특징들을 뽑아내는 느낌?

 

- 기존 필터를 사용하여 Depthwise convolution을 진행한다고 했는데 그러면 중복된 정보를 뽑아내는 필터로 Depthwise convolution을 한다는 이야기인지?