[창업 프로젝트 plip] 문제 접근

어떤 오브젝트의 텍스처를 인식하는 것은 어려운 문제이고 그 오브젝트의 형태가 정해져 있지 않다면 특히 더 어렵습니다.

빵 같은 경우에는 다양한 형태가 존재하기에 기존에 적용된 object detection 방법으로만은 인식하기 힘들다고 판단했고 다른 방법이 필요하다고 생각이 들었습니다.

 

비슷한 사업을 진행 중인 기업들을 살펴봤는데 각 기업들은 여러 방향으로 카메라를 달아 depth를 뽑아 3D 모델을 만들어 정확한 개수를 측정했습니다.

 

 

하지만 이 경우 여러 대의 카메라가 필요했기에 비용이 높았습니다. 저희 팀의 경우 스마트폰을 사용하여 접근도가 높고 초기 비용이 저렴하다는 경쟁력을 가지고 있기 때문에 해당 방법을 사용하는 것은 힘들다고 생각했습니다.

 

그렇기에 조금 더 세밀한 텍스처 인식이 가능한 instance segmentation 기술에 대해 공부했습니다.

 

 

Instance segmentation이란?

 

 

다음과 같이 같은 클래스여도 각각의 단일된 객체로 분할하는 방법을 말합니다.

 

 

 

독일의 auvisus라는 기업도 물건을 인식할 때 instance segmentation을 사용하여 겹친 물건을 나눈다고 합니다. 픽셀을 정밀하게 인식하여 물건을 각각 나누는데 도움이 된다고 합니다.

 

 

Instance segmentation survey 논문을 읽어보고 instance segmentation이 겹친 물건 결제 문제를 해결하는 좋은 방법이라고 생각하여 이 방향으로 프로젝트를 진행했습니다.

 

 

문제점

 

 

이미지는 존재하지만 각 픽셀들이 어떤 영역에 속하는지에 대한 데이터가 존재하지 않았습니다. 이러한 문제를 해결하기 위해서 Tensorflow hub에서 제공되는 비슷한 도메인으로 pretrained 모델을 가져와서 inference를 진행해봤지만 결과가 좋지 않았습니다.

 

모델을 바꿔보고 비슷한 도메인 데이터를 한번 찾아보기로 했습니다.