[창업 프로젝트 plip] Food instance segmentation

모델 목표

• 매장에서 고객들이 고른 빵을 한 번에 결제하는 셀프서비스 매장 구현

 

 

다음과 같이 거치된 휴대폰에서 사진을 찍고 각 빵들을 분류하는데 겹친 빵들에 대해서는 제대로 된 분류가 나오지 않는 문제가 있습니다. 이런 문제를 해결하기 위해서 instance segmentation을 적용하기로 했습니다.

 

하지만 segmentation을 학습할 데이터도 없고 레이블링을 외주 맡기기도 애매했습니다. 그래서 instance segmentation 중 가장 비슷한 domain의 연구들의 모델이나 데이터를 찾아 적용해 보기로 했습니다.

 

 

1. Sib-Net

 

Food counting을 목표로 설계된 모델로 sibnet: food instance counting and segmentation에서 제안됬습니다.

• https://ink.library.smu.edu.sg/cgi/viewcontent.cgi?article=7955&context=sis_research

https://ink.library.smu.edu.sg/cgi/viewcontent.cgi?article=7955&context=sis_research

 

해당 모델을 사용한 이유는 bread와 유사한 cookie 데이터를 사용하여 학습한 가중치가 존재해 이 가중치를 바탕으로 추가적인 학습 한다면 좋지 않을까? 생각이 들어 고르게 됐습니다.

 

추가로 사용한 데이터 https://ieee-dataport.org/documents/food-instance-counting-and-segmentation

 

아래 데이터는 실제 task에서 사용할 데이터입니다.

 

 

 

Result

 

 

빵들의 일부분들이 겹쳐있을 때는 잘 분류하지만 첫 번째 사진과 같이 겹쳐진 면적이 보이는 면적보다 더 커지는 경우 분류가 잘 되지 않는 문제가 있었습니다.

 

그래도 전반적으로 실제 데이터가 아니라는 점과 Sid-Net이 현재 성능이 뛰어난 모델이 아니란 점을 감안하면 segmentation이 괜찮게 이루어졌다고 생각이 들었습니다.

 

현재 좋은 성능을 보이는 segmentation 모델인 SOLOv2에 빵 데이터를 넣어 학습하면 겹친 면적이 큰 빵의 텍스처도 잘 인식할 수 있을 것이라는 확신이 들었고 이 방향으로 계속 진행할 예정입니다.