Efficient Visual Sentiment Detector using Knowledge Distillation

논문에서는 효율적 시각 감정 인식을 위해 지식 추출 방법을 사용하는 신경망 모델을 제안한다. 높은 성능을 위해 많은 수의 신경망 모델로 앙상블을 구성하거나 대규모의 단일 신경망 모델을 사용하여 대규모 훈련데이터로 훈련시키는 것은 흔한 일이다. 그러나 이러한 무거운 모델은 학습 단계 만큼은 아니지만 테스트 단계에서도 많은 자원을 필요로 하기 때문에, 이동식 기기 같은 저성능 장치에서는 사용에 제약을 받으며, 저성능 장치를 위한 작은 모델은 무거운 모델만큼 성능을 발휘할 수 없다. 이 문제를 해결하기 위하여 본 논문에서는 지식 추출을 통해 작은 모델의 성능을 개선하였다. 지식 추출 방법을 통해서 제안하는 작은 모델은 무거운 모델인 VGGNet과 비슷한 성능을 보일 수 있다. 빠르게 학습된 제안 모델은 앙상블 모델에 활용될 수 있으며 실시간 감정 인식기에도 기여할 것으로 기대된다.