문제 정의 : 쇼핑몰 후기 사진 중 전신이 나온 사진 분류
사용 데이터 : 무신사 쇼핑몰 후기 사진
사용 기술 : Python, Keras, Pytorch
사용 방법론 : Grad-CAM, MobileNetV2, EfficientNet, ReXNet
Python
복사
빅데이터 연합동아리 투빅스에서 제 9회 컨퍼런스의 일환으로 진행된 프로젝트입니다.
맡은 역할 : 팀장, 프로젝트 기획, 데이터 Labelling, 모델링 일부
개요
온라인 스토어인 무신사에서는 판매하는 상품을 착용하고 찍은 사진을 공유하면 적립금을 제공합니다.
상품 사진이냐, 전신 사진이냐에 따라 금액이 달라지는데, 사람이 직접 보고 판별하는 시스템이었습니다.
딥러닝을 이용해 이 과정을 좀 더 쉽게 하면 어떨까 하는 발상에서 시작된 프로젝트입니다.
목표
1. 리뷰 사진이 전신샷인지 아닌지를 판별해내자
2. Grad - CAM을 이용해 추가적인 정보를 제공하자
Python
복사
주요 아이디어
데이터
쇼핑몰 리뷰 사진 약 3만장 크롤링후 직접 Labeling
Class = {
'Pass' : '전신샷인 사진',
'Fail' : '전신샷이 아닌 인물 사진'
}
# Pass와 Fail이 2:1의 비율 -> 상품 별로 비율을 맞추어 Train 데이터 구축
# Horizontal Filp만 사용해 학습
Python
복사
Fail : 어깨가 끝까지 나오지 않았다.
Pass : 어깨부터 발 끝까지 나왔다.
접근
Task 설정 :
•
Anomaly Detection
→ Pass / Fail 의 심각하게 편향되진 않았음, Class간 차이가 크지 않음
•
Pose Estimation
→ 어깨나 발 끝 같은 미세한 차이를 찾기 어려움
•
Image Classification
→ 채택 ! ( Binary Fine Grained Image Classification )
모델 :
•
요구 사항
1.
데이터가 많지 않음 → 전이 학습 필요
2.
Reference Time이 짧을 수록 좋음 → 가벼워야 함
3.
성능도 당연히 어느정도 보장 되어야 함
•
후보 모델
◦
MobileNet_v2
▪
가벼운 모델의 대명사 → Baseline의 개념으로 사용
◦
EfficientNet_B0 (SOTA)
▪
AutoML 및 Scale-up을 고려한 모델
◦
ReXNet x1.0 (New SOTA)
▪
2020/7 CLOVA에서 발표된 최신 SOTA 모델
결과
직접 Grad-CAM을 확인
ReXNet이 특징을 가장 세밀하게 추출한다고 판단
→ 최종 모델 채택 !