전남대 유석봉교수팀

인공지능분야 Top-tier 컨퍼런스 논문 2편 승인

시선 추정 기술, 시각 지능분야

승인률 20%대 ‘ACCV 2022’에

전남대학교 인공지능융합학과 유석봉 교수 연구팀(시각지능미디어연구실)은 촬영된 얼굴 이미지로부터 시선 정보를 추정할 수 있는 시각지능 알고리즘을 제안하고 실험을 통해 정확도를 검증하였다.

일반적으로 시선을 포함하고 있는 이미지의 눈 영역은 낮은 해상도를 가지는 한계를 가지고 있고, 이러한 해상도 저하 문제는 카메라로부터 피사체간의 거리가 멀수록 더욱 심해진다. 이에 본 연구팀에서는 극심한 저해상도 및 조도 변화 환경에서도 강인한 시선추정 기술인 HAZE-Net을 제안하였다. 세부적으로 시선 고주파 집중 블록을 포함한 이미지 초해상도 신경망을 통하여 저해상도 문제를 해결하였고, 전역-지역 외모 맵 기반 시선 추정 신경망을 새롭게 제안하여 조도 및 인물 변화에 강건하도록 설계하였다. 이렇게 설계한 두 가지 신경망 파라미터를 제안하는 대안적 협력학습을 통해 최적화한 결과, 심지어 28×28 크기의 저해상도 얼굴 이미지에서도 비교적 안정적인 시선 추정 결과를 확보할 수 있었다. Haze-Net 기술 관련 ACCV 2022 승인논문 및 소스코드 링크는 arXiv에 공유되어 있다.

또한, 시선을 포함하는 얼굴 이미지의 경우 훈련 데이터와 검증 데이터의 특성이 상반되는 교차 도메인 환경에서 극심한 시선 추정 정확도 손실이 발생한다. 이에 따라 본 연구팀에서는 교차 도메인 환경에서 정확도가 보장될 수 있는 시선 추정 및 조작 기술인 LatentGaze를 제안하였다. 이 논문에서는 적대적 생성 신경망 기반 인코더-디코더를 이용하여 대상 이미지를 소스 이미지 공간으로 매핑 시키는 도메인 이동 모듈을 적용하여 교차 도메인 인식 성능을 안정화시켰다. 그리고 통계적인 접근 방식을 기반으로 시선에 유의미한 정보만을 선택하기 위한 이해가능한 시선 잠재코드 조작 모듈을 추가적으로 제안하여, 임의의 얼굴 이미지에 대하여 원하는 방향으로 시선을 자유롭게 변경시킬 수 있도록 구현하였다. LatentGaze 기술 관련 ACCV 2022 승인논문 및 소스코드 링크는 arXiv에 공유되어 있다.

위 2편의 연구논문은 올해 12월 마카오에서 개최하는 ACCV 2022 국제 컨퍼런스에서 공식적으로 발표될 예정이며, 인공지능융합학과 시각지능미디어연구실 윤준석 석사과정, 이이삭 석사과정 학생이 2편의 논문에 1저자로 각각 참여하였고, 유석봉 교수가 교신저자로 참여하였다.

※논문명:

[1] HAZE-Net: High-Frequency Attentive Super-Resolved Gaze Estimation in Low-Resolution Face Images

[2] LatentGaze: Cross-Domain Gaze Estimation through Gaze-Aware Analytic Latent Code Manipulation