Acknowledgement
이 논문은 2023년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (2022-0-00043, 개성 형성이 가능한 에이전트 플랫폼 기술 개발)
Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)
- 2023.11a
- /
- Pages.601-604
- /
- 2023
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Predicting User Personality Based on Dynamic Keyframes Using Video Stream Structure
비디오 스트림 구조를 활용한 동적 키프레임 기반 사용자 개성 예측
- Mira Lee (Department of Electrical and Computer Engineering, Sungkyunkwan University) ;
- Simon S.Woo (Department of Computer Science & Engineering, Sungkyunkwan University) ;
- Hyedong Jung (Korea Electronics Technology Institute)
- Published : 2023.11.02
Abstract
기술이 발전함에 따라 복합적인 모달리티 정보를 포함하는 멀티미디어 데이터의 수집이 용이해지면서, 사람의 성격 특성을 이해하고 이를 개인화된 에이전트에 적용하고자 하는 연구가 활발히 진행되고 있다. 본 논문에서는 비디오 스트림 구조를 활용하여 사용자 특성을 예측하기 위한 동적 키프레임 추출 방법을 제안한다. 비디오 데이터를 효과적으로 활용하기 위해서는 무작위로 선택한 프레임에서 특징을 추출하던 기존의 방법을 개선하여 영상 내 시간에 따른 정보와 변화량을 기반으로 중요한 프레임을 선택하는 방법이 필요하다. 본 논문에서는 제 3자가 평가한 Big-five 지표 값이 레이블링된 대표적인 데이터셋인 First Impressions V2 데이터셋을 사용하여 외면에서 발현되는 특징들을 기반으로 영상에서 등장하는 인물들의 성격 특성을 예측했다. 결론에서는 선택된 키프레임에서 멀티 모달리티 정보를 조합하여 성격 특성을 예측한 결과와 베이스라인 모델과의 성능을 비교한다.
Keywords