• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.1455-1456
• /
• 2013

최근 스마트 이동단말에 장착된 영상 센서를 통해 획득한 영상에서 실시간으로 사용자의 눈을 인식하거나 시선을 추적하여 콘텐츠 제어, 행태 분석 등을 수행하는 기술에 대한 필요성이 증가하고 있다. 기존의 영상 분석 기반 시선 추적 기술은 고가의 시선 추적기를 기반으로 하며, 추적한 시선 좌표를 통해 실제 응시객체를 분석하는 사후 작업이 필요하다. 이에, 본 논문에서는 OpenCV를 기반으로 스마트 이동단말의 전면에 장착된 영상 센서에서 사용자의 눈을 인식하고, 시선을 추적한 후, 이를 실시간으로 시선 좌표와 화면의 콘텐츠 내 객체 영역을 매칭함으로써, 응시객체를 분석하는 스마트 이동단말 기반 시선 추적기를 설계하였다. 본 논문의 시선 추적기는 시선 추적을 수행하기 위해, 사용자에게 5개의 화면 교정점을 제공하고 응시하도록 하여 시선 추적 범위를 측정한다. 또한, 스마트 이동단말에 내장된 자이로스코프 센서를 통해 기울기가 변경될 시, 이를 반영하여 시선 교정을 수행하도록 설계하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.812-814
• /
• 2022

제어할 사물을 선택하기 위해 여러 단계를 거쳐야 하는 기존 '스마트 홈'의 단점을 보완하고자 본 논문에서는 사용자의 시선 방향을 추정하여 사용자가 바라보는 방향에 있는 사물을 제어할 수 있는 시스템을 제안한다. 일반 RGB 카메라를 통해 Pose Estimation으로 추출한 Landmark들의 좌표 값을 이용하여 시선 방향을 추정하는 알고리즘을 구현하였으며, 이는 근적외선 카메라와 Gaze Tracking 모델링을 통해 이루어지던 기존의 시선 추적 기술에 비해 가벼운 데이터를 산출하고 사용자와 센서간의 위치 제약이 적으며 별도의 장비를 필요로 하지 않는다. 해당 알고리즘으로 산출한 시선 추적의 정확도가 실제 주거환경에서 사용하기에 실효성이 있음을 실험을 통해 입증하였으며, 최종적으로 이 알고리즘을 적용하여 적외선 기기와 Google Home 제품에 사용할 수 있는 시선 방향 사물 제어 시스템을 구현하였다.

• 한국통신학회논문지
• /
• 제26권10B호
• /
• pp.1390-1398
• /
• 2001

시선 위치 추적이란 사용자가 모니터 상의 어느 지점을 쳐다보고 있는 지를 파악해 내는 기술이다. 시선 위치를 파악하기 위해 본 논문에서는 2차원 카메라 영상으로부터 얼굴 영역 및 얼굴 특징점을 추출한다. 초기에 모니터상의 3 지점을 쳐다볼 때 얼굴 특징점들은 움직임의 변화를 나타내며, 이로부터 카메라 보정 및 매개변수 추정 방법을 이용하여 얼굴특징점의 3차원 위치를 추정한다. 이후 사용자가 모니터 상의 또 다른 지점을 쳐다볼 때 얼굴 특징점의 변화된 3차원 위치는 3차원 움직임 추정방법 및 아핀변환을 이용하여 구해낸다. 이로부터 변화된 얼굴 특징점 및 이러한 얼굴 특징점으로 구성된 얼굴평면이 구해지며, 이러한 평면의 법선으로부터 모니터 상의 시선위치를 구할 수 있다. 실험 결과 19인치 모니터를 사용하여 모니터와 사용자까지의 거리를 50∼70cm정도 유지하였을 때 약 2.08인치의 시선위치에러 성능을 얻었다. 이 결과는 Rikert의 논문에서 나타낸 시선위치추적 성능(5.08cm 에러)과 비슷한 결과를 나타낸다. 그러나 Rikert의 방법은 모니터와 사용자 얼굴까지의 거리는 항상 고정시켜야 한다는 단점이 있으며, 얼굴의 자연스러운 움직임(회전 및 이동)이 발생하는 경우 시선위치추적 에러가 증가되는 문제점이 있다. 동시에 그들의 방법은 사용자 얼굴의 뒤 배경에 복잡한 물체가 없는 것으로 제한조건을 두고 있으며 처리 시간이 상당히 오래 걸리는 문제점이 있다. 그러나 본 논문에서 제안하는 시선 위치 추적 방법은 배경이 복잡한 사무실 환경에서도 사용가능하며, 약 3초 이내의 처리 시간(200MHz Pentium PC)이 소요됨을 알 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 추계학술대회
• /
• pp.151-154
• /
• 2012

본 논문에서는 화상통신의 현실감을 증진시킬 수 있는 화자 간 시선 맞춤 시스템을 제안한다. 제안하는 방법은 Kinect 거리 카메라로부터 입력된 영상에서 화자의 얼굴 영역을 획득하여 화자의 시선이 카메라를 응시하도록 획득한 영역을 변환한 후에 원본 영상과 합성한다. Kinect 거리 카메라에서 획득한 얼굴 영역에는 다양한 형태의 잡음이 많아 미디언 필터와 모폴로지 연산을 통해 얼굴 영역의 잡음을 제거한다. 화자의 위치에 상관 없이 화자가 카메라를 응시하는 영상을 생성하기 위해서 Kinect 가 제공하는 거리 정보를 이용하여 시선 보정 각도와 회전 축을 획득한다. 시선이 보정된 얼굴 영역은 원본 영상에서 존재하지 않는 영역을 포함하고 있기 때문에, 원본 영상의 각 화소를 삼각형 메쉬로 구성한 후 해당 영역을 보간하여 최종적으로 시선이 보정된 영상을 생성한다. 제안하는 방법은 시선 맞춤 영상을 생성하는 데 필수적인 눈과 주변 얼굴 영역만 선택해서 변환하므로 영상의 왜곡이 적고 실시간 처리가 가능하다는 장점이 있다. 또한 카메라와 화자 사이의 거리 정보를 이용해 화자의 위치에 적응적인 시선 맞춤 영상을 생성할 수 있다. 실험을 통해 Intel i5 CPU 를 장착한 PC에서 $320{\times}240$ 크기의 영상을 사용할 경우 초당 약 35 프레임의 보정된 영상을 생성하여 제안하는 방법이 실시간 처리가 가능하다는 것을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제1권3호
• /
• pp.195-200
• /
• 2012

카메라의 시선을 조정하기 위해서는 비전 시스템의 시스템 파라미터를 사용해야 한다. 하지만 이러한 시스템 파라미터는 측정 당시와 사용중이 달라 질 수 있다. 이 경우 원하는 카메라의 시선 조정이 이루어지기 어렵다. 이 문제를 보완하기 위한 방법으로서 본 연구에서는 LMI(Linear Matrix Inequality)에 기반한 비전 시스템의 시스템 파라미터의 변화에 강건한 시선 고정 방법을 제안한다. 시뮬레이션 검증 결과는 제안하는 방법이 기존의 선형 알고리즘에 비해 더 적은 시선 추적 에러를 보이고, 기존의 비선형 알고리즘에 비해 더 안정적인 시선 추적 에러를 보인다. 또한 제안하는 방법은 속도가 빨라서 실시간 사용이 가능하다.

• 디자인학연구
• /
• 제17권2호
• /
• pp.23-32
• /
• 2004

본 연구는 사용자의 시지각 프로세스에 대한 분석을 통해 시선추적 과정을 이해하고, 인간의 정보처리 모델을 기반으로 휴리스틱 가이드라인을 도출하여, 실무에서 적용할 수 있는 인터페이스 디자인의 일반적인 원리를 발견하는 것에 목적이 있다. 이를 위해 인간의 시각 특성을 이용한 시선추적 시스템을 실험에 적용하여, 상향처리와 하향처리의 시지각 프로세스를 파악하고 인간의 정보처리 모델을 근거로 디자인을 위한 적용점을 분석하였다. 사례 연구로 인터랙티브 미디어를 실험하여 시선의 동선 및 고정점을 통해 사용자의 관심을 확인하고, 사용자의 인지과정을 이해하기 위한 단서를 효과적으로 얻을 수 있었다 그리고, 인간 행위의 각 단계와 정보처리 모델을 기반으로 다섯 가지의 휴리스틱 가이드라인을 도출하였으며, 이를 통하여 디자인 실무에서 직접 적용할 수 있는 인터페이스 디자인의 일반적인 원칙을 발견할 수 있었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 1998년도 제10회 한글 및 한국어 정보처리 학술대회
• /
• pp.177-185
• /
• 1998

한글의 가로쓰기와 세로쓰기 체계의 상대적 효율성을, 글을 읽을 때 관찰되는 시선 이동을 측정하여 비교하였다. 실험 1에서는 동일한 글을 가로와 세로 방향으로 제시하고, 글을 읽는 동안 시선 운동(머리 운동과 안구 운동의 합)을 공막탐지코일법(scleral search coil method)으로 측정하였다. 가로글 읽기의 경우, 시선도약(saccade)의 크기가 더 컸으며, 동일한 크기의 도약운동을 비교할 때, 세로글 읽기에 비해 상대적으로 도약운동의 속도가 높았다. 평균 고정기간(fixation duration)은 글의 읽기 방향에 따른 유의미한 차이를 보이지 않았다. 시선 도약크기와 도약운동 속도에서의 차이는 가로글을 읽는 속도를 높여 글을 읽는 시선 이동의 효율성이 가로글에서 상대적으로 높았다. 실험 2에서는 팔의 읽기 방향에 따른 시선 이동 변수에서의 차이가 글자극의 독특한 자극 특성에 기인한 것인지 혹은 시각 및 안구 운동 체계에서의 차이를 반영하는 것인지를 결정하고자 하였는데, 의미정보가 없는 점자극을 수평과 수직방향으로 제시하고, 방향에 따른 시선 이동의 차이가 글자극을 사용한 경우와 동일하게 나타나는지를 보았다. 점자극에서도 수평 방향의 시선도 약 운동이 보다 크고 정확한 경향성이 있었다. 이 결과는 사람의 시각 운동 체계가 수평 방향의 시선 이동에 대해 선호성을 보이고 있으며, 이러한 시각 및 안구 운동 체계에서의 차이가 글을 읽는 행동에도 반영되고 있음을 보여준다.

• 정보처리학회논문지B
• /
• 제17B권1호
• /
• pp.1-8
• /
• 2010

시선 인식에 관한 연구는 현재 사용자가 응시하고 있는 위치를 파악하는 것으로 많은 응용 분야를 가지며 지속적으로 발전되어 왔다. 기존의 시선 인식에 관한 대부분의 연구는 적외선 LED 및 카메라, 고가의 헤드마운티드 장비 등을 이용하였기 때문에 범용 사용에 문제점을 가지고 있다. 이에 본 논문에서는 한 대의 PC용 웹 카메라를 사용한 SVM(Support Vector Machine) 기반의 시선 인식 시스템을 제안하고 구현한다. 제안한 시스템은 4방향과 9방향의 시선을 인식하기 위해 모니터를 가로 6, 세로 6, 총 36개의 시선 위치로 나누어 각각 9개, 4개씩 그룹핑 및 학습하여 사용자의 시선을 인식한다. 또한, 시선 인식의 성능을 높이기 위해 차영상 엔트로피를 이용한 영상 필터링 방법을 적용한다. 제안한 시스템의 성능을 평가하기 위하여 기존에 제시되었던 차영상 엔트로피 기반의 시선 인식 시스템, 눈동자 중심점과 눈의 끝점을 이용한 시선 인식 시스템, PCA 기반의 시선 인식 시스템을 구현하고 비교 실험을 수행하였다. 실험 결과 본 논문에서 제안한 SVM 기반의 시선 인식 시스템이 4방향은 94.42%, 9방향은 81.33%의 인식 성능을 보였으며, 차영상 엔트로피를 이용한 영상 필터링 방법을 적용하였을 경우에 4방향은 95.37%, 9방향은 82.25%의 성능을 보여 기존의 시선 인식 시스템보다 높은 성능을 나타내었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.792-794
• /
• 2016

본 논문은 멀티미디어 콘텐츠 제공자, 소비자 사이의 양방향 서비스를 효율적으로 제공하기 위해 소비자의 시선추적을 통한 데이터 분석 방법을 제안한다. 멀티미디어 콘텐츠를 여러 개의 객체로 분류하여 제공자의 의도를 표현하고 임의의 좌표 값으로 소비자의 시선을 대체한다. 소비자 시선과 제공자의 의도를 비교하여 소비형태 분석 데이터를 얻을 수 있다. 이 데이터를 활용하여 멀티미디어 콘텐츠 화면을 재구성하거나 콘텐츠 인터페이스를 구성한다면 소비자 맞춤형 멀티미디어 콘텐츠 서비스 제공이 가능할 것이라 기대한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.1518-1519
• /
• 2015

오늘날 우리는 소비자 중심시대에 살고 있다. 이로 인해 소비자에게 맞춤형 서비스를 제공하는 연구 사례가 증가하고 있다. 본 논문에서는 멀티미디어 콘텐츠를 시청하는 사용자의 시선 추적을 통해 사용자마다 알맞은 서비스를 제공해주는 시스템을 제안하고자 한다. 이와 같은 시스템을 위해서는 멀티미디어 콘텐츠를 객체로 나누고 실시간 모니터링을 통해 사용자의 시선을 추적해야 한다. 시선 추적을 통해 사용자의 관심영역을 파악하고 사용자마다 맞춤형 서비스를 제공하는 시스템을 목표로 하며 향후에 이 시스템은 더욱 효과적으로 사용자의 욕구를 충족시켜 줄 수 있을 것이라고 기대한다.