• 한국멀티미디어학회논문지
• /
• 제8권10호
• /
• pp.1293-1305
• /
• 2005

본 논문에서는 HMD(head mounted display) 하단에 눈동자의 움직임 영상을 취득할 수 있는 USB 카메라를 부착한 후, 3차원 1인칭 슈팅(first Person shooting) 게임에서 게임 캐릭터의 시선방향을 눈동자 움직임에 의해 조작하는 방법을 제안한다. 본 논문에서 제안하는 방법은 다음과 같이 세 부분으로 구성된다. 첫 번째는 입력 영상으로부터 눈동자의 중심 위치를 실시간 영상 처리 방법으로 추출하는 부분, 두 번째는 HMD 모니터상의 임의 지점을 쳐다볼 때 추출된 눈동자의 위치 정보와 모니터상의 응시 위치 사이의 기하학적인 연관관계를 결정하는 캘리브레이션 부분, 그리고 마지막은 캘리브레이션 정보를 기반으로 모니터 상의 최종적인 응시 위치를 결정하고, 이 정보에 의해 게임상의 3차원 뷰(view) 방향을 조정하는 부분으로 구성된다. 실험 결과, 본 논문의 방법에 의해 손이 불편한 사용자에게 게임을 즐길 수 있는 기회를 제공하고, 게임 캐릭터와 게임 사용자의 시선 방향을 일치시킴으로서 게임의 흥미와 몰입감을 증가시키는 결과를 얻을 수 있었다.

• 한국통신학회논문지
• /
• 제30권3C호
• /
• pp.125-132
• /
• 2005

본 논문에서는 실시간 시선 식별을 위한 능동적 적외선 조명을 기반으로 한 컴퓨터 비전 시스템을 제안하고자 한다. 현존하는 대다수의 시선 식별 방법은 고정된 얼굴에서만 원활하게 동작하고 개개인에 대한 교정 절차를 필요로 한다. 그러므로 본 논문에서는 교정 작업 없이 얼굴 움직임이 있는 경우에도 견실하고 정확하게 동작하는 시선 식별 시스템을 제안하고 있다. 제안된 시스템은 추출된 변수로부터 시선을 스크린 좌표로 매핑하기 위해 GRNN을 이용하였다. 동공을 추적하여 GRNN을 사용함으로서, 시선 매핑에 분석적 기능이나 얼굴 움직임에 대한 계산이 필요 없을 뿐 아니라 다른 개개인에 대하여 학습과정에서 매핑 기능을 일반화 할 수 있었다. 시선 예측 정확도를 개선하고자 계층적 식별을 제안함으로써 오분류를 줄일 수 있었고, 공간 시선 해상도는 스크린에서 1m 정도 떨어진 거리에서 수평으로 10cm, 수직으로 약 13cm, 즉 수평으로 8도 수직으로 5도 이었다. 실험 결과, 재식별 하였을 경우 1차 시선 식별시 84%보다 약 9% 정도 정확성이 향상되어 93%를 나타냄으로써 제안된 시스템의 유효성을 증명하였다.

• 한국정보전자통신기술학회논문지
• /
• 제3권1호
• /
• pp.38-46
• /
• 2010

본 논문에서는 실시간 시선 식별을 위한 능동적 적외선 조명을 기반으로 한 컴퓨터 비전 시스템을 제안 하고자 한다. 현존하는 대다수의 시선 식별 방법은 고정된 얼굴에서만 원활하게 동작하고 개개인에 대한 교정 절차를 필요로 한다. 그러므로 본 논문에서는 교정 작업 없이 얼굴 움직임이 있는 경우에도 견실하고 정확하게 동작하는 시선 식별 시스템을 제안하고 있다. 제안된 시스템은 추출된 변수로부터 시선을 스크린 좌표로 매핑하기 위해 GRNN을 이용하였다. 동공을 추적하여 GRNN을 사용함으로서, 시선 매핑에 분석적 기능이나 얼굴 움직임에 대한 계산이 필요 없을 뿐 아니라 다른 개개인에 대하여 학습과정에서 매핑 기능을 일반화 할 수 있었다. 시선 예측 정확도를 개선하고자 계층적 식별을 제안함으로써 오분류를 줄일 수 있었고, 공간 시선 해상도는 스크린에서 1m 정도 떨어진 거리에서 수평으로 10cm, 수직으로 약 13cm, 즉 수평으로 8도 수직으로 5도 이었다. 실험 결과, 재식별 하였을 경우 1차 시선 식별시 84%보다 약 9% 정도 정확성이 향상되어 93%를 나타냄으로써 제안된 시스템의 유효성을 증명하였다.

• 한국정보통신학회논문지
• /
• 제9권2호
• /
• pp.322-329
• /
• 2005

본 논문에서는 실시간 시선 식별을 위한 능동적 적외선 조명을 기반으로 한 컴퓨터 비전 시스템을 제안하고자 한다. 현존하는 대다수의 시선 식별 방법은 고정된 얼굴에서만 원활하게 동작하고 개개인에 대한 교정 절차를 필요로 한다. 그러므로 본 논문에서는 교정 작업 없이 얼굴 움직임이 있는 경우에도 견실하고 정화하게 동작하는 시선 식별 시스템을 제안하고 있다. 제안된 시스템은 추출된 변수로부터 시선을 스크린 좌표로 매핑하기 위해 GRNN을 이용하였다. GRNN을 사용함으로서, 시선 매핑에 분석적 기능이나 얼굴 움직임에 대한 계산이 필요 없을 뿐 아니라 다른 개개인에 대하여 학습과정에서 매핑 기능을 일반화 할 수 있었다. 시선 예측 정확도를 개선하고자 계층적 식별을 제안함으로써 오분류를 줄일 수 있었고, 공간 시선 해상도는 스크린에서 Im 정도 떨어진 거리에서 수평으로 10cm, 수직으로 약 13cm, 즉 수평으로 8도 수직으로 5도 이었다 실험 결과, 재식별 하였을 경우 1차 시선 식별시 84$\%$보다 약 9$\%$ 정도 정확성이 향상되어 93%를 나타냄으로써 제안된 시스템의 유효성을 증명하였다.

• 대한전자공학회논문지SP
• /
• 제45권2호
• /
• pp.49-64
• /
• 2008

최근에 휴먼 컴퓨터 인터페이스 분야에서 사용자의 시선 위치를 파악하여 더욱 편리한 입력장치를 구축하고자 하는 연구가 많이 진행되고 있다. 하지만 복잡한 하드웨어 구성으로 제품의 가격이 매우 비싸고, 까다로운 사용자 캘리브레이션 과정으로 인해 시스템의 사용에 어려움을 겪는다. 본 논문에서는 HMD(Head Mounted Display)에 USB 카메라와 적외선을 반사시키는 hot-mirror와 적외선 조명을 이용한 시선 추적 모듈을 부착하고, 이를 통해 획득한 눈 영상의 2차원적인 분석과 간단한 사용자 캘리브레이션 과정을 통해 시선 위치를 파악하는 방법을 제안한다. HMD는 사용자의 얼굴 움직임과 함께 움직이므로, 얼굴움직임에 영향을 받지 않는 시선 추적 시스템을 구현할 수 있다. 또한, 시선 추적 시스템을 3차원 1인칭 슈팅 게임에 적응하여, 캐릭터의 시선 방향을 조정하고, 적 캐릭터를 조준하여 사격이 가능하도록 하여, 게임의 몰입감과 흥미성을 높일 수 있게 하였다. 실험 결과, 한 대의 데스크톱 컴퓨터 환경에서 게임과 시선 추적 시스템이 실시간으로 동작 가능했으며, 약 $0.88^{\circ}$의 시선 위치 추출 오차를 보였다. 또한 3차원 1인칭 슈팅게임에서 일반 마우스의 역할을 시선 추적 시스템이 문제없이 대신할 수 있음을 확인하였다.

• 한국정보통신학회논문지
• /
• 제8권6호
• /
• pp.1182-1187
• /
• 2004

본 논문에서는 실시간으로 눈과 눈썹주위의 특징을 추적하는 새로운 알고리즘을 제안하고자 한다. 제안된 알고리즘은 적외선 LED와 적외선카메라로 밝은 동공 효과를 만들어 동공을 추적 한 후, 템플릿은 얼굴 특징을 매개변수화 하기 위해, 동공 좌표는 각각의 프레임에서 눈과 눈썹 영상을 추출하기 위하여 사용한다. 또한, 템플릿 변수는 표본 영상을 가지고 학습하는 과정에서 구성한 PCA기저를 이용하여 추출된 영상을 PCA 분석하여 구한다. 제안된 시스템은 초당 30 프레임의 영상에서 초기 설정 및 교정 작업 없이 머리 움직임이 많거나 폐색이 있는 경우에도 견실하게 동작하였다.

• 정보처리학회논문지B
• /
• 제12B권4호
• /
• pp.465-472
• /
• 2005

본 논문에서는 HMD(Head Mounted Display) 하단에 눈동자의 움직임 영상을 취득할 수 있는 USB 카메라를 부착한 후, 3차원 1인칭 슈팅(First Person Shooting) 게임에서 게임 캐릭터의 시선방향을 눈동자 움직임에 의해 조작하는 방법을 제안한다. 본 논문에서 제안하는 방법은 다음과 같은 3부분으로 이루어져 있다. 첫 번째는 입력 영상으로부터 눈동자의 중심 위치를 실시간 영상 처리 방법으로 추출하는 부분, 두번째는 HMD 모니터상의 임의 지점을 쳐다볼 때 추출된 눈동자의 위치 정보와 모니터상의 응시 지점사이의 기하학적인 연관관계를 결정하는 캘리브레이션 부분, 그리고 마지막은 캘리브레이션 정보를 기반으로 모니터 상의 최종적인 응시 위치를 결정하고 이 정보에 의해 게임상의 3차원 뷰 방향을 조정하는 부분으로 구성되어 있다. 실험 결과 본 논문의 방법에 의해 손이 불편한 사용자에게 게임을 즐길 수 있는 기회를 제공하고, 게임 캐릭터와 게임 사용자의 시선 방향을 일치시킴으로서 게임의 흥미와 몰입감을 증가시킬 수 있는 결과를 얻음을 알 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제21권10호
• /
• pp.11-19
• /
• 2016

The size of a display is large, The form becoming various of that do not apply to previous methods of gaze tracking and if setup gaze-track-camera above display, can solve the problem of size or height of display. However, This method can not use of infrared illumination information of reflected cornea using previous methods. In this paper, Robust pupil detecting method for eye's occlusion, corner point of inner eye and center of pupil, and using the face pose information proposes a method for calculating the simply position of the gaze. In the proposed method, capture the frame for gaze tracking that according to position of person transform camera mode of wide or narrow angle. If detect the face exist in field of view(FOV) in wide mode of camera, transform narrow mode of camera calculating position of face. The frame captured in narrow mode of camera include gaze direction information of person in long distance. The method for calculating the gaze direction consist of face pose estimation and gaze direction calculating step. Face pose estimation is estimated by mapping between feature point of detected face and 3D model. To calculate gaze direction the first, perform ellipse detect using splitting from iris edge information of pupil and if occlusion of pupil, estimate position of pupil with deformable template. Then using center of pupil and corner point of inner eye, face pose information calculate gaze position at display. In the experiment, proposed gaze tracking algorithm in this paper solve the constraints that form of a display, to calculate effectively gaze direction of person in the long distance using single camera, demonstrate in experiments by distance.

• 방송공학회논문지
• /
• 제11권1호
• /
• pp.80-90
• /
• 2006

본 논문에서는 한 대의 카메라와 푸르킨예 영상을 이용한 간편한 2차원 시선 추적 시스템을 제안한다. 이 시스템은 사용자의 한쪽 눈 영상을 얻기 위해 적외선 필터가 장착된 카메라와, 사용자가 모니터 상에 바라보고 있는 응시 점을 알아내기 위해 각 막의 표면에 반사점을 만들기 위한 두 개의 적외선 광원이 사용되었다. 카메라나 적외선 광원, 사용자의 머리는 자유롭게 움직일 수 있다. 따라서 본 시스템은 여타 불편한 고정된 장치나 사용자의 머리 고정이 필요 없는 간단하고 유연성 있는 시스템이다. 본 시스템은 또한 간편하고 정확한 사용자 캘리브레이션 과정을 포함하고 있다. 시스템을 사용하기에 앞서, 각 사용자는 각 사용자는 시스템이 시선 추적 알고리즘 상의 개인 요소들을 초기화할 수 있도록 두 개의 점을 잠시 바라보기만 하면 된다. 제안된 시스템은 XGA $(1024{\sim}768)$ 해상도에서 10 fps 이상 실시간으로 동작된다. 3명의 피 실험자와 9개의 실험 물체로 진행된 실험 결과는 시스템이 평균 l도의 시선 추적 오차를 보여 주고 있다.