• Smart Media Journal
• /
• v.4 no.1
• /
• pp.9-15
• /
• 2015

Nonverbal communications such as eye gazing, posture, and gestures send forceful messages. In regard to nonverbal communication, eye gazing is one of the most strong forms that an individual can use. However, lack of mutual gazing occurs when we use video conferencing system. The displacement between locations of the eyes and a camera gets in the way of eye contact. The lack of eye gazing can give unapproachable and unpleasant feeling. In this paper, we propose an eye gazing correction for video conferencing. We use two cameras installed at the top and the bottom of the television. The captured two images are rendered with 2D warping at virtual position. We implement view morphing to the detected face, and synthesize the face and the warped image. The result shows that eye gazing is corrected and correctly preserved and the image was synthesized seamlessly.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.11a
• /
• pp.151-154
• /
• 2012

본 논문에서는 화상통신의 현실감을 증진시킬 수 있는 화자 간 시선 맞춤 시스템을 제안한다. 제안하는 방법은 Kinect 거리 카메라로부터 입력된 영상에서 화자의 얼굴 영역을 획득하여 화자의 시선이 카메라를 응시하도록 획득한 영역을 변환한 후에 원본 영상과 합성한다. Kinect 거리 카메라에서 획득한 얼굴 영역에는 다양한 형태의 잡음이 많아 미디언 필터와 모폴로지 연산을 통해 얼굴 영역의 잡음을 제거한다. 화자의 위치에 상관 없이 화자가 카메라를 응시하는 영상을 생성하기 위해서 Kinect 가 제공하는 거리 정보를 이용하여 시선 보정 각도와 회전 축을 획득한다. 시선이 보정된 얼굴 영역은 원본 영상에서 존재하지 않는 영역을 포함하고 있기 때문에, 원본 영상의 각 화소를 삼각형 메쉬로 구성한 후 해당 영역을 보간하여 최종적으로 시선이 보정된 영상을 생성한다. 제안하는 방법은 시선 맞춤 영상을 생성하는 데 필수적인 눈과 주변 얼굴 영역만 선택해서 변환하므로 영상의 왜곡이 적고 실시간 처리가 가능하다는 장점이 있다. 또한 카메라와 화자 사이의 거리 정보를 이용해 화자의 위치에 적응적인 시선 맞춤 영상을 생성할 수 있다. 실험을 통해 Intel i5 CPU 를 장착한 PC에서 $320{\times}240$ 크기의 영상을 사용할 경우 초당 약 35 프레임의 보정된 영상을 생성하여 제안하는 방법이 실시간 처리가 가능하다는 것을 확인하였다.

• Journal of the Institute of Electronics and Information Engineers
• /
• v.52 no.7
• /
• pp.93-99
• /
• 2015

In this paper, we propose a gaze correction method for realistic video teleconferencing. Typically, cameras used in teleconferencing are installed at the side of the display monitor, but not in the center of the monitor. This system makes it too difficult for users to contact each eyes. Therefore, eys contact is the most important in the immersive videoconferencing. In the proposed method, we use the stereo camera and the depth camera to correct the eye contact. The depth camera is the kinect camera, which is the relatively cheap price, and estimate the depth information efficiently. However, the kinect camera has some inherent disadvantages. Therefore, we fuse the kinect camera with stereo camera to compensate the disadvantages of the kinect camera. Consecutively, for the gaze-corrected image, view synthesis is performed by 3D warping according to the depth information. Experimental results verify that the proposed system is effective in generating natural gaze-corrected images.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.1518-1519
• /
• 2015

오늘날 우리는 소비자 중심시대에 살고 있다. 이로 인해 소비자에게 맞춤형 서비스를 제공하는 연구 사례가 증가하고 있다. 본 논문에서는 멀티미디어 콘텐츠를 시청하는 사용자의 시선 추적을 통해 사용자마다 알맞은 서비스를 제공해주는 시스템을 제안하고자 한다. 이와 같은 시스템을 위해서는 멀티미디어 콘텐츠를 객체로 나누고 실시간 모니터링을 통해 사용자의 시선을 추적해야 한다. 시선 추적을 통해 사용자의 관심영역을 파악하고 사용자마다 맞춤형 서비스를 제공하는 시스템을 목표로 하며 향후에 이 시스템은 더욱 효과적으로 사용자의 욕구를 충족시켜 줄 수 있을 것이라고 기대한다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.37 no.4C
• /
• pp.277-282
• /
• 2012

In this paper, we present a real-time eye contact system for realistic telepresence using a Kinect depth camera. In order to generate the eye contact image, we capture a pair of color and depth video. Then, the foreground single user is separated from the background. Since the raw depth data includes several types of noises, we perform a joint bilateral filtering method. We apply the discontinuity-adaptive depth filter to the filtered depth map to reduce the disocclusion area. From the color image and the preprocessed depth map, we construct a user mesh model at the virtual viewpoint. The entire system is implemented through GPU-based parallel programming for real-time processing. Experimental results have shown that the proposed eye contact system is efficient in realizing eye contact, providing the realistic telepresence.

• The Magazine of the IEIE
• /
• v.42 no.5
• /
• pp.34-43
• /
• 2015

• The Magazine of the IEIE
• /
• v.42 no.5
• /
• pp.18-28
• /
• 2015

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.04a
• /
• pp.792-794
• /
• 2016

본 논문은 멀티미디어 콘텐츠 제공자, 소비자 사이의 양방향 서비스를 효율적으로 제공하기 위해 소비자의 시선추적을 통한 데이터 분석 방법을 제안한다. 멀티미디어 콘텐츠를 여러 개의 객체로 분류하여 제공자의 의도를 표현하고 임의의 좌표 값으로 소비자의 시선을 대체한다. 소비자 시선과 제공자의 의도를 비교하여 소비형태 분석 데이터를 얻을 수 있다. 이 데이터를 활용하여 멀티미디어 콘텐츠 화면을 재구성하거나 콘텐츠 인터페이스를 구성한다면 소비자 맞춤형 멀티미디어 콘텐츠 서비스 제공이 가능할 것이라 기대한다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.37 no.6A
• /
• pp.497-502
• /
• 2012

In this paper, we present an immersive videoconferencing system that enables gaze correction between users in the internet protocol TV (IPTV) environment. The proposed system synthesizes the gaze corrected images using the depth estimation and the virtual view synthesis algorithms as one of the most important techniques of 3D video system. The conventional processes, however, causes several problems, especially temporal inconsistency of a depth video. This problem leads to flickering artifacts discomforting viewers. Therefore, in order to reduce the temporal inconsistency problem, we exploit the joint bilateral filter which is extended to the temporal domain. In addition, we apply an outlier reduction operation in the temporal domain. From experimental results, we have verified that the proposed system is sufficient to generate the natural gaze-corrected image and realize immersive videoconferencing.

• Publications of The Korean Astronomical Society
• /
• v.6 no.1
• /
• pp.16-26
• /
• 1991

스펙트럼선의 선폭증대 현상을 방출영역 내 기체입자들이 열운동에 의한 단순 도플러 효과로 가정하여 중심에서 어느 한쪽으로 심하게 치우친 스펙트럼 선윤곽를 해석한다. 본 연구에서는 태양활동영역에서 흔히 관측되는 좌우 비대칭의 선윤곽을 서로 다른 가우스속도분포의 기체성분들이 시선방향으로 중첩된 결과라 해석하고, 최소자승법을 이용한 비선형 선윤곽 맞춤질에 의해 스펙트럼 방출영역에서 떨어져 나가는 기채들의 온도 및 분출속도에 관련된 도플러선폭과 도플러이동량을 구하였다.