• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.23-24
• /
• 2016

본 논문은 가상스튜디오(TV)에서 인터랙티브 가상 바닥을 위한 시스템 및 그 어플리케이션을 제안한다. 우리는 가상스튜디오에서 연기자와 바닥 그래픽간의 단순한 키(Keying) 합성 이질감을 줄이고자, 연기자를 추적하여 발 위치에 다이나믹한 발자취 표현이 가능한'인터랙티브 가상바닥' 어플리케이션을 구현하였다. 이것을 위해 마커 없이 연기자의 위치를 추적하도록 키넥트와 같은 모션인식 카메라를 사용하여 간편한 연기자 발 추적 시스템을 개발하였으며, 이것을 이용하여 연기자와 바닥간의 ' 가상 발 터치(Virtual Foot Touch)' 방법 및 일기예보용 인터랙티브 가상바닥(Interactive Virtual Floor) 어플리케이션을 개발하여, 연기자의 발이 바닥을 터치하는 위치마다 계절별 다이나믹한 발자취를 구현하였다. 그 결과 인터랙티브 가상 바닥의 합성결과가 기존의 가상스튜디오에서의 단순 합성보다 더 사실감 있고 자연스러운 합성결과를 보여준다. 우리는 본 시스템과 어플리케이션을 정규 뉴스 프로그램의 일기예보 방송에 적용하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.81-83
• /
• 2014

본 논문은 HD 해상도의 고화질 방송카메라(회전과 줌이 가능한)와 '키넥트' 같은 범용 모션인식 카메라를 연동하여 방송용 모션기반 증강현실 어플리케이션을 구현하기 위해서, 연기자의 위치를 가상 월드 좌표로 자동 변환시키는 방법을 제안한다. 방송환경에서 키넥트와 같은 모션인식카메라(RGB-D 카메라)를 사용하기 위해서는 거리와 조명의 영향을 많이 받아 연기자와 가까운 천장이나 카메라 밑처럼 그 설치 위치가 제약되곤 한다. 이때, 연기자와 그래픽의 정확한 합성을 위해, 모션인식 카메라로부터의 연기자 추적 정보를 월드 좌표계로 변환해야 하며, 이것을 수작업으로 하기에는 변환의 정확도가 많이 떨어지고 시간도 많이 소요된다. 본 논문에서는 체크박스 패턴 기반의 스테레오 카메라보정 알고리즘을 사용하여 모션인식카메라와 방송용 카메라간의 상관관계(이동, 회전)를 찾고, 이 값과 월드 좌표계 상의 방송 카메라(하드웨어 센서에 의해서 추적됨)정보(이동, 회전)를 이용하여 임의 위치에 설치한 모션인식 카메라로부터 추적된 연기자 위치정보를 월드 좌표계 상의 위치 값으로 자동 변환시키는 방법을 제안한다.

• Journal of the Korea Computer Graphics Society
• /
• v.21 no.5
• /
• pp.21-27
• /
• 2015

In this paper, we presents visual effect(water, fire, smoke) simulation and interaction system for TV virtual studio. TV virtual studio seamlessly synthesizes CG background and a live performer standing on a TV green studio. Previous virtual studios focus on the registration of CG background and a performer in real world. In contrast to the previous systems, we can afford to make new types of TV scenes more easily by simulating interactive visual effects according to a performer. This requires the extraction of the performer motion to be transformed 3D vector field and simulate fluids by applying the vector field to Navier Stokes equation. To add realism to water VFX simulation and interaction, we also simulate the dynamic behavior of splashing fluids on the water surface. To provide real-time recording of TV programs, real-time VFX simulation and interaction is presented through a GPU programming. Experimental results show this system can be used practically for realizing water, fire, smoke VFX simulation and the dynamic behavior simulation of fish flocks inside ocean.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.11a
• /
• pp.18-20
• /
• 2015

본 논문은 마그네틱 센서 기반의 오브젝트 추적 기술을 이용한 혼합현실 선거 방송 시스템을 제안한다. 마커 기반의 증강현실 기술은 방송환경에서는 강한 조명으로 인하여 마커의 특징점 추출의 간섭 및 소실로 추적이 끊기는 문제가 있다. 특히, 선거방송와 같은 생방송 중에 그래픽이 튀거나 사라지는 것은 방송 사고와 다름없다. 따라서, 우리는 조명이나 가림의 영향 없이 추적 성능을 강인하게 하기 위해서, 무선의 마그네틱 센서를 내장한 별도로 제작한 투표함 모형을 추적하도록 하였다. 본 논문에서는 마그네틱 센서를 내장한 실물 투표함을 실시간으로 추적하게 하고, 그 정보를 증강현실 방송 시스템과 통합한 시스템 구성 및 그것을 이용한 증강현실 선거 방송 어플리케이션을 보여준다. 그 결과, 연기자가 선거정보그래픽과 연동하는 투표함을 자유롭고 직관적으로 움직일 수 있었으며, 자연스러운 증강현실 합성 결과를 얻을 수 있었다.

• The Journal of the Korea Contents Association
• /
• v.9 no.7
• /
• pp.159-170
• /
• 2009

It is very important to extract the expression data and capture a face image from a video for online-based 3D face animation. In recently, there are many researches on vision-based approach that captures the expression of an actor in a video and applies them to 3D face model. In this paper, we propose an automatic data extraction system, which extracts and traces a face and expression data from realtime video inputs. The procedures of our system consist of three steps: face detection, face feature extraction, and face tracing. In face detection, we detect skin pixels using YCbCr skin color model and verifies the face area using Haar-based classifier. We use the brightness and color information for extracting the eyes and lips data related facial expression. We extract 10 feature points from eyes and lips area considering FAP defined in MPEG-4. Then, we trace the displacement of the extracted features from continuous frames using color probabilistic distribution model. The experiments showed that our system could trace the expression data to about 8fps.