• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.1137-1140
• /
• 2019

가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR) 분야에 유용한 인간 컴퓨터 인터페이스 기술은 필수적이다. 특히 휴먼 손동작 인식 기술은 직관적인 상호작용을 가능하게 하여, 다양한 분야에서 편리한 컨트롤러로 사용할 수 있다. 본 연구에서는 뎁스 영상 기반의 1 인칭 시점 손동작 인식을 위하여 손동작 데이터베이스 생성 시스템을 구축하여, 손동작 인식기 학습에 필요한 1 인칭(Egocentric View Point) 데이터베이스를 촬영하여 제작한다. 그리고 모바일 Head Mounted Device(HMD) VR 을 위한 뎁스 영상 기반 1 인칭 시점 손동작 인식(Hand Pose Recognition, HPR) 딥러닝 Deep Residual Network 를 구현한다. 최종적으로, 안드로이드 모바일 디바이스에 학습된 Residual Network Regressor 를 이식하고 모바일 VR 에 실시간 손동작 인식 시스템을 구동하여, 모바일 VR 상 실시간 3D 손동작 인식을 가상 물체와의 상호작용을 통하여 확인 한다.

• 한국정보과학회논문지:시스템및이론
• /
• 제30권11호
• /
• pp.675-690
• /
• 2003

시스템과 네트워크 클라이언트의 제한된 리소스를 이용하여 다수의 사용자가 참여 가능하고 사용자의 QoS를 만족시키는 분산 가상 시스템에 대한 연구가 활발히 진행되고 있다. 이러한 분산 가상 시스템을 구현하기 위해서는 사용자의 증가에 따른 네트워크 트래픽 증가 문제, 네트워크 지연으로 발생하는 클라이언트간의 동기화 문제, 가상 환경 렌더링에 따른 시스템 부하 등의 문제를 해결해야 한다. 본 논문에서는 3인칭 시점의 가상 댄싱 공간을 구성하여 아바타간의 상호 작용을 지원하고 사용자가 느끼는 화질에 따라 네트워크를 통해 전송되는 데이타의 양을 달리하는 계층적 QoS 모델을 제안한다. 계층적 QoS 모델은 화면을 보는 사용자의 시점에 기반하여 가상 댄싱 공간에서 보여지는 아바타의 화질을 조절하는 Visual QoS와 아바타의 영향 범위 및 아바타간의 거리에 의해 사용자에게 들리는 소리의 크기를 조절하는 Audio QoS로 구성된다. 이 기법의 효율성을 검증하고자 Sun사의 JMF와 Java3D를 이용하여 사용자의 실영상과 3D CG 아바타가 참여하는 가상 댄싱 공간을 구현한다. 본 논문에서 제안한 계층적 QoS 모델이 다수의 아바타가 참여하고 아바타의 밀집도가 높은 가상 댄싱 공간을 효과적으로 지원할 수 있다는 것을 TIE 시스템의 성능 실험과 시뮬레이션을 통해 확인한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2015년도 추계학술대회
• /
• pp.699-702
• /
• 2015

다중의 영상을 이용하여 하나의 파노라마 영상을 제작하는 기법은 컴퓨터 비전, 컴퓨터 그래픽스 등과 같은 여러 분야에서 널리 연구되고 있다. 파노라마 영상은 하나의 카메라에서 얻을 수 있는 영상의 한계, 즉 예를 들어 화각, 화질, 정보량 등의 한계를 극복할 수 있는 좋은 방법으로서 가상현실, 로봇비전 등과 같이 광각의 영상이 요구되는 다양한 분야에서 응용될 수 있다. 파노라마 영상은 단일 영상과 비교하여 보다 큰 몰입감을 제공한다는 점에서 큰 의미를 갖는다. 현재 다양한 파노라마 영상 제작 기법들이 존재하지만, 대부분의 기법들이 공통적으로 파노라마 영상을 구성할 때 각 영상에 존재하는 특징점 및 대응점을 검출하는 방식을 사용하고 있다. 본 논문에서 사용한 SURF(Speeded Up Robust Features) 알고리즘은 영상의 특징점을 검출할 때 영상의 흑백정보와 지역 공간 정보를 활용하는데, 영상의 크기 변화와 시점 검출에 강하며 SIFT(Scale Invariant Features Transform) 알고리즘에 비해 속도가 빠르다는 장점이 있어서 널리 사용되고 있다. 본 논문에서는 두 영상 사이 또는 하나의 영상과 여러 영상 사이에 대응되는 매칭을 계산하여 파노라마영상을 생성하는 처리 방법을 구현하고 기술하였다.

• 방송공학회논문지
• /
• 제16권4호
• /
• pp.596-601
• /
• 2011

양안식 3차원 방송의 경우 좌우 두 시점에 해당하는 영상을 동시에 전송해야 하기 때문에 전송 대역폭의 부담이 매우 크다. 이러한 부담을 줄이기 위해 좌우 시점의 두 영상을 전송하는 대신에 좌영상과 이에 해당하는 깊이맵을 부호화하여 전송하는 방법이 있다. 이러한 3차원 방송 시스템의 수신단에서는 좌영상과 깊이맵을 복호한 뒤에 우영상을 만들어 좌우 영상을 실시간으로 출력한다. 본 논문에서는 좌영상과 깊이맵을 이용하여 가상시점 영상을 생성할 때 생기는 빈 공간을 효율적으로 채우는 기법을 제안하고, 전 과정의 실시간 처리를 위해 이를 GPU상에서 병렬로 처리되도록 구현했다. 그 결과 효과적으로 홀 채움을 수행하면서 CPU 대비 15배 이상 빠르게 양안식 영상을 생성할 수 있었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2014년도 추계학술대회
• /
• pp.822-823
• /
• 2014

다시점 디스플레이용 영상은 주로 레퍼런스가 되는 컬러 카메라와 깊이 카메라의 영상을 입력 받아 DIBR (Depth Image Based Rendering) 기법을 활용, 3차원 점 구름 형태로 재구성 한 후 가상 카메라를 여러 시점에서 배치하여 중간 영상을 생성하여 조합하였다. 이렇게 다시점 중간 영상을 생성하면 원래의 시점에서는 구멍이 없었지만 다른 시점에서는 구멍(Hole)이 보이는 현상이 발생한다. 기존에는 틈새 영역을 채우는 알고리즘을 개발하거나 깊이 영상을 보정하여 개선시키는 방법을 연구하였으나 본 논문에서는 점 구름을 메시(Mesh)화 시키는 알고리즘 중 한 가지인 볼 피봇팅(Ball Pivoting) 방법을 적용시켜 중간 영상의 화질 개선 방법을 설명하고 있다. 마이크로소프트사의 발레와 브레이크 댄서 영상에 개발된 개선 방법을 적용시켜 보았고 PSNR로 비교할 때 약 0.18~1.19정도의 향상을 보임을 확인하였다. 본 논문을 통해 개선 방법과 실험방법, 그리고 결과에 대해 설명한다.

• 한국통신학회논문지
• /
• 제32권6C호
• /
• pp.572-578
• /
• 2007

영상 회의 시스템에서는 현실감을 높이기 위하여 대화 상대방과 시선을 맞추는 eye contact을 만들어 주는 것이 중요하다. 이를 위하여 영상 기반 방법과 모델 기반 방법 등의 시점합성기법이 연구되고 있다. 전자는 계산이 간단하나 부정확하고, 후자는 잡음에 강하고 정확한 영상을 만들어 내지만 시간이 많이 걸리는 단점이 있다. 본 논문에서는 얼굴 영상을 타원으로 근사화시키고 이를 3차원 공간에서 타원체로 모델링하여 임의의 가상 카메라의 위치에서 영상을 합성하는 방법을 제안하였다. 여러 가지 실험을 통하여 제안한 방법이 계산량이 적으면서도 성능이 우수함을 입증하였다.

• 전자통신동향분석
• /
• 제11권4호통권42호
• /
• pp.221-233
• /
• 1996

컴퓨터 하드웨어 기술의 발전으로 그 동안 고급의 워크스테이션급에서 수행되던 많은 응용들을 개인용 컴퓨터 (pc)에서 구별할 수 있게 되었다. 특히, CAD/CAM, 가상현실, 영화, 게임 등과 관련된 3차원 그래픽스 기술들은 pc용 3차원 영상처리 그래픽스 하드웨어의 보급과 더불어 개인 사용자들에게서 이용되기 시작하고 있다. 본 고에서는 이 시점에서 3차원 영상처리 그래픽스 시스템을 하드웨어 측면에서 그것에 대한 동향과 성능을 비교 분석한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.231-232
• /
• 2022

본 논문에서는 비디오 시퀀스 내에서 카메라의 움직임을 추적하고, 추적 데이터를 기반으로 2D 영상에 3D CG 객체를 추가하는 방법을 소개한다. 해당 객체가 시점을 고려한 장면 내의 피사체로써 간주되기 위해서는 3차원 가상공간 내에서 피사체의 위치를 기반으로 장면 내 기준 평면을 구성하는 점들과 카메라의 기저 축 좌표를 조정한다. 영상제작 현장에서 활용되는 소프트웨어에서 수작업으로 진행되는 과정을 살펴봄으로써 매치 무빙기법이 증강현실과 광학기반의 SLAM 등과 같은 다양한 응용분야에서의 활용을 고려할 수 있겠다.

• 디지털융복합연구
• /
• 제10권8호
• /
• pp.239-247
• /
• 2012

본 논문은 시점 벡터 추정과 명도 차분 맵에 기반하여 직물 텍스쳐 매핑을 수행하는 객체 VR 기반 가상 직물 착용 시스템에 관한 것이다. 제안된 시스템은 객체 VR 용도의 다시점 2D 의류 모델 영상들에서 의류 형상 영역을 분할하여 사용자가 선택한 새로운 직물 패턴을 가상적으로 착용시킨 후, 이러한 가상 착용 상태를 다시점에서 입체적으로 관측할 수 있도록 한 것이 특징이다. 제안된 시스템은 모델 의류의 컬러나 명도에 관계없이 선택된 의류 형상 영역의 특성을 유지하면서 직물 패턴을 가상적으로 변경시킬 수 있다. 또한 각기 다른 스타일 혹은 전체적인 차림새를 위한 다양한 직물 패턴 조합을 신속하고 용이하게 시뮬레이션하고 비교 선택할 수 있다. 제안된 시스템은 다양한 디지털 환경에서 실시간 처리가 가능하고 비교적 자연스럽고 입체적인 가상 착용 스타일을 제공할 뿐만 아니라 수작업을 줄인 반자동화 처리가 가능하기 때문에 높은 실용성과 편리한 사용자 인터페이스를 제공할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2008년도 추계학술대회
• /
• pp.215-218
• /
• 2008

본 논문에서는 스테레오 카메라로부터 획득된 좌, 우 영상의 변이를 추정하여 3차원 공간 좌표(x, y, z)를 얻어내고, 거리측정과 가상공간 제어를 통해 사용자에게 현실감을 제공하는 실시간 3차원 공간 인식 시스템을 제안한다. 스테레오 카메라로 부터 획득된 좌, 우 영상은 시점의 차이 때문에 동일 물체에 대한 좌, 우 영상의 좌표 값의 차이를 발생시키는 데 이를 변이(disparity)라 정의한다. 관심 영역의 변이를 추정할 때 일반적으로 관심 영역의 모든 화소(pixel)의 변이를 추정하지만, 제안한 알고리즘에서는 관심 영역의 2차원 중심 좌표(x, y)의 변이만을 추정하여 계산량을 줄이고 실시간 처리가 가능하도록 하였다. 카메라 파라미터를 이용하여 획득된 변이로부터 깊이 정보(depth)를 얻어내고 3차원 공간 좌표를 획득한다. 손을 관심 영역으로 설정한 시스템에서 3차원 공간 좌표는 실시간으로 사용자의 손의 움직임에 의해 획득되고, 가상공간(virtual space)에 적용되어 사용자가 가상공간을 조작할 수 있는 듯한 느낌을 준다. 실험을 통해 제안한 알고리즘이 1.5m 거리 내에서의 깊이 측정시 평균 0.68cm의 오차를 가짐을 확인 할 수 있었다.