• 한국정보통신학회논문지
• /
• 제17권1호
• /
• pp.15-31
• /
• 2013

본 논문은 최근 관심이 고조되고 있는 디지털 홀로그램의 시야각을 확보하기 위하여 시청자의 시점을 추적하여 그 시점에 해당하는 데이터를 생성하고, 이를 디지털 홀로그램으로 변환하는 방법을 제안한다. 이 방법은 제어하는 시야각의 맨 좌측과 맨 우측 시점에 대한 정보(깊이정보와 컬러 또는 명도정보)가 주어졌다고 가정한다. 이 방법은 주어진 좌, 우측의 깊이영상을 대상으로 스테레오 정합에 의해 단위 깊이 당 의사변위증분을 구하여 사용한다. 이를 이용하여 주어진 좌, 우측시점으로부터 원하는 가상시점의 정보를 생성하고, 그 결과의 두 영상을 결합하여 해당시점의 정보를 획득한다. 이 경우 발생하는 비폐색 영역을 정의하고 이를 채우는 방법을 제안한다. 이 방법을 구현하여 실험한 결과 생성한 중간 시점의 깊이영상과 RGB영상의 평균 화질은 각각 33.83[dB]과 29.5[dB]이었으며, 평균 수행속도는 프레임 당 250[ms]이었다. 또한 이 방법을 이용하여 시청자와 인터랙티브하게 디지털 홀로그램을 서비스하는 시스템의 프로토타입을 제안한다. 이 시스템에는 좌, 우 시점의 영상정보를 획득, 카메라 캘리브래이션과 영상보정, 중간시점 영상생성, 컴퓨터-생성홀로그램(computer-generated hologram, CGH) 생성 및 홀로그램 영상복원기능을 포함한다. 이 시스템은 LabView(R) 환경에서 구현되며, CGH생성과 홀로그램 영상 복원은 GPGPU로, 나머지는 소프트웨어로 구현한다. 구현결과 평균 수행 속도는 초당 약 5 프레임을 처리할 수 있는 속도이었다.

• 한국정보통신학회논문지
• /
• 제17권8호
• /
• pp.1908-1918
• /
• 2013

자유시점 또는 오토스테레오스코픽 비디오 서비스는 3차원 영상을 제공하는 차세대 방송 시스템으로, 여러 시점의 영상들이 필요하다. 본 논문에서는 가상 시점 영상을 고속 생성하기 위해 알고리즘 병렬 구조를 최적화하고, Compute Unified Device Architecture(CUDA)를 이용한 General Propose Graphic Processing Unit(GPGPU) 기반의 중간시점 영상 고속 생성을 위한 최적화 기법을 제안한다. 제안한 방법은 좌/우 깊이영상을 병렬화시킨 스테레오 정합알고리즘을 이용하여 변위정보를 얻은 후, 깊이 당 변위증분을 계산하여 사용한다. 계산된 변위증분을 사용하여 해당 각 화소들의 깊이 값을 이용하여 좌/우 영상들을 원하는 위치의 중간시점으로 영상을 이동시킨다. 그 다음, 비폐색영역들을 서로 상호 보완하여 없앤 다음에 남은 홀들은 홀 필링으로 없애 최종 중간시점 영상을 생성한다. 제안한 방법을 구현하여 여러 실험 영상에 적용한 결과, 생성된 중간시점 깊이영상의 화질은 평균 PSNR 30.47dB이었으며, Full HD급 중간시점 영상을 초당 38 프레임 정도 생성하는 속도를 보였다.

• 한국정보통신학회논문지
• /
• 제16권7호
• /
• pp.1477-1486
• /
• 2012

본 논문에서는 가상시점 깊이영상 생성 기법을 이용한 다양한 시점의 CGH(computer generated hologram) 생성 시스템을 제안한다. 제안한 시스템에서는 먼저 TOF(time of flight) 깊이 카메라를 이용하여 신뢰도 높은 기준시점 깊이영상을 획득하고 카메라 보정 과정을 통해 기준시점 카메라들의 카메라 파라미터를 추출한다. 가상시점 카메라의 위치가 정의되면 기준시점 카메라와의 거리와 위치를 고려하여 최적의 기준시점 카메라들을 선택한다. 가상시점 카메라와 가장 가까운 기준시점 카메라를 주 기준시점으로 결정하고 가상시점 깊이영상을 생성한다. 주 기준시점 카메라와 위치가 반대인 기준시점 카메라를 보조 기준시점으로 선택하여 가상시점 깊이영상을 생성한다. 주 기준시점을 통해 생성된 가상시점 깊이영상에 나타나는 가려짐 영역을 보조 기준시점으로 생성된 가상시점 깊이영상으로부터 찾아 보상한다. 보상이 되지 않고 남은 홀영역은 주변값 중 가장 작은 값으로 채워 최종 가상시점 깊이영상을 생성한다. 최종 가상시점 깊이 영상을 이용하여 CGH를 생성한다. 실험을 통해 기존의 기법보다 제안하는 가상시점 깊이영상 합성 시스템의 성능이 우수함을 확인하였다.

• 방송공학회논문지
• /
• 제17권2호
• /
• pp.363-373
• /
• 2012

본 논문에서는 자유시점 또는 오토스테레오스코픽 비디오나 홀로그래픽 비디오 서비스 등을 목표로 중간시점 깊이영상을 생성하는 방법을 제안한다. 이 방법에서 좌/우 깊이영상이 주어졌다고 가정하고, 이 깊이영상들은 카메라 보정과 영상보정이 수행되었다고 가정한다. 제안한 방법은 깊이 당 변위증분을 계산하여 사용하며, 이 변위증분은 일반적인 상황을 고려하여 좌/우 깊이영상을 스테레오 정합하여 계산한다. 계산된 변위증분을 사용하여 해당 깊이값의 위치를 원하는 중간시점 깊이영상에서 찾는다. 중간시점 깊이영상은 좌영상과 우영상으로부터 각각 생성하며, 잡음을 제거하고 홀 필링을 수행한 후 두 영상을 결합하여 최종 중간시점 깊이영상을 생성한다. 제안한 방법을 구현하여 여러 테스트 시퀀스에 적용한 결과, 생성된 중간시점 깊이영상의 화질은 평균 PSNR 33.84dB이었으며, HD급 중간시점 깊이영상을 초당 한 프레임 정도 생성하는 속도를 보였다. 이 화질은 테스트 시퀀스들의 비균질성을 고려할 때 상당히 좋은 화질이라 판단되며, 향후 수행속도를 더욱 향상시키면 제안한 방법은 중간시점 깊이영상을 생성하는 좋은 방법이 될 것으로 사료된다.

• 방송공학회논문지
• /
• 제17권4호
• /
• pp.695-706
• /
• 2012

본 논문은 디지털 홀로그램 비디오를 서비스할 수 있는 서비스 시스템을 제안하는 것을 목적으로 한다. 이 시스템은 현존하는 2차원 또는 3차원 영상/비디오를 서비스하는 시스템의 프레임, 즉 데이터 획득, 처리, 전송, 수신, 복원의 과정을 그대로 따른다고 가정한다. 이 시스템은 또한 시청자의 시점을 추적하여 그 시점에 해당하는 디지털 홀로그램을 서비스하는 인터랙티브 동작 기능을 포함하고 있는데, 이 기능을 위해서 시청자의 시점에 해당하는 가상시점의 영상 정보를 생성하고, 이를 홀로그램으로 만들어 사용한다. 본 논문에서는 이 시스템의 주요 동작만을 포함하는 프로토타입을 구현하며, 이 시스템에는 데이터 획득을 위한 카메라 시스템, 카메라 캘리브레이션과 영상보정, 깊이와 빛의 세기 영상의 화질개선, 중간시점 영상 생성, 디지털 홀로그램 생성, 시뮬레이션과 광학장치에 의한 홀로그램 영상복원 기능을 포함한다. 제안한 프로토타입 시스템을 구현한 결과 한 프레임의 디지털 홀로그램을 생성하고 시뮬레이션에 의해 영상을 복원하는 데까지 약 352ms가 소요되었으며, 시뮬레이션 복원 대신 광학장치로 복원할 경우는 약 183ms의 시간이 소요되었다.