• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.329-330
• /
• 2011

3D 영상산업이 발전해 오면서 현재 3D 영상으로 가장 많이 사용되는 것이 바로 stereoscopic 영상이다. 이러한 영상은 인간의 뇌를 속임으로써 화면에 비쳐지는 영상이 마치 화면 밖에 위치하는 것 같은 착각을 일으키게 만들어 3D영상을 인식할 수 있게 해준다. 이때 사람이 양안시를 인식하는 문제에 관한 연구는 이미 안경학에서 많은 발전을 이루어 왔지만, 현재 논의의 중점인 3D 양안시력은 평소 사람이 사용하는 양안시가 아닌 3D Display에서 비춰지는 영상을 다양한 방법으로 양쪽 눈에 다른 영상을 인식하게 함으로써 입체를 인식하게 하는 것이며, 이러한 3D 양안시력을 측정하는 방법에 대해서는 기존의 양안시력과는 다른 측정 방법을 적용하여야 한다. 따라서 이 논문에서는 이러한 3D 입체 영상에 대한 입체시를 측정하는 방법에 대하여 제안한다.

• 방송공학회논문지
• /
• 제18권3호
• /
• pp.362-371
• /
• 2013

본 논문에서는 스테레오 카메라 추적을 이용한 모바일 3차원 디스플레이 상의 실시간 증강현실 프레임웍에 대하여 기술한다. 모델 기반 추적 방법에 기초하여 카메라 포즈는 스테레오 카메라 간의 기하 관계를 만족하도록 동시 추정된다. 동시 추정된 카메라 포즈를 통해 가상 콘텐츠는 교정된 스테레오 영상에 올바르게 증강된다. 스테레오 카메라 추적과 스테레오 영상 교정은 서로 다른 쓰레드에서 수행하고, 영상 형식 변환 및 스테레오 영상 교정은 GPU로 고속으로 처리함으로써 실시간으로 수행된다. 제안된 프레임웍은 스테레오 카메라와 3차원 디스플레이가 장착된 스마트폰에서 구현되었다.

• 방송공학회논문지
• /
• 제18권2호
• /
• pp.261-270
• /
• 2013

스테레오스코픽(stereoscopic) 3D 비디오 서비스는 기존 2D와의 호환성을 유지하면서 새로운 3D 비디오 서비스를 제공할 수 있다. 전송 대역이 제한된 지상파 방송의 경우 높은 부호화 효율을 갖는 스테레오스코픽 비디오 코덱이 요구된다. 따라서 기준영상은 기존 2D 비디오 서비스와의 호환성을 위해 MPEG-2로 부호화하는 반면 3D를 위한 부가영상 부호화를 위해 부호화 효율이 높은 H.264/AVC, HEVC(High Efficiency Video Coding) 등을 고려하고 있으며, 또한 부가영상을 비실시간으로 전송하는 NRT(Non-Real Time) 3D 서비스도 고려되고 있다. 본 논문에서는 NRT 3D 서비스를 위한 스테레오스코픽 비디오 부호화에 있어서, HEVC에서 고려되었던 적응루프필터(ALF: Adaptive Loop Filter)를 전/후처리 필터로 적용하는 기법을 제시한다. 특히, 부가영상의 후처리에 ALF를 적용하기 위하여 부호화 과정에 결정되는 CU(Coding Unit) 구조를 이용하는 HEVC와 달리 MVC(Multiview Video Coding)로 부호화한 부가영상의 매크로블록(MB) 부호화 모드 및 참조영상 인덱스 등의 MB 부호화 정보를 이용한 ALF 적용 기법을 제안한다. 부가 영상 부호화에 있어서 제안한 기법으로 전처리 및 후처리 과정으로 ALF를 적용함으로써 최대 약 24.9%의 비트율 감소를 확인하였다.

• 방송공학회논문지
• /
• 제17권6호
• /
• pp.911-923
• /
• 2012

최근 3DTV 및 3D 디스플레이가 공급되면서 입체영상 제작도 활발히 진행되고 있다. 입체영상은 좌영상과 우영상으로 만들어지는데, 제작된 입체영상은 수정 없이 그대로 시청자에게 공급되고 있다. 2D 영상도 고주파 성분을 이용하여 깊이감을 높이고, 색보정을 거처 자연색과 유사한 색을 재현하는 등의 연구는 오랫동안 진행되어 왔다. 이 기술을 입체영상에 적용하고자 하는 것이 본 논문의 목적이다. 기 제작된 입체영상의 컬러를 변환함으로써 3D 입체감을 개선하는 방법을 제안한다. 이를 위해서 본 논문에서는 스테레오 영상으로부터 깊이맵을 획득하고, 기존 컬러 변환을 통한 2D 영상의 지각 깊이감 개선을 입체영상에 적용하여, 3D 입체감을 향상시키는 방법을 제안한다. 이를 위해 스테레오 정합 방법과 컬러 변환 방법으로 대조 변환 및 배경 다크닝 방법을 제안하고, 실험을 통해 제안 방법이 상기 목적을 얻을 수 있는 것을 검증하였다.

• 방송공학회논문지
• /
• 제14권5호
• /
• pp.638-649
• /
• 2009

최근 들어 다양한 스테레오 3D 디스플레이 장치의 출시가 활발히 이루어지면서 임의의 스테레오 3D 영상에 대한 효과적인 크기 변환 방법, 즉 스케일링(scaling) 방법에 대한 요구가 증가되고 있다. 그런데 CG 등을 통하여 생성된 경우와 같이 장면의 기하학적 정보를 완벽히 파악할 수 있는 경우를 제외하고는, 정확한 스테레오 3D 영상의 스케일링은 현실적으로 불가능하다. 이러한 제한으로 가장 널리 이용되는 방법은 좌우 영상에 대하여 적절한 2D 스케일링을 수행하고, 그 결과로 적절한 스테레오 3D 영상스케일링이 발생하기를 기대하는 것이다. 본 논문에서는 2D 영상 스케일링을 통한 스테레오 3D 영상 스케일링에 있어서, 양안시(binocular vision) 모델에 근거한 기하학적 분석과 주파수 변화 분석을 제시한다. 기하학적 분석을 통해서는 스테레오 3D 영상에서 발생 가능한 왜곡들에 대해서 설명하고, 주파수 변화 분석을 통해서는 디지털 신호의 스케일링에 필수적으로 요구되는 aliasing 왜곡 방지 방법에 대해서도 제안한다. 제안된 방법은 주관적 화질 평가 결과 샘플링 이론 (sampling theory)에만 근거한 필터링 방식에 비해 화질 왜곡을 더욱 효과적으로 억제할 수 있다는 것을 파악할 수 있었다. 따라서, 제안된 방법은 다양한 해상도를 지니는 3D 디스플레이 장치에서의 스테레오 3D 영상 재생에 효과적으로 이용될 것으로 기대된다.

• 방송공학회논문지
• /
• 제17권2호
• /
• pp.207-222
• /
• 2012

최근 3D 입체영상에 대한 소비자들의 관심 증대로 가전 업체들은 3D TV, 3D Monitor등의 제품들을 출시하고 있고, 이에 따라 3D 콘텐츠 시장도 급격히 성장할 것으로 예상된다. 그러나 이러한 3D 콘텐츠를 서비스함에 있어서 보다 높은 대역폭이 요구되어지므로 QoS(Quality of Service)를 보장하지 않는 IP 기반 전송환경에서의 고화질 3D 스트리밍 서비스는 소비자에게 끊김 없는 영상서비스를 제공하는데 제약이 있다. 이러한 문제를 해결하기 위해서, IP 망 네트워크 환경을 고려하여 사용자들이 원하는 콘텐츠를 네트워크 환경에 따라 적절한 품질로 제공 할 수 있는 적응적 스트리밍 서비스 기술이 현재 국제 표준화 기구인 MPEG(Moving Picture experts Group)에서 DASH(Dynamic Adaptive Streaming over HTTP)라는 이름으로 표준화가 진행 중에 있다. 그러나 DASH에서는 독립된 좌, 우 영상이 단일 segment안에 2개의 Elementary Stream(ES)으로 구성되어 있는 service- compatible 기반의 스테레오스코픽 콘텐츠에 대한 명확한 scheme이 나타나지 않는다. 따라서 본 논문에서는 DASH를 이용한 service-compatible 기반의 효율적인 적응적 3D 스트리밍 서비스 제공 방안을 제안한다. DASH를 이용한 3D 서비스는 사용자들에게 IP 망을 통한 다양한 품질의 3D 콘텐츠를 제공함으로써 끊김 없는 3D 스트리밍 서비스가 가능하고, 또한 하나의 3D 콘텐츠로 다양한 디바이스에 적용 가능하다는 이점이 있다.

• 방송공학회논문지
• /
• 제15권4호
• /
• pp.540-546
• /
• 2010

사용자에게 보다 실감나는 입체감을 제공하는 양안식 3차원 영상을 위해서는 기존 2차원 영상의 두 배에 해당하는 데이터가 필요하므로 이를 고속으로 처리하는데 어려움이 따른다. 본 논문에서는 2차원 영상과 깊이 영상을 입력 영상으로 한 고속 양안식 3차원 방송 시스템을 제안한다. 제안하는 시스템은 전송해야 할 데이터의 양을 줄이기 위해 전송 전에 H.264/AVC 오픈 소스 고속 부호화기인 x264를 이용하여 부호화를 수행한다. 수신단에서는 수신한 비트스트림을GPU(Graphics Processing Unit)에 내장된 CUDA 비디오 복호기 API를 이용해 설계된 복호기로 고속으로 복호하고, GPU를 이용해 고속으로 가상시점의 영상을 생성하여 양안식 3차원 영상을 재현한다. 제안한 시스템을 이용하면 수신단의 환경에 따라 2차원 디스플레이와 3차원 디스플레이에서 모두 영상을 출력할 수 있다. 컴퓨터 모의 실험을 통해 제안한 시스템이 3차원 양안식 콘텐츠를 초당 최대 24 프레임까지 서비스할 수 있음을 확인했다.

• 방송공학회논문지
• /
• 제16권6호
• /
• pp.916-926
• /
• 2011

3D 영화 콘텐츠처럼 고해상도로 만들어진 입체영상은 저해상도 영상에서는 동일한 3D 깊이감을 느낄 수가 없다는 단점이 있다. 본 논문에서는 공간적 복잡도을 이용하여 깊이맵을 변환하여 입체감을 개선할 수 있는 방법을 제안한다. 제안 방법에서는 깊이맵의 히스토그램을 분석한 후에, 깊이맵을 다수의 깊이평면으로 분할한 다음에 깊이 평면을 변환한다. 마지막으로 변환된 깊이평면을 통합하여 최종 깊이맵을 생성한다. 주관적 평가 실험에서는 입체감 개선 및 이에 따라 발생하는 시각적 피로도를 검증하였다. 실험에서는 입체감의 개선이 증명되었으며, 영상 해상도가 낮아져도, 입체감은 유지되는 것을 보여주었다. 또한 얻어진 입체영상의 시각적 피로도 검증을 통해서 생성된 입체영상은 피로도가 증가하지 않는 것을 보여주었다.

• 방송공학회논문지
• /
• 제18권6호
• /
• pp.850-858
• /
• 2013

본 논문에서는 스테레오스코픽 3D 동영상에서 왼쪽과 오른쪽 영상 사이의 프레임 동기가 맞지 않아 시청에 어려움을 주는 문제를 해결하기 위해 두 영상에서 물체의 움직임에 따른 시간적 프레임 차분 영상을 이용한 동기화 방법을 제안한다. 먼저, 스테레오 조정(rectification) 과정을 통해 수직 시차를 보정한 왼쪽과 오른쪽 입력 동영상에서 시간적 프레임 차분 영상을 구하고, 두 차분 영상들에 대한 수평 방향 프로파일을 계산한다. 그 다음, 두 수평 프로파일의 절대 오차에 대한 평균 (mean of absolute difference(MAD))을 계산하여 그 값이 최소가 되는 프레임 조합을 찾아 스테레오스코픽 3D 동영상의 동기를 맞출 수 있도록 하였다. 실험결과, 두 영상의 프레임 동기가 맞는 프레임 조합에서 최소 MAD 값을 기록하여 제안 방법을 통해 스테레오스코픽 3D 동영상에서의 프레임 동기화가 가능하며, 제안 방법이 가우시안 잡음이나 H.264/AVC를 이용한 동영상 압축에 대해서도 강인함을 갖고 있음을 알 수 있다.

• 방송공학회논문지
• /
• 제17권4호
• /
• pp.584-595
• /
• 2012

최근 멀티미디어 서비스 관련 업계 및 시장에서는 콘텐츠로서의 3D 입체영상과, 전송기술로서의 HTTP 적응적 스트리밍 기법이 큰 관심을 받고 있다. 주목받고 있는 두 기술을 통해 유망하고 시장성 있는 멀티미디어 서비스 모델을 창출할 수 있을 것으로 기대되나, 현재의 표준기술에서는 두 기술의 유기적인 결합 방법을 제공하고 있지 않다. 3D 콘텐츠 서비스는 대역폭이 보장되거나 구애받지 않는 방송 및 저장 서비스 위주로 편중되어 있고, 적응적 스트리밍 서비스는 특정 코덱에 의존적이며, 단순한 영상구성 정보만을 제공하는 기초적 형태의 3D 서비스 제공 방법만을 제공하고 있다. 이에, 본 논문은 인터넷망을 기반으로 안정적이고 끊김 없는 스트리밍 서비스를 다양한 형태의 스테레오스코픽 비디오를 통해 호환성 있는 형태로 제공하기 위한 3D 비디오의 적응적 스트리밍 전송규격을 제안하고자한다. 제안하는 기술은 스테레오스코픽 비디오의 저장에 대한 서비스 지향적 표준기술인 스테레오스코픽 비디오 어플리케이션 포맷을 기반으로, 적응적 스트리밍에 대한 대표적 표준기술인 DASH를 통해 직접 적용 가능하도록 설계되었다. 본 논문의 제안 기술은 MPEG에서 작업표준안으로 채택되어 표준기술로 고려되고 있어, 향후 관련 분야에서의 실용적인 산업화를 위한 기틀을 제공할 수 있을 것으로 기대된다.