• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.176-177
• /
• 2019

360 도 VR (Virtual Reality) 영상을 기존의 비디오처럼 재생하고 전송하기 위해서는 아직까지도 논의 되어야할 많은 문제들이 존재한다. 특히 보는 장면에 비하여 전방위의 영상을 보내야하는 VR 영상은 매우 큰 용량을 가질 수 밖에 없다. 그럼에도 불구하고 사용자의 불편함을 덜기 위해서는 HMD (Head-Mounted Displays) 의 빠른 반응 속도가 필요하다. 따라서 QER (Quality Emphasized Region)기반의 전송 기법은 영역별로 차별화된 화질의 영상을 전송하여 실감미디어의 몰입감을 유지하고 대역폭의 낭비를 줄이는 뷰포트 적응적 360 도 비디오 스트리밍 시스템 (Viewport-Adaptive 360-Degree Video Streaming System)의 일종으로 제안되었다. 그러나, 사용자의 시점 정보를 계산하기 위해서는 매 프레임마다 차원 변환을 위한 복잡하고 많은 계산이 필요하고, 이러한 중복된 계산은 시스템의 성능을 저하시키는 요인이 될 수 있다. 본 논문에서는 이러한 차원 변환에 따른 자원낭비를 줄이기 위하여 QER 선택을 위한 개선 방법을 제안한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 하계학술대회
• /
• pp.92-95
• /
• 2018

가상 현실을 위한 360 영상 비디오 전송기술이 활발히 연구되고 있다. 그러나 현재 가상현실 기기의 컴퓨팅 연산능력과 대역폭은 고화질 360 영상을 재생하기에 한계가 있다. 이 한계를 극복하기 위해 본 논문은 High Efficiency Video Coding (HEVC)와 Scalability Extension of HEVC (SHVC)를 활용하여 타일 기반의 360 도 영상 전송 기법을 제안한다. 제안하는 HEVC 와 SHVC 인코더는 타일을 독립적으로 전송 할 수 있는 비트 스트림을 생성한다. 제안하는 추출기는 사용자 시점에 해당하는 타일의 비트 스트림을 추출한다. 제안하는 기법에 의해 추출된 SHVC 비트스트림의 기본계층은 전체화면을 나타내며, 강화계층은 사용자 시점에 해당하는 타일로 구성된다. 제안하는 HEVC 인코더를 사용할 때에는 저화질과 고화질을 따로 인코딩하여 고화질만 사용자 시점에 해당하는 타일을 추출한다. 전체화면을 고화질로 보내는 대신에 전체화면을 저화질로, 사용자화면을 고화질로 보내기 때문에 제안하는 기법은 디코더의 컴퓨팅 연산과 네트워크 bitrate 를 대폭 줄일 수 있다. 본 제안 기법의 실험 결과는 전체화면 전송 대비 47%이상의 bitrate 를 줄인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.212-215
• /
• 2021

본 논문에서는 6 Fisheye lens 원본 영상에 대하여 Insta360 stitcher, AutoStitch[4], As-Projective-AsPossible(APAP)[5] 스티칭 방법으로 360 도 파노라마 영상을 생성하고 기하학적 왜곡과 컬러 왜곡을 비교 평가한다. 360 도 파노라마 Image Quality Assessment(IQA) 메트릭으로 Natural Image Quality Evaluator(NIQE)[6], Blind/Referenceless Image Spatial Quality Evaluator (BRISQUE)[7], Perception based Image Quality Evaluator(PIQE)[8], Feature Similarity(FSIM)[9] 그리고 high frequency feature 에 대한 Structural Similarity(SSIM)[10]을 측정하여 정량적 평가를 하며 정성적인 비교를 통하여 파노라마 영상의 품질과 평가 메트릭에 대한 벤치마크를 제공한다.

• 방송공학회논문지
• /
• 제27권1호
• /
• pp.20-30
• /
• 2022

최근 VR (Virtual Reality) 기술이 주목받기 시작하면서 생동감 넘치는 VR 컨텐츠를 볼 수 있는 360° 파노라마 영상이 많은 관심을 받고 있다. 이미지 스티칭 기술은 360° 파노라마 영상을 제작하는데 주요한 기술로서 많은 연구가 활발하게 이루어지고 있다. 일반적인 스티칭 알고리즘은 특징점 기반 이미지 스티칭을 기반으로 한다. 하지만 기존의 특징점 기반 이미지 스티칭 방법들은 특징점에 크게 영향을 받는다는 문제가 존재한다. 이러한 문제를 해결하기 위해서 최근에는 딥러닝 기반의 이미지 스티칭 기술들이 연구되고 있지만 이미지 간의 겹치는 영역이 거의 없거나 큰 시차가 존재할 때 여전히 많은 문제점이 존재한다. 또한 실제 환경에서는 라벨링 된 정답 파노라마 영상을 얻을 수 없으므로 완전한 지도학습에 한계가 존재한다. 따라서 자율주행분야에 많이 이용되는 칼라(Carla) 시뮬레이터를 통해 카메라 센터가 다른 3개의 fisheye 이미지와 그에 대응되는 정답 영상을 제작하였다. 우리는 제작한 fisheye 영상으로360° 파노라마 영상을 만드는 이미지 스티칭 모델을 제안한다. 최종 실험 결과로는 실제 환경과 비슷하게 구성한 가상의 데이터 세트로 다양한 환경과 큰 시차에도 강인한 스티칭 결과를 검증한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1229-1231
• /
• 2022

RGBD 영상은 다양한 3 차원 비전 연구에서 유용하게 사용되며 고품질 RGBD 영상을 취득하기 위한 많은 연구들이 수행되었다. 기존의 영상 생성 연구들은 주로 좁은 FoV(Field of View) 영상을 사용하여서 전체 장면 중 상당 부분이 소실된 영상에 대한 정보를 생성한다. 본 논문에서는 기존의 좁은 FoV 영상으로부터 360 도 전방향 RGBD 영상을 생성하는 기법을 제안한다. 오버랩 되지 않는 4 장의 소수 영상으로부터 전체 파노라마 영상에 대해서 상대적인 FoV 를 추정하고, 360 도 RGBD 영상을 동시에 생성하는 적대적 생성 신경망 기반의 영상 생성 네트워크이다. 360 도 영상의 특징을 반영하도록 설계하여서 개선된 성능을 보인다.

• 전기전자학회논문지
• /
• 제21권4호
• /
• pp.412-415
• /
• 2017

본 논문에서는 고해상도 $360^{\circ}$ 전방위 IP 카메라를 이용한 다중 번호판 인식 시스템을 제안한다. 제안한 시스템은 $360^{\circ}$ 원형영상의 평면 분할 부와 다중 번호판 인식 부로 구성되었다. $360^{\circ}$ 원형영상의 평면 분할 부는 고해상도 $360^{\circ}$ 전방위 IP 카메라에서 원형영상 획득, 원형영상 분할, 평면영상으로 변환, 보간법을 사용한 픽셀 보정 및 컬러보정, 에지 보정 등의 과정을 거쳐 화질이 개선된 평면영상으로 출력한다. 다중 번호판 인식 부는 평면영상에서 다중 번호판 후보영역 추출, 다중 번호판 후보영역 정규화 및 복원, 신경망을 사용한 다중 번호판 숫자, 문자 인식 과정을 거쳐 다중 번호판을 인식하게 된다. 제안된 고해상도 $360^{\circ}$ 전방위 IP 카메라를 이용한 다중 번호판 인식 시스템을 평가하기 위하여 지능형 주차관제시스템 운영 전문 업체와 공동으로 실험한 결과, 97.8%의 높은 번호판 인식률이 확인되었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.230-232
• /
• 2019

최근 360 미디어 콘텐츠의 수요가 높아지면서 360 영상을 효율적으로 전송하기 위한 다양한 압축 및 전송 기법들이 연구되고 있다. 360 영상의 스트리밍 기법 중 하나인 타일 기반 적응적 스트리밍 기법은 360 비디오를 타일 그리드로 나누어 부호화 하고, 뷰포트(Viewport)에 해당하는 타일만 스트리밍 할 수 있도록 한다. 기존의 타일 기반 스트리밍 기법은 뷰포트가 전환될 때 서버에 새로운 인트라 프레임을 요구하고, 지연 시간을 줄이기 위해 빈번한 RAP(Random Access Point)가 요구된다는 단점이 있다. 본 논문은 기존의 타일 기반 스트리밍 방법에서 인트라 프레임의 공유를 통해 비트율의 효율을 높이는 IFS(Intra Frame Sharing) 알고리즘을 제안한다. 제안된 IFS 방법은 낮은 화질의 인트라 프레임을 높은 화질의 인트라 프레임 부호화 시 공유하여, 뷰포트 스위칭 시점에서 다른 화질 간의 뷰포트 전환 작업이 필요 없어 비트율의 증가를 최소화한다. 실험에서, IFS 방법은 기존의 MCTS 기반의 적응적 스트리밍 방식과 비교했을 때 BD-rate(%)가 약 13% 절감되었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 추계학술대회
• /
• pp.141-142
• /
• 2018

360 비디오는 VR 미디어의 확산과 함께 몰입형 미디어로 주목 받고 있으며, JVET(Joint Video Experts Team)에서는 post-HEVC 로 진행중인 VVC(Versatile Video Coding) 표준화에 360 비디오 부호화도 함께 포함하고 있다. 현재 JVET 에서는 360 비디오를 부호화 하기 위한 다양한 구(sphere) 영상의 2D 투영기법이 고려되고 있다. 이러한 2D 투영에서는 구 영상의 화소 샘플이 2D 영상에 비 균일하게 매핑되는 변환 왜곡이 발생하며, 이는 360 비디오의 부호화 효율을 저하시키는 원인이 된다. 본 논문에서는 CMP 의 개선된 투영기법인 기존의 EAC(Equi-Angular Cubemap)와 HEC(Hybrid Equiangular Cubemap)를 소개하고, 이를 바탕으로 HEC 의 확장 변환 기법을 제시하여 객관적/주관적 부호화 성능을 확인한다.

• 한국전자통신학회논문지
• /
• 제13권6호
• /
• pp.1293-1300
• /
• 2018

$360^{\circ}$ 영상은 많은 영상정보를 담고 있어 유용하나, 눈에 보이는 물체의 방향과 그 물체의 소리가 들려오는 방향이 다른 경우 시청자에게 피로도를 느끼게 하여 감각적 이질감이 증대되어 그 활용도가 떨어지고 있다. 이에 본 논문에서는 $360^{\circ}$ 영상에서 시선에 따른 음향 정위가 얼마나 일치하는지를 백분율로 나타내는 기준을 제안하며, 제시한 영상 음향 정위 일치율을 이용하여 몰입도를 증대시키는 $360^{\circ}$ 영상의 제작 가능성을 제시한다. 제안한 영상 음향 정위 일치율은, 입체음향 콘텐츠 제작, 재생 솔루션의 정위 성능을 측정, 평가에 유용하고, 더욱 실감성 높은 시스템을 제작하는데 기여할 것으로 기대한다.

• 한국항행학회논문지
• /
• 제27권3호
• /
• pp.306-313
• /
• 2023

실사 및 그래픽 기반 가상현실 콘텐츠는 360도 영상을 기반으로 하며, 시청자의 의도나 자동 추천 기능을 통한 뷰포트 추출이 필수적이다. 본 논문은 360도 영상에서 다중 객체 추적 기반의 뷰포트 추출 시스템을 설계하고, 다중 뷰포트 추출에 필요한 병렬화된 연산 구조를 제안한다. 360도 영상에서 뷰포트 추출 과정을 ERP 좌표의 3D 구 표면 좌표 변환과 3D 구 표면 좌표의 뷰포트 내 2D 좌표 변환 과정을 순서대로 픽셀 단위의 스레드로 구성하여 연산을 병렬화하였다. 제안 구조는 항공 360도 영상 시퀀스들에 대하여 최대 30개의 뷰포트 추출 과정에 대한 연산 시간이 평가되었으며, 뷰포트 수에 정비례하는 CPU 기반 연산 시간에 비해 최대 5240배 가속화됨을 확인하였다. ERP 프레임 I/O 시간을 줄일 수 있는 고속의 I/O나 메모리 버퍼를 사용 시 뷰포트 추출 시간을 7.82배 추가 가속화가 가능하다. 제안하는 뷰포트 추출 병렬화 구조는 360도 비디오나 가상현실 콘텐츠들에 대한 동시 다중 접속 서비스나 사용자별 영상 요약 서비스 등에 활용될 수 있다.