• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.126-128
• /
• 2021

MPEG(Moving Picture Experts Group) 비디오 그룹은 사용자에게 움직임 시차(motion parallax)를 제공하면서 3D 공간 내에서 임의의 위치와 방향의 시점(view)을 렌더링(rendering) 가능하게 하는 6DoF(Degree of Freedom)의 몰입형 비디오 부호화 표준인 MIV(MPEG Immersive Video) 표준화를 진행하고 있다. MIV 표준화 과정에서 참조 SW 인 TMIV(Test Model for Immersive Video)도 함께 개발하고 있으며 점진적으로 부호화 성능을 개선하고 있다. TMIV 는 여러 뷰로 구성된 방대한 크기의 6DoF 비디오를 압축하기 위하여 입력되는 뷰 비디오들 간의 중복성을 제거하고 남은 영역들은 각각 개별적인 패치(patch)로 만든 후 아틀라스에 패킹(packing)하여 부호화되는 화소수를 줄인다. 이때 아틀라스 비디오에 패킹된 패치들의 위치 정보를 메타데이터로 압축 비트열과 함께 전송하게 되며, 본 논문에서는 이러한 패킹 정보를 보다 효율적으로 표현하기 위한 방법을 제안한다. 제안방법은 기존 TMIV10.0 에 비해 약 10%의 메타데이터를 감소시키고 종단간 BD-rate 성능을 0.1% 향상시킨다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.193-196
• /
• 2021

홀로그램(Hologram)은 3차원 물체에서 나오는 빛의 정보를 제어하는 기술이다. 현재는 컴퓨터 생성 홀로그램(CGH)으로 생성한 디지털 홀로그램에 관한 연구, 특히 물체에서 나오는 빛의 정보를 최대한 기록하고 재현하여 디지털 홀로그램의 해상도를 향상 시키려는 연구가 활발히 진행되고 있다. 이에 본 논문에서는 고해상도 홀로그램 영상을 얻기 위해 딥러닝 기반 초해상도(Super Resolution) 네트워크를 훈련 및 최적화하여, 저해상도 위상 홀로그램 영상으로부터 높은 화질의 홀로그램 영상을 재현하는 고해상도 위상 홀로그램 영상을 생성하는 것을 목표로 한다. 이때 위상 홀로그램 영상의 특성을 이용한 순환 손실 함수(Circular loss function)를 새롭게 제안하며, 기존의 이미지 초해상도 신경망 모델을 학습시킬 때 자주 사용하는 L1 손실 함수와 비교했을 때 약 0.13dB 정도의 성능 향상이 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.215-216
• /
• 2020

Optical Flow는 컴퓨터 비전 분야의 많은 응용기술에 사용된다. 객체 탐지, 추적, 연속 영상 보간, 3D Reconstruction과 같은 최근에 활발히 연구되는 여러 분야에서 사용되는 기반 기술이다. 최근 딥러닝을 기반으로 한 다양한 연구가 활발히 진행되어 왔으며 높은 정확도를 보이고 있다. 이런 분야들은 많은 경우에 실시간 시스템에 적용되어 이미지로부터 정보를 연산한다. 본 논문은 MaskFlownet, SelFlow, LiteFlowNet2 등과 같은 높은 정확도를 가진 신경망 네트워크로 추정된 Optical Flow를 살펴본다. 각 신경망 네트워크로 얻어진 정확도를 비교하고 디스플레이 기술과 이미지 센서 기술의 발전으로 사용 수요가 많아진 고화질의 이미지를 실시간으로 처리하는 경우, 적용 가능한 Optical Flow의 성능을 분석하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.361-363
• /
• 2020

기존의 지도 또는 길 찾기 기능을 사용 할 때 방향 정보를 직관적으로 제시해주는 네비게이션 구현을 목표로, 사용 지역을 캠퍼스 내로 국한시켜 증강현실을 이용한 네비게이션을 구현하였다. 본 애플리케이션 개발에는 Mapbox maps API, ARCore, Unity 3D Engine, Android studio를 사용하였다. 사용지역을 확대시켜 Mobile device 뿐만 아니라 자동차 앞 유리 디스플레이에 접목하여 보다 다양한 서비스 제공을 기대할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.373-376
• /
• 2020

현대인들의 인터넷 사용률이 지속적으로 증가함에 따라 소비자들은 오프라인 매장에서 의류를 구매하기보다 인터넷 쇼핑을 통한 구매를 선호하게 되었다. 그러나 온라인 구매로 인해 정확한 스타일 확인 불가 및 확신할 수 없는 사이즈로 큰 불편함을 겪고 있다. 따라서 최근 가장 떠오르는 기술 중 하나인 AR을 실생활에 적용하여 사용자가 매장에 가지 않고 집에서도 편하게 자신의 스타일링을 확인할 수 있도록 하는 AR 피팅룸을 구현하여 솔루션을 제안하고자 한다. 본 프로젝트에서는 3D 표현을 위해 Kinect Xbox 카메라를 사용하여 사용자의 신체정보를 추출한 후 unity와의 연동을 통해 사용자에게 편리함을 제공할 수 있는 AR-fitting 시스템을 설계하였다. 선택한 옷을 가상으로 입어 볼 수 있는 쇼룸 형태의 서비스를 제공하며 제스처 인식을 통해 보다 편리한 의류 선택 및 사이즈 조절 등을 가능하게 하였다. 또한, 사용자의 입력 정보에 따른 사이즈 측정 결과를 제공함으로써 사용자의 의류 구매를 보다 효과적으로 만들어 줄 수 있을 것이다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.75-77
• /
• 2021

MPEG 비디오 그룹은 제한된 3D 공간 내에서 움직임 시차(motion parallax)를 제공하면서 원하는 시점(view)을 렌더링(rendering)하기 위한 표준으로 TMIV(Test Model for Immersive Video)라는 테스트 모델과 함께 효율적인 몰입형 비디오의 부호화를 위한 MIV(MPEG Immersive Video) 표준을 개발하고 있다. 몰입감 있는 시각적 경험을 제공하기 위해서는 많은 수의 시점 비디오가 필요하기 때문에 방대한 양의 비디오를 고효율로 압축하는 것이 불가피하다. TMIV 는 여러 개의 입력 시점 비디오를 소수의 아틀라스(atlas) 비디오로 변환하여 부호화되는 화소수를 줄이게 된다. 아틀라스는 선택된 소수의 기본 시점(basic view) 비디오와 기본 시점으로부터 합성할 수 없는 나머지 추가 시점(additional view) 비디오의 영역들을 패치(patch)로 만들어 패킹(packing)한 비디오이다. 본 논문에서는 아틀라스 비디오의 보다 효율적인 부호화를 위해서 패치 내에 생기는 작은 홀(hole)들을 채우는 기법을 제안한다. 제안기법은 기존 TMIV8.0 에 비해 1.2%의 BD-rate 이 향상된 성능을 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.337-339
• /
• 2020

오디오 초 해상도 기술은 저 해상도의 오디오 신호를 이용하여 고 해상도의 오디오를 복원 또는 생성해 내는 기술이다. 본 기술 분야는 기존에 주파수 대역 확장, 인공 대역 확장 기술 등으로 연구되었으나, 최근 딥러닝 기술의 발전, 이미지 초 해상도 기술 연구 등에 힘입어 오디오 초 해상도 기술 이라는 이름으로 주로 연구되고 있다. 본 논문에서는 이러한 오디오 초 해상도 기술에 연구 동향에 대하여 설명하고, 기존의 논문 들에서 주로 다루고 있는 음성 데이터 베이스가 아닌 MedleyDB 음악 데이터 베이스를 활용하여 실험을 수행하였다. 실험은 4-폴드 교차 검증을 통해 수행되었으며, 실험 결과 제안하는 컨벌루션 신경망 구조 기반 오디오 초 해상도 기술은 입력 저해상도 오디오 대비 SNR 이 3.41 dB 향상됨을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.269-271
• /
• 2020

In this letter, we propose a novel approach for stitching stereoscopic panoramas. When stitching stereoscopic panoramas, the amount of depth retrieved is the most important factor to pay attention for. Also, it is very crucial to deliver the two left and right panoramas with the right depth information to deliver good 3D perception. However, when stitching the two panoramas independently using the state-of-the-art algorithms and methods, we do still have some inconsistencies with the disparity map retrieved from the panoramas. To overcome this problem, we propose a method that modifies the latest conventional algorithm by making the two panoramas dependent of one another. This brings two panoramas with a much more consistent disparity map that lets users fully immerse into a comfortable stereoscopic vision.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.239-241
• /
• 2022

MIV(MPEG Immersive Video) 표준은 제한된 3D 공간의 다양한 위치의 뷰(view)들을 효율적으로 압축하여 사용자에게 임의의 위치 및 방향에 대한 6 자유도(6DoF)의 몰입감을 제공한다. MIV 의 참조 소프트웨어인 TMIV(Test Model for Immersive Video)에서는 몰입감을 제공하기 위한 여러 시점의 입력 뷰들 간의 중복 영역을 제거하고 남은 영역들을 패치(patch)로 만들어 패킹(packing)한 아틀라스(atlas)를 생성하고 이를 압축 전송한다. 아틀라스 영상은 일반적인 영상 달리 많은 불연속성을 포함하고 있으며 이는 부호화 효율을 크게 저하시키다 본 논문에서는 아틀라스 영상의 부호화 손실을 줄이기 위한 신경망 기반의 후처리 필터링 기법을 제시한다. 제안기법은 기존의 TMIV 와 비교하여 아틀라스의 복원 화질 향상을 보여준다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.146-149
• /
• 2022

기존 RDO(Rate Distortion Optimization) 기반 압축 방식은 압축 성능에 초점을 두기 때문에 영상 내 인지 특성이 무시될 수 있다. 따라서 RoI(Region of Interest)을 기반으로 압축률을 조절하는 연구가 고안[1, 2, 3, 4] 되었으며, HVS(Human Visual System) 관점에서 영상 내 중요한 부분에 대해 더 높은 품질로 영상을 압축하는 연구가 대부분이다. 최근 인공지능 기술이 발전함에 따라 지능형 영상 분석에 대한 수요가 증가하고 있으며, 이에 따라 머신 비전을 위한 영상 부호화 및 효율적인 전송에 대한 필요성이 대두되고 있다. 본 논문에서는 VVC(Versatile Video Coding)의 dQP(delta Quantization Parameter)를 활용하여 RoI(Region of Interest) 기반압축 방법을 제안하고, 두가지의 RoI 추출 방식을 소개한다. Detectron2 Faster R-CNN X101-FPN [5]의 첫번째 탐지기를 통해 후보 영역 기반 RoI 을 추출하고, 두번째 탐지기를 통해 객체 기반 RoI 을 추출하여, 영상 내 객체 부분과 비객체 부분으로 나누어 서로 다른 압축률로 압축을 수행하였으며, 이에 따른 성능을 비교하고자 한다.