• 방송공학회논문지
• /
• 제26권6호
• /
• pp.680-691
• /
• 2021

최근 3차원 스캐너 등을 이용한 3차원 영상 획득 기술이 발전함에 따라 AR(Augmented Reality)/VR(Virtual Reality) 분야에서 활용되는 콘텐츠가 다양해졌다. 이러한 3차원 영상을 나타내는 방식에는 여러 가지가 존재하며, 포인트 클라우드는 그중 하나다. 포인트 클라우드는 3차원 공간에 존재하는 물체를 표현하는 점들의 집합을 의미하고, 실제 객체를 촬영하여 정밀하게 데이터를 획득 및 표현할 수 있다는 장점이 있다. 하지만, 3차원 영상의 특성상 2차원 영상보다는 표현해야 하는 데이터가 많고, 특히 여러 장의 프레임으로 구성된 동적인 3차원 객체는 더욱 많은 데이터를 요구하기에 이를 효율적으로 다루기 위한 고효율의 압축 기술이 개발되어야 한다. 본 논문에서는 도메인 변환 방법인 3D DCT(3-Dimensional Discrete Cosine Transform)를 이용한 움직임 예측을 통하여 포인트 클라우드 영상의 I 프레임 및 P 프레임을 효율적으로 압축하는 기술을 제안한다. 그리고 본 논문에서 제안된 기술과 Intra 프레임 기반의 배경 기술 및 2D DCT 기반의 V-PCC(Video-based Point Cloud Compression)와의 비교를 통해 제안 기술의 압축 성능을 확인한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권2호
• /
• pp.435-449
• /
• 2023

The state-of-the-art video-based point cloud compression(V-PCC) has a high efficiency of compressing 3D point cloud by projecting points onto 2D images. These images are then padded and compressed by High-Efficiency Video Coding(HEVC). Pixels in padded 2D images are classified into three groups including origin pixels, padded pixels and unoccupied pixels. Origin pixels are generated from projection of 3D point cloud. Padded pixels and unoccupied pixels are generated by copying values from origin pixels during image padding. For padded pixels, they are reconstructed to 3D space during geometry reconstruction as well as origin pixels. For unoccupied pixels, they are not reconstructed. The rate distortion optimization(RDO) used in HEVC is mainly aimed at keeping the balance between video distortion and video bitrates. However, traditional RDO is unreliable for padded pixels and unoccupied pixels, which leads to significant waste of bits in geometry reconstruction. In this paper, we propose a new RDO scheme which takes 3D-Distortion into account instead of traditional video distortion for padded pixels and unoccupied pixels. Firstly, these pixels are classified based on the occupancy map. Secondly, different strategies are applied to these pixels to calculate their 3D-Distortions. Finally, the obtained 3D-Distortions replace the sum square error(SSE) during the full RDO process in intra prediction and inter prediction. The proposed method is applied to geometry frames. Experimental results show that the proposed algorithm achieves an average of 31.41% and 6.14% bitrate saving for D1 metric in Random Access setting and All Intra setting on geometry videos compared with V-PCC anchor.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.576-578
• /
• 2020

최근 사용자에게 더욱 몰입감 있는 콘텐츠를 제공하기 위한 기술에 대한 관심이 증가하고 있으며 기존의 2D 콘텐츠와는 다른 새로운 방식인 3D 콘텐츠에 대한 연구가 활발히 진행되고 있으며 그 중 가장 대표적인 것이 Point Cloud 영상이라고 할 수 있다. Point Cloud의 경우 수많은 3차원 좌표를 가진 점들로 구성되어 있으며 각 점들마다 Attribute 값을 이용하여 색상 등의 표현이 가능한 구조로 이루어져 있다. 이러한 특성 때문에 Point Cloud 데이터는 방대한 용량을 가지고 있으며 기존의 2D 방식과 데이터 구조가 상이하기 때문에 새로운 압축 표준이 요구되었다. 이에 미디어 표준화 단체인 MPEG(Moving Picture Experts Group)에서는 MPEG-I(Immersive) 차세대 프로젝트 그룹을 이용하여 이러한 움직임에 대응하고 있다. MPEG-I의 part 5(Video-based Point Cloud Compression, V-PCC)에서는 객체를 대상으로 하여 기존의 비디오 코덱을 활용한 Point Cloud 압축 표준화를 진행중이다. V-PCC 데이터의 경우 기존의 2D 영상 데이터와 같이 전송을 통해 소비될 가능성이 아주 높기 때문에 이에 대한 고려가 필요하다. 현재 MPEG에서 표준화를 완료한 MMT(MPEG Media Transport)라는 전송 표준이 존재하기 때문에 이 기술을 활용 가능할 것으로 보인다. 따라서 본 논문에서는 Point Cloud 데이터를 압축한 V-PCC 데이터를 전송 표준 방식인 MMT를 이용하여 전송하는 방안에 대하여 제안한다.

• 방송공학회논문지
• /
• 제25권1호
• /
• pp.25-35
• /
• 2020

최근 하드웨어 성능뿐 아니라 영상 처리 기술의 발달로 인해 다양한 분야에서 사용자에게 자유로운 시야각과 입체감을 제공하는 3차원 포인트를 다루는 기술에 관한 연구를 지속하고 있다. 3차원 포인트를 표현하는 형식 중 포인트 클라우드 기술은 포인트를 정밀하게 획득/표현할 수 있다는 장점으로 인해 다양한 분야에서 주목받고 있다. 하지만 하나의 3차원 포인트 클라우드 콘텐츠를 표현하기 위해 수십, 수백만 개의 포인트가 필요하므로 기존의 2차원 콘텐츠보다 많은 양의 저장 공간을 요구한다는 단점이 존재한다. 이러한 이유로, 국제 표준화 기구인 MPEG (Moving Picture Experts Group)에서는 3차원 포인트 클라우드 콘텐츠를 효율적으로 압축 및 저장하고, 사용자에게 전송하는 방안에 대해 계속 연구를 진행 중이다. 본 논문에서는 MPEG-I (Immersive) 그룹에서 제안한 V-PCC(Video based Point Cloud Compression) 부호화기를 통해 생성된 V-PCC 비트스트림을 MMT (MPEG Media Transport) 표준에서 정의한 MPU (Media Processing Unit)로 구성하는 방안을 제안한다. 또한, MMT 표준에서 정의한 시그널링 메시지를 확장하여 3차원 포인트 클라우드 콘텐츠의 영역 선별적 전송 방안을 위한 파라미터와 사용자의 요구에 따라 선택적으로 품질 파라미터를 결정할 수 있도록 V-PCC에서 상정하는 품질 파라미터를 추가 정의한다. 마지막으로, 본 논문에서는 제안한 기술을 기반으로 검증 플랫폼의 설계/구현을 통해 결과를 확인한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.47-50
• /
• 2022

In this paper, we proposed a method for Video-based point cloud compression reference software TMC2 encoder with an option for empty partitions in point cloud encoding. This encoder option allows tile initialization and process for an empty partition. The proposed method provides the TMC2 encoder the robustness to process dynamic point clouds.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.147-150
• /
• 2021

최근 컴퓨터 그래픽 기술이 발전함에 따라 가상으로 만들어낸 객체와 현실 객체 사이의 분간이 어려워지고 있으며, AR/VR/XR 등의 서비스를 위해 현실 객체를 컴퓨터 그래픽으로 표현하는 기술의 연구가 활발히 진행되고 있다. 포인트 클라우드는 현실 객체를 표현하는 기술 중의 하나로 객체의 표면을 수많은 3차원의 점으로 표현하며, 2차원 영상보다 더욱 거대한 데이터 크기를 가지게 된다. 이를 다양한 서비스에 응용하기 위해서는 3차원 데이터의 특징에 맞는 고효율의 압축 기술이 필요하며, 국제표준기구인 MPEG에서는 연속적인 움직임을 가지는 동적 포인트 클라우드를 2차원 평면으로 투영하여 비디오 코덱을 사용해 압축하는 Video-based Point Cloud Compression (V-PCC) 기술이 연구되고 있다. 포인트 클라우드를 2차원 평면에 투영하는 방식은 점유 맵 (Occupancy Map), 기하 영상 (Geometry Image), 속성 영상 (Attribute Image) 등의 2차원 정보와 보조 정보를 사용해 압축을 진행하고, 부호화 과정에서는 보조 정보와 2차원 영상들의 정보를 사용해 3차원 포인트 클라우드를 재구성한다. 2차원 영상을 사용해 포인트 클라우드를 생성하는 특징 때문에 압축 과정에서 발생하는 영상 정보의 열화는 포인트 클라우드의 품질에 영향을 미친다. 이와 마찬가지로 추가적인 기술을 사용한 2차원 영상 정보의 향상으로 포인트 클라우드의 품질을 향상할 수 있을 것으로 예상된다. 이에 본 논문은 V-PCC 기술에서 생성되는 영상 정보에 2차원 보간 (Interpolation) 기술을 적용하여 기존의 영상 정보에 포함되지 않은 추가적인 포인트를 생성하는 것으로 재구성되는 포인트 클라우드의 밀도를 증가시키고 그 영향을 분석하고자 한다.

• 방송공학회논문지
• /
• 제24권4호
• /
• pp.660-669
• /
• 2019

최근 3차원 스캐닝 장비 및 다차원 어레이 카메라의 발달로 AR(Augmented Reality)/VR(Virtual Reality), 자율 주행과 같은 응용분야에서 3차원 데이터를 다루는 기술에 관한 연구가 지속해서 이루어지고 있다. 특히, AR/VR 분야에서는 3차원 영상을 포인트 데이터로 표현하는 콘텐츠가 등장하였으나, 이는 기존의 2차원 영상보다 많은 양의 데이터가 필요하다. 따라서 3차원 포인트 클라우드 콘텐츠를 사용자에게 서비스하기 위해서는 고효율의 부호화/복호화와 저장 및 전송과 같은 다양한 기술 개발이 요구된다. 본 논문에서는 MPEG-I(MPEG-Immersive) V-PCC(Video based Point Cloud Compression) 그룹에서 제안한 V-PCC 부호화기를 통해 생성된 V-PCC 비트스트림을 MPEG-DASH(Dynamic Adaptive Streaming over HTTP) 표준에서 정의한 세그먼트로 구성하는 방안을 제안한다. 또한, 사용자에게 3차원 좌표계 정보를 제공하기 위해 시그널링 메시지에 깊이 정보 파라미터를 추가로 정의한다. 그리고 본 논문에서 제안된 기술을 검증하기 위한 검증 플랫폼을 설계하고, 제안한 기술의 알고리듬 측면에서 확인한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.33-36
• /
• 2021

본 논문에서는 강화학습을 이용하여 몰입형 영상의 압축 효율을 향상시키는 기법을 제안한다. 몰입형 영상이란 3DOF+ 영상 혹은 Point Cloud 영상과 같이 사용자가 직접 체험할 수 있는 영상을 의미한다. 또한 몰입형 영상은 그 특성에 의해 방대한 양의 정보를 가지고 있다. 따라서 이를 압축하기 위한 압축 방법들이 연구되고 있으며, 일반적으로 3D 공간의 영상을 2D 공간으로 사영하는 방식을 사용한다. 하지만 이 과정에서 정보가 존재하지 않는 영역이 생성되며 이는 압축 효율 저하의 원인이 된다. 이러한 문제를 해결하기 위하여 영상의 특성을 반영할 수 있도록 강화학습을 통한 채우기 기법을 제안한다. 실험 결과 제안한 기법이 기존 기법에 비해 좋은 성능을 보임을 확인할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.185-188
• /
• 2019

3D 영상 데이터 중 하나인, 포인트 클라우드는 3 차원 데이터를 정밀하게 획득 할 수 있다는 장점으로 인해 군사, 교육, 의료, 건축 등의 다양한 분야에서 사용되고 있다. 특히, 자율 주행 분야에서 사용되는 동적 획득 포인트 클라우드는 광범위한 영역을 표현하므로 방대한 양의 데이터를 갖고 있어, 효율적인 압축이 필수적이다. 비디오 코덱을 활용하여 3 차원 데이터 압축을 진행하는 V - PCC 의 경우, 신뢰성과 범용성이 높다는 장점이 있으나, 2D 비디오 영상을 활용하기 때문에 대용량 및 광범위한 데이터의 압축이 불가능하다는 한계를 지니고 있다. 따라서, 본 논문에서는 V- PCC 의 한계를 극복하고, 광범위한 영역의 정보를 표현하는 동적 획득 포인트를 압축하기 위해 포인트 클라우드를 분할 및 양자화하는 방안을 제시하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.505-509
• /
• 2020

포인트 클라우드 콘텐츠는 3 차원 공간에 수십만 개가 넘는 점들의 집합으로 이루어진 3D 데이터로 각 점들은 3 차원 공간의 좌표 데이터를 필요로 하고 추가적으로 색 (color), 반사율 (reflectance), 법선 벡터 (normal vector) 등과 같은 속성으로 구성되어 있다. 기존 2D 영상보다 한단계 높은 차원을 가진 3D 포인트 클라우드를 사용자에게 효율적으로 제공하기 위해서 고효율의 압축 기술 연구가 진행되고 있는데, 다양한 장치에서 발생하는 성능 차이에 구애 받지 않고 사용자에게 알맞은 서비스를 제공하기 위해서는 다양한 확장성에 대한 연구가 필요하다. 이에 본 논문에서는 포인트 클라우드 압축에 사용되는 Video-based Point Cloud Compression (V-PCC) 구조에 SHVC 코덱을 적용하여, 밀도 확장성을 갖는 포인트 클라우드 압축 비트스트림을 생성하는 방안을 제안하였다.