• Broadcasting and Media Magazine
• /
• v.14 no.2
• /
• pp.88-98
• /
• 2009

MPEG에서는 빠르게 급변하는 시장의 요구를 충족시키기 위해, 기존의 긴 시간이 요구되는 표준화 방식과 달리, 서로 다른 기존 규격들을 특정 응용 서비스의 목적에 맞도록 조합해 하나의 표준으로 규격화하여 'MPEG-A(MPEG-Applications: ISO/IEC 23000) 멀티미디어 응용 표준'이라는 명칭으로 표준화 활동을 활발히 진행하고 있다. 본 논문에서는 2007년 10월 중국 신천에서 개최된 제 82차 MPEG회의에서 작업 표준안(Working Draft)으로 채택되어, 2008년 10월 부산에서 개최된 86차 MPEG회의에서 최종 국제표준 초안 (final draft international standard) 으로 승인된 스테레오스코픽 비디오 응용 포맷(Stereoscopic Video Application Format) 기술을 소개하고자 한다. 스테레오스코픽 비디오 응용 포맷은 현재 시장에 등장하여 점차 수요가 증가하고 있는 스테레오스코픽 카메라, 디스플레이, 모바일 단말 등의 장치를 이용한 스테레오스코픽 영상의 획득과 출력 서비스를 위한 요구사항 및 저장규격을 정의한다. 이러한 기술을 활용하여 기존의 특정 장치에서만 획득 및 출력이 가능했던 폐쇄적 서비스에서 벗어나, 스테레오스코픽 콘텐츠의 저장 및 사용자간 교환, 방송, 리치미디어 서비스에서의 활용 등과 같이 3차원 입체영상 콘텐츠의 활용도를 높일 수 있을 것으로 기대된다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.10c
• /
• pp.50-54
• /
• 2007

정보기술은 통신 및 멀티미디어 기술의 발전에 힘입어 빠르게 발전되고 있으며, 이에 따른 데이타베이스의 기술이 공간데이타, XML, 비디오, 음성과 같은 다양한 멀티미디어 데이터 분야에 적용되고 있다. 비디오 데이타는 순차적인 특성을 가지며, 시간과 공간정보가 결합된 3차원 데이타로서 처리시간이 높은 작업이기 때문에 검색이나 브라우징이 대단히 비효율적이다. 본 논문에서는 비주얼리듬을 이용하여 비디오 데이타에서 대표 프레임(Key Frame)을 추출한 다음 XML을 이용한 태그 및 키워드 정보를 대표 프레임에 삽입하여 검색이나 브라우징을 할 수 있는 동영상 내용편집 도구(Authoring Tool for Video Contents)를 제안한다. 비주얼리듬은 3차원의 시공간적인 정보를 2차원으로 매핑한 정보로 IDCT(inverse Discrete Cosine Transform)과정 없이 픽셀 정보를 얻을 수 있어 처리속도가 빠르며 컷, 와이프, 디졸브 등의 편집효과를 효과적으로 구분할 수 있다. 그리고 XML 데이타에는 태그 및 정보와 함께 대표 프레임의 정보까지 저장되므로 유사 화면 검색이나 내용 기반 검색을 제공할 수 있다.

• Broadcasting and Media Magazine
• /
• v.26 no.3
• /
• pp.59-70
• /
• 2021

미래의 메타버스 환경에서 3차원 가상 휴먼 표현은 매우 중요한 기술이며 영상 또는 비디오로부터 3차원 가상 휴먼 모델링이 핵심 기술이다. 본 기고문은 이 분야에 대한 충분한 사전 지식의 제공을 목표로 한다. 휴먼 복원 문제를 다루는 연구가 늘어남에 따라, 본 기고문에서 우리는 단일 영상 혹은 비디오로부터의 3차원 휴먼 복원 연구들에 대해 조사하고 그 결과를 다음과 같이 체계적으로 제시한다. 첫째, 3차원 휴먼 복원에 대한 배경 개념을 정의한다. 둘째, 제안된 분류법, 기여도, 정량적 결과에 따라 기존의 방법들을 상세하게 분석한다. 셋째, 관련 데이터셋 및 정성적 결과를 요약하여 연구자들이 이를 쉽게 활용할 수 있도록 한다. 마지막으로, 우리는 각 연구들을 분석하여 해당 방법들의 장점과 약점을 제시한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2009.04a
• /
• pp.134-137
• /
• 2009

최근 마이크로소프트 (Microsoft)에서 발표된 후 주목 받고 있는 JPEG XR 은 압축 효율 면에서 뛰어난 장점을 가지고 있다. 일반적으로 JPEG XR 은 기존의 JPEG 과는 다른 압축 과정과 주파수 성분 분포를 가지고 있다고 알려져 있다. 하지만 JPEG 압축 방식과 비교하여 JPEG XR 의 압축영역에서의 영상 필터 처리의 연구는 아직 미흡한 실정이다. 본 논문에서는 JPEG XR 의 압축과정과 주파수 성분 분포의 분석을 기반으로 효율적인 저역/고역통과 필터 함수를 제안하고, 체계적인 실험을 통해 제안한 필터함수의 효율성을 입증하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.148-150
• /
• 2020

최근 VVC(Versatile Video Coding) 표준 완료 이후 JVET(Joint Video Experts Team)은 인공신경망 기반의 비디오 부호화를 위한 AhG(Ad-hoc Group) 구성하고 인공지능을 이용한 비디오 압축 기술들을 검증하고 있으며, MPEG(Moving Picture Experts Group)에서는 DNNVC(Deep Neural Network based Video Coding) 활동을 통해 딥러닝 기반의 차세대 비디오 부호화 표준 기술을 탐색하고 있다. 본 논문은 VVC 에 채택된 신경망 기반의 기술인 MIP(Matrix Weighted Intra Prediction)를 참조하여, MIP 모델의 학습에서 손실함수가 예측 성능에 미치는 영향을 분석한다. 즉, 예측의 왜곡(MSE)만을 고려한 경우와 예측오차의 부호화 비용도 함께 반영한 손실함수를 비교한다. 실험을 위해 HEVC(High Efficiency Video Coding) 화면내 예측 대비 평균적인 PSNR 향상 정도를 나타내는 성능 지표(��PSNR)를 정의한다. 실험결과 예측오차의 부호화 특성을 반영하는 손실함수를 이용한 학습이 MSE 만 고려한 학습 대비 ��PSNR 기준 평균 0.4dB 향상됨을 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.123-126
• /
• 2020

딥러닝이 정답을 찾아가는 연구과정이라면 미술은 정답이나 오답의 단정적 결과보다는 미추(아름다움과 추함)를 포함하는 과정적, 창조적 행위에 가깝다고 할 수 있다. 다시 말하면 미술은 0과 1로만 환원할 수 없는 세계를 기술하여 감동을 주는 유기적 규칙이 내재되어 있고 때로는 과학이 만들어낸 결론을 뒤집는 반상식적 추론을 하기도 한다. 그러므로 딥러닝은 예술적 방식을 통하여 과학의 상식적 추론과의 좋은 거리(Fine distance)를 유지할 필요성이 있는데, 이를 위해서 기존 딥러닝의 이미지 생성과 관련하여 Distance, Classification, Optimization 등의 문제를 미술 표현 기법과 목적이 담겨있는 창작자의 Statement 키워드와의 유사성과 차이점을 비교 분석할 필요가 있다고 생각한다. 시각적 표현과 관련된 딥러닝의 성능은 아직 사람의 표현능력에 못 미치고 있어 본 논문에서는 콜라주 기법에 의한 비디오 생성을 위한 탐색적 실험 분석을 목적으로 GAN을 활용한 콜라주 비디오를 제작하고 그 문제점과 개선점을 제안하고자 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.162-165
• /
• 2020

본 논문에서는 차세대 비디오 압축 표준인 MPEG-5 Essential Video Coding (EVC) 에서 사용된 블록 분할 방식에 대해서 소개한다. EVC 에서 사용된 블록 분할 방식은 기존 비디오 압축 표준인 HEVC/H.265 에서 사용된 쿼드 트리(Quad-tree)가 아닌 이진 분할(Binary split)과 삼진 분할(Ternary split)을 사용한 Binary ternary tree(BTT) 기술을 사용하고 있다. 또한 기존 비디오 압축 기술과 달리 분할된 블록의 코딩 순서를 정해서 사용 할 수 있는 Split unit coding order (SUCO) 기술이 사용되고 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.601-604
• /
• 2023

기술이 발전함에 따라 복합적인 모달리티 정보를 포함하는 멀티미디어 데이터의 수집이 용이해지면서, 사람의 성격 특성을 이해하고 이를 개인화된 에이전트에 적용하고자 하는 연구가 활발히 진행되고 있다. 본 논문에서는 비디오 스트림 구조를 활용하여 사용자 특성을 예측하기 위한 동적 키프레임 추출 방법을 제안한다. 비디오 데이터를 효과적으로 활용하기 위해서는 무작위로 선택한 프레임에서 특징을 추출하던 기존의 방법을 개선하여 영상 내 시간에 따른 정보와 변화량을 기반으로 중요한 프레임을 선택하는 방법이 필요하다. 본 논문에서는 제 3자가 평가한 Big-five 지표 값이 레이블링된 대표적인 데이터셋인 First Impressions V2 데이터셋을 사용하여 외면에서 발현되는 특징들을 기반으로 영상에서 등장하는 인물들의 성격 특성을 예측했다. 결론에서는 선택된 키프레임에서 멀티 모달리티 정보를 조합하여 성격 특성을 예측한 결과와 베이스라인 모델과의 성능을 비교한다.

• Journal of Broadcast Engineering
• /
• v.24 no.1
• /
• pp.132-141
• /
• 2019

The necessity of transmitting video data over a narrow-bandwidth exists steadily despite that video service over broadband is common. In this paper, we propose a scalable video coding framework for low-resolution video transmission over a very narrow-bandwidth network by super-resolution of decoded frames of a base layer using a convolutional neural network based super resolution technique to improve the coding efficiency by using it as a prediction for the enhancement layer. In contrast to the conventional scalable high efficiency video coding (SHVC) standard, in which upscaling is performed with a fixed filter, we propose a scalable video coding framework that replaces the existing fixed up-scaling filter by using the trained convolutional neural network for super-resolution. For this, we proposed a neural network structure with skip connection and residual learning technique and trained it according to the application scenario of the video coding framework. For the application scenario where a video whose resolution is $352{\times}288$ and frame rate is 8fps is encoded at 110kbps, the quality of the proposed scalable video coding framework is higher than that of the SHVC framework.

• Proceedings of the IEEK Conference
• /
• 2000.09a
• /
• pp.359-362
• /
• 2000

본 논문에서는 비디오 영상에서 지역적 움직임 특성을 표현할 수 있는 지역적 움직임 활동(motion activity)에 관한 기술자(descriptor)를 제안한다. 제안된 방법은 화면 전체에 대해 지역적으로 높은 움직임 활동 정도를 갖는 영역에 대한 공간적 정보를 기술하고, 카메라 움직임에 무관하게 물체의 움직임 활동 특성을 정확히 표현하기 위해 움직임 벡터의 통계적 특성과 화면 분할을 이용한다 본 논문에서 제안하는 움직임 활동의 공간적 특성을 이용하면 동영상에서 화면의 일부에서 일어나는 움직임을 이용한 검색이 가능하고, 물체 추적, 감시 시스템에서도 활용이 가능하다. 실험으로 제안한 방법을 이용해서 움직임 활동이 높은 영역의 추출과정을 보이고, 이를 이용한 검색 결과를 보인다.