• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.04a
• /
• pp.3-6
• /
• 2001

오늘날, 웹과 네트???p의 발달로 인하여 많은 멀티미디어 정보들이 쏟아지고 있고 이에 따라 멀티미디어 정보에 대한 검색 시스템이 활발히 연구중에 있다. 아직까지 음악정보 검색에 대한 연구는 미비한데 최근 XML이 인터넷상에서 정보교환의 표준으로 자리잡으면서 서양음악을 표현하기 위한 방법으로서 MusicXML, ScoreML과 같은 포맷이 고안되었다. 기존의 음악검색기법들이 음악파일에 대해 선율 정보를 검색한 것에 비해 본 논문은 음악을 텍스트로 표현한 XML문서에 대해 멜로디만을 동기 단위로 추출하여 이동도법으로 변환하여 저장함으로서 효율적인 선율 검색이 되도록 데이터베이스 저장소를 설계한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.11a
• /
• pp.183-185
• /
• 2018

방송제작을 위해 이제 필수 항목이 된 가상스튜디오는 비용이나 운용면에서 일반 스튜디오보다 어려운 점이많다. 따라서 HD 가상스튜디오를 구축할 때 저비용으로 시설을 변경하여 UHD 제작을 할 수 있는 가상스튜디오 환경을 고려하여 구축할 필요가 있다. 이를 위해 UHD 포맷까지 겸용 가능한 장비들로 가상스튜디오를 구축하였다. 또한 카메라의 움직임 트래킹 센서가 환경변화에도 정확한 위치 추적을 할 수 있는 광학적인 센서를 도입하였다. 즉, 천장에 원형 모양의 빛 반사 스티커를 랜덤하게 달아 한번 셋업하면 가상스튜디오 카메라를 어려움 없이 사용할 수 있도록 하였다. 또한 카메라 콘트롤러와 비디오 스위처 등도 하드웨어 대신에 PC기반의 운용소프트웨어를 설치하여 편리하게 운용할 수 있도록 하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.322-324
• /
• 2021

최근 고주사율 디스플레이 시장 확대와 실감콘텐츠에 대한 요구에 따라, 높은 프레임율의 동영상 콘텐츠에 대한 관심이 증가하고 있다. 본 논문은 이용자의 비디오를 초슬로우 비디오로 변환해주는 웹 기반 서비스 시스템을 제안한다. 이는 사용자가 웹을 통해 비디오를 업로드하면, 딥러닝 기반의 비디오 프레임 보간 알고리즘을 이용하여 초고프레임율의 동영상으로 변환하며. 변환된 초저속 비디오를 웹을 통해 보여주거나 파일 포맷으로 제공한다. 제안 시스템은 복잡한 연산을 요구하는 딥러닝 네트워크 모듈과 사용자와의 상호작용을 위한 웹 페이지 모듈로 구성되었다. 프레임 보간을 위해서, State-of-the-art 기술인 딥러닝 기반의 Real-Time Intermediate Flow Estimation for Video Frame Interpolation 방법이 활용되었으며, 웹페이지는 HTML, CSS, Javascript, Flask를 사용하여 구축되었고, Flask를 활용하여 두 모듈이 연동되었다. 제안 웹 기반 시스템을 통해, 사용자는 딥러닝 네트워크 구동에 필요한 별도의 지식 없이 통신 자원만으로 고실감의 경험과 편의성을 제공받을 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.662-663
• /
• 2020

최근 MPEG 에서는 인공신경망 모델을 다양한 딥러닝 프레임워크에서 상호운용 가능한 포맷으로 압축 표현할 수 있는 NNR(Compression of Neural Network for Multimedia Content Description and Analysis) 표준화를 진행하고 있다. 본 논문에서는 MPEG-NNR 에서 CNN 모델을 압축하기 위한 지역 비선형 양자화(Local Non-linear Quantization: LNQ) 기법을 제시한다. 제안하는 LNQ 는 균일 양자화된 CNN 모델의 각 계층의 가중치 행렬 블록 단위로 추가적인 비선형 양자화를 적용한다. 또한, 제안된 LNQ 는 가지치기(pruning)된 모델의 경우 블록내의 영(zero) 값의 가중치들은 그대로 전송하고 영이 아닌 가중치만을 이진 군집화를 적용한다. 제안 기법은 음성 분류를 위한 CNN 모델(DCASE Task)의 압축 실험에서 기존 균일 양자화를 대비 동일한 분류 성능에서 약 1.78 배 압축 성능 향상이 있음을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.456-458
• /
• 2020

한국수화언어(한국수어)는 농인들이 사용하는 언어이며, 농인이라 함은 청각장애를 가진 사람으로서 한국수어를 일상어로 사용하는 사람을 말한다. 수어를 하나의 언어로써 다른 언어로의 번역 또는 상호번역을 위하여 기계학습 기반의 기술이 연구개발 되고 있으나, 수어는 영상 기반의 언어이고 한국수어의 문법 및 사전체계의 구축이 진행 중인 이유로 한국수어의 번역기술은 상대적으로 다른 이종언어 간의 번역기술에 비하여 발전속도가 느리다. 본 논문에서는 한국어를 한국수어로 번역하여 표현하기 위하여 필요한 수어 스크립트 포맷 및 데이터 인터페이스 규격을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.821-824
• /
• 2022

최근 딥러닝(Deep Learning) 기술이 다양한 분야에서 활용되고 있으며, 사전 학습된 딥러닝 모델에 대한 압축과 전송 방안에 관한 연구 또한 활발히 진행되고 있다. 이와 관련하여, 국제 표준화 기구인 ISO/IEC 산하 MPEG(Moving Picture Expert Group)에서는 인공신경망 모델을 다양한 딥러닝 프레임워크(Deep Learning Framework)에서 상호운용 가능한 포맷으로 압축 표현할 수 있는 NNC(Compression of Neural Network for Multimedia Content Description nd Analysis) 표준화를 진행하고 있다. 압축된 딥러닝 모델의 데이터를 효과적으로 저장하여 전송 및 사용하기 위해서는 ISOBMFF(ISO based Media File Format) 캡슐화 과정이 필요하다. 본 논문에서는 MPEG의 NNC 표준에 따라 사전 학습된 딥러닝 모델을 압축한 후 이를 통해 생성된 비트스트림(bitstream)을 ISOBMFF로 캡슐화하기 위한 기술을 제안 및 실험한다. 또한, 실험에 대한 검증을 위하여 생성된 ISOBMFF 데이터를 비트스트림으로 복원한 뒤 복호화하여 입력 비트스트림과 차이가 없음을 확인한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1253-1255
• /
• 2022

예능 프로그램에서 관찰예능 포맷은 널리 사용되는 형태이다. 본 연구에서는 AI기반 리프레이밍 기술을 활용하는 새로운 관찰 예능 제작 기법을 제안한다. 제안방식은 실제 방송프로그램 KBS2 신상출시 편스토랑에 적용되었다. 연구의 조건에 부합하는 촬영 장비의 기능조건과 조사결과를 다룬다. 센서타입와 연속녹화시간은 장비선정에 있어 핵심 고려요소로 나타났다. 시스템 구성은 제작 워크플로우에 따라 촬영파트와 편집파트로 나누어 소개한다. 촬영파트는 실제 제작현장의 기록을 바탕으로 작성되었다. 편집파트의 경우 자체 개발한 편집도구로 이루어지며, 핵심모듈인 AI엔진과 고속렌더링모듈에 대한 소개를 하였다. 향후 최신 촬영 장비의 도입, 처리성능의 향상 등을 통해 제안방식의 적용처를 넓혀갈 수 있을 것으로 기대한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.836-838
• /
• 2022

3D Point Cloud는 3D 콘텐츠를 더욱 실감 나게 표현하기 위한 데이터 포맷이다. Point Cloud 데이터는 3차원 공간상에 존재하는 데이터로 기존의 2D 영상에 비해 거대한 용량을 가지고 있다. 최근 대용량 Point Cloud의 3D 데이터를 압축하기 위해 V-PCC(Video-based Point Cloud Compression)와 같은 다양한 방법이 제시되고 있다. 따라서 Point Cloud 데이터의 원활한 전송 및 저장을 위해서는 V-PCC와 같은 압축 기술이 요구된다. V-PCC는 Point Cloud의 데이터들을 Patch로써 뜯어내고 2D에 Projection 시켜 3D의 영상을 2D 형식으로 변환하고 2D로 변환된 Point Cloud 영상을 기존의 2D 압축 코덱을 활용하여 압축하는 기술이다. 이 V-PCC로 변환된 2D 영상은 기존 2D 영상을 전송하는 방식을 활용하여 네트워크 기반 전송이 가능하다. 본 논문에서는 V-PCC 방식으로 압축한 V3C 데이터를 방송망으로 전송 및 소비하기 위해 MPEG Media Transport(MMT) Packet을 만드는 패킷화 방안을 제안한다. 또한 Server와 Client에서 주고받은 V3C(Visual Volumetric Video Coding) 데이터의 비트스트림을 비교하여 검증한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.11a
• /
• pp.371-374
• /
• 2008

최근 인터넷과 네트워크 기술이 급격히 발전함에 따라 대용량의 동영상 데이터에 대한 서비스 요구가 급격히 증가하고 있으며, 인터넷 사용자는 비디오, 오디오, 텍스트 등으로 표현되는 다양한 멀티미디어 컨텐츠를 쉽게 이용할 수 있게 되었다. 이러한 환경에서 동영상 컨텐츠의 저장, 교환 및 검색에 있어서 보다 나은 편리성을 요구하게 되었고, 이것은 동영상 데이터의 다양한 정보를 기술하기 위한 메타데이터의 중요성을 더욱 증대시키게 되었다. 그러나 이러한 서비스들을 데이터 포맷 및 서비스 종류에 따라 각기 다른 표준을 사용하고 있어 업계간 또는 서비스간에 다르게 표현되는 메타데이터 정보들을 통합 관리하기는 어려운 실정이다. 따라서, 이 논문에서는 기존의 메타데이터 관리 시스템의 이점을 수용하고, 이를 확장하여 각각의 표준에 따라 서로 다르게 표현되는 동영상 메타데이터를 통합 관리하기 위한 시스템을 제안한다.

• Journal of Korea Multimedia Society
• /
• v.6 no.5
• /
• pp.876-888
• /
• 2003

The U.S., Japan and Korea have realized the importance of establishing standards for eBook document formats and with government bodies, related industries and academic circles, OEB PS, JepaX and EBKS were established. However, compared to OEB of the U.S. and JepaX of Japan, EBKS contains different objective for establishment and different structures. As a result, for converting between documents of different standards, exact analysis of the document structures are called for and minimization of information loss when actually converting documents is required. Therefore, a method for explicit exchange between documents of different standards minimizing document structure is proposed and examples are looked at. As a result, in this paper, conversion possibilities between EBKS and OEB/JepaX are introduced and the result can be applied to cases when exchanging eBook standards and other formats.