• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.11a
• /
• pp.15-17
• /
• 2018

VVC(Versatile Video Coding)는 입력된 영상을 CTU(Coding Tree Unit) 단위로 분할하여 코딩하며, 이를 다시 QTBTT(Quadtree plus binary tree and triple tree)로 분할하고, TU(Transform Unit)도 이와 같은 단위로 분할된다. 따라서 TU의 크기는 $4{\times}4$, $4{\times}8$, $4{\times}16$, $4{\times}32$, $8{\times}4$, $16{\times}4$, $32{\times}4$, $8{\times}8$, $8{\times}16$, $8{\times}32$, $16{\times}8$, $32{\times}8$, $16{\times}16$, $16{\times}32$, $32{\times}16$, $32{\times}32$, $64{\times}64$의 17가지 종류가 있다. 기존의 VVC 참조 Software인 VTM에서는 디블록킹필터와 SAO(Sample Adaptive Offset)로 이루어진 인루프필터를 이용하여 에러를 복원하는데, 본 논문은 TU 크기에 따라서 원본블록과 복원블록의 차이(에러)가 통계적으로 다름을 이용하여 서로 다른 CNN(Convolution Neural Network)을 구축하고 에러를 복원하는 방법으로 VTM의 인루프 필터를 대체한다. 복원영상의 에러를 감소시키기 위하여 TU 블록크기에 따라 DenseNet의 Dense Block기반 CNN을 구성하고, Hyper Parameter와 복잡도의 감소를 위해 네트워크 간에 일부 가중치를 공유하는 모양의 Network를 구성하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.260-261
• /
• 2018

MPEG과 VCEG은 차세대 비디오 부호화 표준 기술 개발를 위한 JVET(Joint Video Exploration Team)을 구성하여 현재 비디오 표준화인 HEVC 대비 높은 부호화 효율을 목표로 연구를 진행하며 CfP(Call for Proposal) 단계를 진행 중이다. JVET의 공통 플랫폼인 JEM(Joint Exploration Test Model)은 HEVC의 quad-tree 기반 블록 분할 구조를 대신하여 더 많은 유연성을 제공하는 QTBT(Quad-tree plus binary-tree)가 적용되었다. QTBT는 화면 내 부호화 효율을 높이기 위한 하나의 방법으로 휘도와 색차 신호에 대해 분할된 블록 구조를 지원한다. 이러한 방법은 채널 간 블록 분할 모양이 동일하거나 비슷한 경우에 중복되는 블록 분할 신호가 발생할 수 있는 단점이 있다. 따라서 본 논문에서는 화면 내 부호화에서 채널 간 유사도 비교를 이용하여 적응형 색차 블록 방법을 제안한다. 제안한 방법의 실험 결과로 JEM 6.0과 비교하여 CfE(Call for Evidence) 영상에서 평균 0.28%의 Y BD-rate 감소와 함께 평균 124.5%의 부호화 복잡도 증가를 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.96-99
• /
• 2018

최근 초고화질 영상뿐만 아니라 360 비디오 콘텐츠의 보급이 확산되고 있다. 이미 대중적으로 보급된 스마트폰을 통해 누구나 쉽게 이 360 비디오 콘텐츠를 접할 수 있는데, 스마트폰의 성능은 제한적일 수 밖에 없다. 따라서 본 논문은 모바일 VR 에서 360 비디오 병렬처리를 수행할 때 보다 적합한 최적화 방법 2 가지를 소개한다. 이를 위해 전력 소모를 줄이는 장점으로 인해 모바일 디바이스에 많이 사용되는 비대칭 멀티코어의 특징을 활용한다. 두 방법 모두 공통적으로 각 코어의 성능비와 할당되는 작업량을 비례하게 하여 디코딩 작업의 시간을 줄이는 방법들이다. 첫 번째 방법은 영상을 타일로 분할할 때 각 코어의 성능비와 비례하게 분할하는 방법이다. 해당 기법을 적용하기 위해서, 비디오 크기별 연산 복잡도 분석 모델을 활용하여 사용한다. 제안하는 기법을 사용한 실험 결과, 평균적으로 약 25%의 디코딩 시간 개선을 보였다. 두 번째 방법은 타일로 분할된 영상의 각 복잡도 정도를 PU 의 양으로 추정하여, 각 코어의 성능비와 비례하게 코어에 할당하는 방법이다. 해당 기법을 사용하기 위해서, PU 의 양과 연산 복잡도 정도의 상관관계를 회귀분석하여 이를 이용한다. 제안하는 기법을 사용한 실험 결과, 약 9~16%의 디코딩 시간 개선을 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.213-216
• /
• 2018

본 논문에서는 사람의 인지 시각 특성 중 하나인 JND(Just Noticeable Difference)를 이용한 인지 비디오 부호화 기법을 제안한다. JND 기반 인지 부호화 방법은 사람의 인지 시각 특성을 이용해 시각적으로 인지가 잘 되지 않는 인지 신호를 제거함으로 부호화 효율을 높이는 방법이다. 제안된 방법은 기존 수학적 모델 기반의 JND 기법이 아닌 최근 각광 받고 있는 데이터 중심(data-driven) 모델링 방법인 심층 신경망 기반 JND 모델 생성 기법을 제안한다. 제안된 심층 신경망 기반 JND 모델은 비디오 부호화 과정에서 입력 영상에 대한 전처리를 통해 입력 영상의 인지 중복(perceptual redundancy)를 제거하는 역할을 수행한다. 부호화 실험에서 제안된 방법은 동일하거나 유사한 인지화질을 유지한 상태에서 평균 16.86 %의 부호화 비트를 감소 시켰다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.11a
• /
• pp.49-52
• /
• 2018

KBS를 비롯한 지상파방송 3사는 실시간 UHD방송과 VOD 온라인 동영상 서비스가 결합된 세계 최초의 지상파 양방향 UHD 플랫폼인 Tiviva(이하 티비바) 서비스를 2017년 11월 오픈하였다. 티비바는 별도의 셋톱박스 없이 UHD TV에 직접수신 안테나와 인터넷을 연결하여 지상파 방송사의 실시간 방송 채널 외에 다양한 UHD VOD와 클립을 이용할 수 있고, 스포츠와 드라마, 종편(JTBC, MBN), 영화 등 50여 개의 IP채널을 추가로 볼 수 있는 서비스이다. 이후 2018년 1월에는 이용자 편리성과 자동추천 기능 등 UI/UX를 크게 개선한 티비바 2.0을 업데이트 하였고, 평창올림픽 기간에는 전 경기 실시간 스트리밍 및 올림픽특별관을 운영하였다. 2018년 6월 러시아 월드컵 기간에는 축구 경기 UHD HDR 방송 중계와 함께 티비바를 통한 HDR VOD를 최초로 서비스하여 스포츠 경기를 즐기는 또다른 즐거움을 선사하였다. 본 논문에서는 러시아 월드컵 HDR VOD 서비스를 준비하고 시행하기 위한 시스템 설계 및 진행과정, 기술 이슈 등에 대해서 기술하려고 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.313-316
• /
• 2018

최근 미디어의 생성 및 소비 기술의 발전으로 몰입도 있는 콘텐츠에 대한 수요가 증가하고 있다. View Interpolation 기술은 두 개의 좌/우 영상을 기반으로 하여 두 영상의 중간 시점에 해당하는 영상을 생성해내는 기술이다. 먼저 Depth Hole Filling Module을 이용하여 좌/우 영상 및 그에 대응하는 깊이 지도를 입력으로 받아 깊이 지도에 존재하는 오류를 검출하고, 보정한다. 깊이 지도의 오류 보정이 완료되면, 해당 데이터를 각각 Feature Matching Module 및 Layer Dividing Module로 전달한다. Feature Matching Module은 실사 영상 내의 특징점들을 검출하고, 두 영상 내 특징점을 매칭하는 역할을 수행하며, Layer Dividing Module은 깊이 값을 기반으로 영상의 Layer를 분할한다. Feature Matching Module에서 특징점의 매칭이 완료되면, 특징점의 영상 내 좌표 및 해당 좌표에서의 깊이 값을 Distance Estimating Module로 전달한다. Distance Estimating Module은 전달받은 특징점의 좌표 및 해당 좌표에서의 깊이 값을 기반으로 전체 깊이 값에서의 이동도를 계산한다. 이와 같이 이동도의 계산 및 Layer 분할이 완료되면, 각 Layer를 이동도에 기반하여 이동시키고, 이동된 Layer들을 포개어 배치함으로써 View interpolation을 완성한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.223-224
• /
• 2018

기계학습 기반 비디오 화질 자동 측정 기술은 주관적 화질 평가를 대체하기 위한 기술로, 비디오를 입력 신호로 화질 평가 결과를 출력 신호로 하는 기계학습 모델을 통해서 개발하는 기술이다. 학습에 필요한 비디오 데이터 셋은 입력 신호인 비디오 시퀀스와 입력의 출력신호로 학습할 주관적 화질 평가 결과로 구성된다. 이때 데이터 셋의 일부는 기계학습 기반 비디오 화질 자동 측정 기술 개발 과정에서 학습에 사용하고, 남은 일부는 개발 기술의 성능 평가에 사용한다. 일반적으로 기계학습 기반 기술의 성능은 학습 데이터의 양과 질에 비례한다. 그러나, 기계학습 기반 비디오 화질 자동 측정 기술 개발에 필요한 데이터 셋은 주관적 화질 평가 결과를 포함해야 하므로, 데이터 양을 늘리는 것은 쉬운 문제가 아니다. 이에 본 논문에서는 압축 비디오에 대한 화질 자동 측정 기술 개발을 위해 필요한 데이터 셋을 양과 질적 측면에서 효율적으로 구축하는 방법을 제안한다. 양적 측면에서 효율성을 높이기 위해 부호화 복잡도와 평가 난이도 기반으로 시퀀스를 선정 방법을, 질적 측면에서 효율성을 높이기 위해 쌍 비교(Pairwise Comparison)기반의 주관적 화질 평가 방법을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.1506-1509
• /
• 2013

본 논문에서는 고성능 HEVC(High Efficiency Video Coding) 복호기 설계를 위한 효율적인 in-loop filter의 하드웨어 구조 설계에 대해 기술한다. in-loop filter는 deblocking filter와 SAO로 구성되며, 블록 단위 영상 압축 및 양자화 등에서 발생하는 정보의 손실을 보상하는 기술이다. 하지만 HEVC는 $64{\times}64$ 블록 크기까지 화소 단위 연산을 수행하기 때문에 높은 연산시간 및 연산량이 요구된다. 따라서 본 논문에서 제안하는 in-loop filter의 deblocking filter 모듈과 SAO 모듈은 최소 연산 단위인 $8{\times}8$ 블록 연산기로 구성하여 하드웨어 면적을 최소화하였다. 또한 SAO에서는 $8{\times}8$ 블록의 연산 결과를 내부레지스터에 저장하는 구조로 $64{\times}64$ 블록 크기를 지원하도록 설계하여 연산시간 및 연산량을 최소화 하였다. 제안하는 하드웨어 구조는 Verilog HDL로 설계하였으며, TSMC 칩 공정 180nm 셀 라이브러리로 합성한 결과 동작 주파수는 270MHz이고, 전체 게이트 수는 48.9k이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.139-142
• /
• 2013

최근 대용량 영상데이터로부터 정보 수집, 영상 처리를 위한 클라우드 관련 연구들이 활발하다. 그러나 공개 소프트웨어를 이용한 클라우드 연구의 대부분은 라이브러리 수준이 아닌 단순히 프로그램 수준의 조합으로 작동한다. 이런 이유로 단순 조합에 따른 비효율성에 의한 성능문제는 크게 다루어지지 않는다. 본 논문에서는 이 비효율성을 해결하는데 중점을 두고 FFmpeg과 Hadoop을 라이브러리 수준으로 결합하여 기존보다 더 나은 성능의 영상클라우드 환경을 구축하였다. C기반의 영상처리 라이브러리인 FFmpeg와 JAVA기반의 클라우드 환경 Hadoop의 결합을 위해 JNI(Java Native Interface)를 이용하였다. 상세구현으로는 HDFS(Hadoop Distributed File System)을 확장하여 Hadoop MapReduce가 직접 FFmpeg을 통한 영상파일 접근이 가능하게 하였다. 이로써 FFmpeg과 Hadoop간 상이한 파일 접근 방식에서 발생하는 불필요한 작업에 의한 시스템의 성능저하를 막았다. 또한 응용의 확장성을 위해 영상작업시 작업영상을 영상처리의 최소단위인 GOP(Group of Pictures)단위로 잘라 클라우드의 노드들에게 분산시켰다. 결과적으로 기존에 존재하는 Hadoop과 FFmpeg을 프로그램적으로 결합한 영상처리 클라우드보다 총 처리시간을 앞당겼고, GOP 단위의 영상 처리는 영상기반 작업에 안정성과 응용의 확장성을 보장해주었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.05a
• /
• pp.223-225
• /
• 2013

어미로부터 생후 21일령 또는 28일령에 젖을 때는 어린 자돈들은 면역력이 약하여 통상 폐사율이 30~40%까지 치솟는 등 자돈 관리가 국내 양돈 농가의 가장 큰 문제 중 하나로 인식되고 있다. 본 논문에서는 이러한 양돈 농가의 문제를 해결하기 위하여 자돈사에 비디오 카메라를 설치하고 획득된 영상 정보를 이용하여 자돈들을 관리하는 시스템을 제안한다. 특히 제안된 시스템은 실시간으로 유입되는 영상 스트림 데이터로부터 움직임 여부를 신속히 판단하고, 움직임이 없는 경우(수면 또는 휴식)에 바닥면적 중 자돈들이 차지하지 않은 부분의 면적을 추출하여 수면 또는 휴식 중 자돈들의 밀집 여부를 판단한다. 즉, 카메라를 이용하여 과도하게 밀집된 경우 온도를 올려주고 반대의 경우 온도를 낮춰주는 온도제어 시스템을 설계할 수 있다. 실제, 경상남도 함양군의 한 돼지 농장에 비디오 센서 기반의 실험 환경을 구축하고 자돈사 감시 데이터 셋을 취득하였고, 이를 이용하여 제안된 자돈사 관리 시스템의 프로토타입을 개발하였다.