• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.148-150
• /
• 2020

최근 VVC(Versatile Video Coding) 표준 완료 이후 JVET(Joint Video Experts Team)은 인공신경망 기반의 비디오 부호화를 위한 AhG(Ad-hoc Group) 구성하고 인공지능을 이용한 비디오 압축 기술들을 검증하고 있으며, MPEG(Moving Picture Experts Group)에서는 DNNVC(Deep Neural Network based Video Coding) 활동을 통해 딥러닝 기반의 차세대 비디오 부호화 표준 기술을 탐색하고 있다. 본 논문은 VVC 에 채택된 신경망 기반의 기술인 MIP(Matrix Weighted Intra Prediction)를 참조하여, MIP 모델의 학습에서 손실함수가 예측 성능에 미치는 영향을 분석한다. 즉, 예측의 왜곡(MSE)만을 고려한 경우와 예측오차의 부호화 비용도 함께 반영한 손실함수를 비교한다. 실험을 위해 HEVC(High Efficiency Video Coding) 화면내 예측 대비 평균적인 PSNR 향상 정도를 나타내는 성능 지표(��PSNR)를 정의한다. 실험결과 예측오차의 부호화 특성을 반영하는 손실함수를 이용한 학습이 MSE 만 고려한 학습 대비 ��PSNR 기준 평균 0.4dB 향상됨을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.601-604
• /
• 2023

기술이 발전함에 따라 복합적인 모달리티 정보를 포함하는 멀티미디어 데이터의 수집이 용이해지면서, 사람의 성격 특성을 이해하고 이를 개인화된 에이전트에 적용하고자 하는 연구가 활발히 진행되고 있다. 본 논문에서는 비디오 스트림 구조를 활용하여 사용자 특성을 예측하기 위한 동적 키프레임 추출 방법을 제안한다. 비디오 데이터를 효과적으로 활용하기 위해서는 무작위로 선택한 프레임에서 특징을 추출하던 기존의 방법을 개선하여 영상 내 시간에 따른 정보와 변화량을 기반으로 중요한 프레임을 선택하는 방법이 필요하다. 본 논문에서는 제 3자가 평가한 Big-five 지표 값이 레이블링된 대표적인 데이터셋인 First Impressions V2 데이터셋을 사용하여 외면에서 발현되는 특징들을 기반으로 영상에서 등장하는 인물들의 성격 특성을 예측했다. 결론에서는 선택된 키프레임에서 멀티 모달리티 정보를 조합하여 성격 특성을 예측한 결과와 베이스라인 모델과의 성능을 비교한다.

• 정보처리학회논문지C
• /
• 제12C권4호
• /
• pp.589-596
• /
• 2005

본 논문은 흠 내부의 Non-SIP 기반 비디오 카메라로부터 홈 외부의 SIP 기반 단말기로 비디오 스트림을 전송할 수 있는 흠 게이트웨이의 설계 구현에 목적이 있다. 홈 게이트웨이는 OSGi 프레임워크를 기반으로 하였으며 흠 내부의 기기로부터 흠 외부의 이동 중인 모바일 사용자를 연결하기 위해 SIP 스택을 내포하는 마이크로소프트 사의 RTC 기술을 이용하였다. 홈 게이트웨이 상에, SIP 세션의 연결 등을 관리하는 RTC 번들을 개발하였으며, 홈 내부의 Non-SIP 기반 비디오 카메라로부터 비디오 스트림을 읽기 위해 가상 비디오 캡쳐 드라이버를 개발하였다. 최종적으로 설계 구현된 홈 게이트웨이를 테스트하기 위해 SIP 프로토콜을 탑재한 윈도우 메신저를 흠 외부의 단말기로 설정하고 AXIS 2100 UPnP 비디오 카메라를 홈 네트워크에 연결하여 비디오 카메라로부터 이동중인 윈도우 메신저로의 세션 연결과 라이브 비디오의 스트리밍을 실험하고 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
• /
• pp.553-555
• /
• 1998

효율적인 비디오 검색과 브라우징을 위해서는 비디오를 장면 단위로 나누는 비디오 분할과 더불어 분할된 비디오 셧을 대표하는 프레임을 군집화하는 기술이 필요하다. 이는 내용 기반 비디오 검색 및 브라우징의 바탕이 되는 핵심 기술로써, 국내외적으로 많은 연구가 요구되고 있는 실정이다. 본 논문에서는 주파수 정보를 이용한 대표 프레임 군집화 방법을 제안하고 실험 비디오 데이터에 대하여 그 성능을 평가해 본다. 제안된 방법에서는 웨이블렛 변환을 통하여 대표 프레임의 주파수 정보를 구한 후, 고주파 영역과 저주파 영역에 가중치를 두어 대표 프레임을 군집화 하였다. 제안된 방법을 드라마 비디오 데이터에 대하여 실험한 결과 군집화의 정확도가 우수할 뿐 아니라 군집화 정도를 조절할 수 있어 다양한 수준의 군집화를 수행할 수 있음을 확인할 수 있었다.

• 한국산학기술학회:학술대회논문집
• /
• 한국산학기술학회 2010년도 춘계학술발표논문집 1부
• /
• pp.299-301
• /
• 2010

본 논문에서는 사용자의 키워드 학습과 비교 영역 학습을 이용하여 대용량의 비디오 데이터에 대한 사용자의 다양한 의미검색을 지원하는 에이전트 기반에서의 자동화된 비디오 검색 시스템을 제안한다. 사용자의 기본적인 질의와 질의에 의해 추출된 키 프레임의 이미지를 선택함으로써 에이전트는 추출된 키 프레임의 주석에 대한 의미를 더욱 구체화시킨다. 또한, 사용자에 의해 선택된 키 프레임은 질의 이미지가 되어 색상 히스토그램 비교기법과 제안하는 비교 영역 학습 기법을 통해 가장 유사한 키 프레임을 검색한다.

• 방송공학회논문지
• /
• 제27권1호
• /
• pp.31-43
• /
• 2022

전통적인 비디오 압축은 움직임 예측, 잔차 신호 변환 및 양자화를 통한 하이브리드 압축 방식을 기반으로 지금까지 발전해왔다. 최근 인공 신경망을 통한 기술이 빠르게 발전함에 따라, 인공 신경망 기반의 이미지 압축, 비디오 압축 연구 또한 빠르게 진행되고 있으며, 전통적인 비디오 압축 코덱의 성능과 비교해 높은 경쟁력을 보여주고 있다. 본 논문에서는 이러한 인공 신경망 기반 비디오 압축 모델의 성능을 향상시킬 수 있는 새로운 방법을 제시한다. 기본적으로는 기존 인공 신경망 기반 비디오 압축 모델들이 채택하고 있는 변환 및 복원 신경망과 엔트로피 모델(Entropy model)을 이용한 율-왜곡 최적화(Rate-distortion optimization) 방법을 사용하며, 인코더 측에서 디코더 측으로 압축된 레이턴트 정보(Latent information)를 전송할 때 엔트로피 모델이 추정하기 어려운 정보의 값을 이동시켜 전송할 비트량을 감소시키고, 손실된 정보를 추가로 전송함으로써 손실된 정보에 대한 왜곡을 보정한다. 이러한 방법을 통해 기존의 인공 신경망 기반 비디오 압축 기술인 MFVC(Motion Free Video Compression) 방법을 개선하였으며, 실험 결과를 통해 H.264를 기준으로 계산한 BDBR (Bjøntegaard Delta-Bitrate) 수치(%)로 MFVC(-14%) 보다 두 배 가까운 비트량 감축(-27%)이 가능함을 입증하였다. 제안된 방법은 MFVC 뿐 아니라, 레이턴트 정보와 엔트로피 모델을 사용하는 신경망 기반 이미지 또는 비디오 압축 기술에 광범위하게 적용할 수 있다는 장점이 있다.

• 정보관리연구
• /
• 제37권4호
• /
• pp.93-104
• /
• 2006

디지털 비디오 압축과 인터넷 기술의 발전으로 비디오에 대한 수요가 폭발적으로 늘어나고 있으며, 사용자 제작 콘텐트(UCC)도 대량으로 생산되고 있다. 따라서, 디지털 비디오 라이브러리 구축과 검색에 대한 기술 연구가 어느 때보다 시급하게 요구되고 있다. 그러나 사용자가 전체 비디오의 일부 내용을 의미기반으로 검색해서 보고 싶은 욕망을 충족시켜주기는 매우 어려운 상황이다. 본고에서는 디지털 비디오를 의미 검색하기 위하여 장면을 뽑아내고, 내용을 분석하는 방법을 제안하고, 5개의 스포츠(축구, 야구, 골프, 농구, 배구) 뉴스 비디오를 자동 분류한 실험 결과를 소개하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1191-1194
• /
• 2022

인터넷의 발전으로 수많은 이미지와 비디오를 손쉽게 이용할 수 있게 되었다. 이미지와 비디오 데이터의 양이 기하급수적으로 증가함에 따라, JPEG, HEVC, VVC 등 이미지와 비디오를 효율적으로 저장하기 위한 부호화 기술들이 등장했다. 최근에는 인공신경망을 활용한 학습 기반 모델이 발전함에 따라, 이를 활용한 이미지 및 비디오 압축 기술에 관한 연구가 빠르게 진행되고 있다. NNIC (Neural Network based Image Coding)는 이러한 학습 가능한 인공신경망 기반 이미지 부호화 기술을 의미한다. 본 논문에서는 NNIC 모델과 인공신경망 기반의 초해상화(Super Resolution) 모델을 합동훈련하여 기존 NNIC 모델보다 더 높은 성능을 보일 수 있는 방법을 제시한다. 먼저 NNIC 인코더(Encoder)에 이미지를 입력하기 전 다운 스케일링(Down Scaling)으로 쌍삼차보간법을 사용하여 이미지의 화소를 줄인 후 부호화(Encoding)한다. NNIC 디코더(Decoder)를 통해 부호화된 이미지를 복호화(Decoding)하고 업 스케일링으로 초해상화를 통해 복호화된 이미지를 원본 이미지로 복원한다. 이때 NNIC 모델과 초해상화 모델을 합동훈련한다. 결과적으로 낮은 비트량에서 더 높은 성능을 볼 수 있는 가능성을 보았다. 또한 합동훈련을 함으로써 전체 성능의 향상을 보아 학습 시간을 늘리고, 압축 잡음을 위한 초해상화 모델을 사용한다면 기존의 NNIC 보다 나은 성능을 보일 수 있는 가능성을 시사한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 추계학술대회
• /
• pp.270-273
• /
• 2010

스케일러블 비디오 부호화(SVC: Scalable Video Coding)는 하나의 비트스트림 결과물로부터 둘 이상의 다중 비트율 및 해상도, 프레임율을 추출할 수 있도록 MPEG의 스케일러블 비디오 코딩 국제 표준을 준수하여 부호화한 비디오 비트스트림을 의미한다. 우리는 SVC(Scalable Video Coding)기반기술을 이용하여 하나의 콘텐츠를 통해 소비환경에 적응적인 비디오 스트리밍 서비스를 IP망을 기반으로 적용하기 위한 응용기술을 개발하고 있다. 본 논문에서는 단말로 부터 전송채널에 대한 상태를 전송받아 이에 맞게 콘텐츠를 적응변환 하고 다양한 품질의 단말에서의 스트리밍을 제공하는 SVC 미디어 서버를 관리하는 SVC 서버 관리 제어기의 설계 및 그 구현에 관한 내용이다. 이와 같이 SVC 서버 관리 제어기의 개발을 통해서 SVC의 다양한 콘텐츠 적응레벨을 설정하고 관리할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.567-569
• /
• 2011

최근 비디오를 즐기는 방법에 있어서 다양한 형식 및 기기가 사용되고 있으며, 이러한 실질적 요구를 충족시키기 위한 방법으로 빠른 비디오 변환 기술이 필요하다. 비디오 변환 기술 중 해상도 축소를 위한 새로운 움직임 벡터 재예측 방법을 제안한다. 줄어든 영상 내 블록의 움직임 벡터를 결정하기 위해 원본 영상 내 대응 되는 위치의 2개 이상의 움직임 벡터들을 K-means clustering 방법 기반으로 다중 후보 움직임 벡터를 결정하고, 결정된 움직임 벡터 중에서 차이의 절대값 합이 최소가 되는 움직임 벡터를 줄어든 영상 내 블록을 위한 움직임 벡터로 결정한다,. 실험 결과 비디오 변환 없이 압축을 수행한 연산시간에 비해 9% 정도의 연산시간이 필요하였으며, 압축 효율은 BR-RATE가 약 17정도 증가하여 기존의 방식의 증가량에 비해 60%로 줄어든 결과를 보여주었다.