• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.212-214
• /
• 2020

본 논문에서는 비디오의 피처레벨 분석을 통해 비디오의 장면 구성 특징을 파악하고, 그에 적응적으로 대표 프레임을 선택하는 방법을 제안한다. 제안된 방법으로 생성된 캡셔닝 피처는 비디오를 잘 요약하고, 이를 통해 효과적인 캡셔닝을 수행할 수 있다. 기존 비디오 캡셔닝 연구에서는 비디오의 장면 구성을 고려하지 않고 단순 등간격으로 프레임 추출을 통하여 비디오 캡셔닝을 수행하였다. 이는 다양한 장면의 모임으로 이루어진 비디오의 특성을 고려하지 않은 방법으로, 경우에 따라 주요 장면을 놓치거나, 불필요하게 중복된 프레임을 선택하는 문제가 발생한다. 본 논문에서는 비디오의 피처레벨 분석을 통해 비디오의 구성 특징을 파악하고, 이를 고려해 적응적으로 주요 프레임을 추출하여 이와 같은 문제를 해결하여 비디오 캡셔닝 에서의 성능향상을 보인다. 제안 알고리즘을 이용하여 생성된 피처는 비디오를 잘 요약하여 비디오 캡셔닝 수행 시, MSVD 데이터 셋에서 4 개의 평가지표에 대해 약 0.78%의 성능향상을 보였고, MSR-VTT 데이터 셋에서 약 0.6%의 성능향상을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.199-201
• /
• 2011

본 논문에서는 현재 표준화가 진행중인 HEVC 의 고정 비트율(CBR) 부호화를 위한 비트율 제어(rate control) 기법을 다룬다. HEVC 의 임의접근(Random Access: RA) 부호화 모드는 계층적-B 부호화 구조를 통해 높은 부호화 효율을 제공할 수 있다. 기존의 HEVC 를 위한 비트율 제어 방식으로는 2 차 비트율-왜곡 모델 기반의 시간계층 및 프레임 타입에 따른 비트율 특성을 반영한 프레임 레벨의 비트율 제어 기법이 제시되었다. 이 같은 기존의 프레임 레벨의 비트율 제어 기법은 임의접근 모드의 계층적-B 구조에서 동작성능이 확인되었으나, HEVC 의 기본적인 부호화 단위(Coding Unit: CU)의 특성이 반영되지 않아 비트율 제어의 정확성이 제한되었다. 본 논문에서는 기존의 계층적 부호화 구조를 고려한 프레임 레벨의 비트율 제어 기법을 확장한 CU 레벨에서의 비트율 제어 기법을 제시하고 모의실험을 통해 제시된 기법의 비트율 제어 성능을 확인한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (C)
• /
• pp.187-189
• /
• 2003

웨이블릿 변환에 기반한 동영상 코덱에서의 움직임 예측 기법은 OCT 기반 코덱과 유사하게 이전 프레임과의 움직임 예측을 통하여 수행된다. 그러나, 현재 프레임이 이전 프레임을 참조하므로 네트워크상의 전송시 이전 프레임에 발생한 오류가 전달되는 오류 전파의 문제도 발생하게 된다. 본 논문에서는 웨이블릿 변환된 프레임의 특성을 이용하여 최상위 레벨의 LL 부대역만 이전 프레임과의 움직임 예측을 수행하고, 나머지 부대역에 대하여 프레임 내의 상위레벨의 부대역이 하위 부대역을 창조하여 예측 및 보상을 수행하여 오류전파의 가능성을 최소화하는 Inter-Intra ME 동영상 코덱을 제안한다 제안된 움직임 예측을 사용하여 MAD(Mean-Absolute Differences)를 측정한 결과, 프레임간 변화가 심한 경우에는 제안된 기법과 이전 프레임의 부대역을 참조한 기법 사이의 압축율은 유사하게 나타났으며, 변화가 적은 경우에는 이전 프레임을 참조하는 것의 압축율이 높게 나타났다. 그러나, 네트워크 전송시 발생하는 오류전파에는 제안된 기법의 성능이 우수한 것으로 나타났다.

• 한국멀티미디어학회논문지
• /
• 제7권9호
• /
• pp.1246-1254
• /
• 2004

본 논문에서는 비트율이 낮고 부호화 절차가 간단하여 근거리 영상 전송에 적합한 영상 부호화 방법을 제안한다. 먼저 현재 프레임과 이전 프레임 사이의 영상 DPCM을 행하여 시간적인 중복성을 제거하고, 이차영상을 웨이브릿 변환한다. 다중해상도 영상의 레벨간 중복성으로 인하여 기저 레벨과 중간 주파수 레벨계수를 이용해 동일 위치의 다른 레벨 계수들에 대해 선별적인 양자화를 행하며, 목표 비트율 및 계수의 평균 에너지와 레벨 값을 통해 양자화 함수를 생성하여 적응적인 양자화 계수를 정한다. 실험결과 제안한 방법은 움직임이 연속적인 동영상 및 장면 전환이 있는 영상에서 좋은 성능을 나타내었다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 1997년도 춘계학술대회 학술발표 논문집
• /
• pp.191-194
• /
• 1997

본 논문에서는 2D-DCT 변환된 동영상 프레임 사이의 오차 블록들의 활성 레벨(atcivity level)과 에지의 특성을 분류하여 동영상의 적응적인 양자화를 제안한다. 각 블록에서는 활성 레벨이 각기 다르고, 같은 활성 레벨이라 할지라도 에지의 특성도 각기 다르게 나타난다. 적응적인 양자화를 위해서, 2D-DCT 변환된 영상 오차의 각 블록의 활성레벨 뿐만 아니라 AC 계수들의 분포에 따른 에지 특성을 분류하면, 블록의 활성 레벨만을 일률적으로 적용한 Sorting 방법의 경우보다 향상된 영상을 복원할 수 있다. 블록의 활성 레벨은 AC energy에 의해서 측정하고, 에지 특성은 AC 계수들의 분포에 의해 결정하게 된다.

• 한국멀티미디어학회논문지
• /
• 제8권1호
• /
• pp.9-18
• /
• 2005

본 논문에서는 MPEG-4부호화기에서 인트라 프레임의 양자화 레벨을 구하는 방법을 제안한다. 인트라 프레임은 GOP 내에서 참조 프레임으로써 다른 프레임에 계속 전파되므로 이 프레임의 성능에 의해 전체 GOP의 성능이 크게 영향을 받을 만큼 중요한 부분이다. 본 논문에서는 인트라 프레임 의 양자화 레벨을 효과적으로 구할 수 있도록 할당된 비트 수와 입력되는 영상의 복잡도, 그리고 GOP의 구조를 이용하는 방법을 제안한다 실험 결과에서는 기존의 방법들이 고정된 값을 사용하여 효율이 저하되거나 영상의 특성에 따라 상이한 성능을 보이는데 비하여 본 논문의 방법은 다양한 영상에 대하여 안정된 결과를 보였다. 제안한 방법을 MPEG-4검증모델에서 선택한 Q2 알고리듬과 비교할 때 영상의 특성에 따라 조금씩의 차이는 있지만 높은 비트 율에서 최대 3.49dB 정도의 높은 이득을 얻을 수 있었다.

• 한국컴퓨터산업학회논문지
• /
• 제3권9호
• /
• pp.1251-1260
• /
• 2002

실시간 응용 프로그램은 미디어 데이터간에 만족되어야 할 동기화 제약조건을 가지고 있다. 클라이언트의 버퍼를 버퍼레벨기법의 가상버퍼와 네트워크 상태를 포함한 피드백기법을 제안한다. 가변적 전송 지연 시간을 흡수하면서 피드백 제어에 의한 동기화를 수행한다. 버퍼의 수위가 정상레벨을 유지하는가에 대한 문제는 재생률과 QoS 서비스에 중요한 영향을 주게 된다. 본 논문에서는 이러한 문제를 해결하기 위해서 필터링함수, 제어함수, 네트워크 평가 함수 등을 적용하여 멀티미디어 서버에서 전송 시작시점을 결정하고 미디어의 재생 시 끊어짐이 없는 유연한 재생을 처리하게 된다. 주 미디어인 오디오 프레임이 상위임계레벨에 버퍼의 수위가 존재 할 경우는 점차적으로 재생시간을 줄이고, 오디오 프레임이 하위임계레벨에 버퍼의 수위가 있을 경우는 점차적으로 재생시간을 늘리는 시스템을 제안한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제35권11호
• /
• pp.671-680
• /
• 2008

모션 캡쳐 장비는 사람의 자연스러운 행동이나 동작 정보를 정밀하게 얻기 위해 널리 이용되며, 영화나 게임과 같은 콘텐츠 제작 시에 자주 활용된다. 하지만 모션 캡쳐 장비가 고가이고 이용하기 불편하기 때문에 대부분의 경우 한번 입력받은 데이타를 모션별로 분할하고 상황에 맞게 재결합하여 이용하며, 입력 데이타를 모션별로 분할하는 작업은 대부분 수동으로 이루어진다. 이 때문에 캡쳐된 모션 데이타를 자동으로 분할하기 위한 연구들이 최근 다양하게 시도되고 있다. 기존의 연구들은 크게 각 프레임의 전역적 특징을 고려하는 오프라인 방법과 이웃하는 프레임 사이의 유사도를 고려하는 온라인 방법으로 나누어진다. 본 논문에서는 온라인과 오프라인 방법을 통합한 그래프 기반의 하이레벨 모션 분할 방법을 제안한다. 하이레벨 모션은 모션 내에서 반복되는 프레임을 포함하는 특징을 가지고 있다. 우리는 이 특징을 기반으로 이웃하는 프레임뿐만 아니라 일정시간내의 모든 프레임 사이의 유사도를 고려하는 그래프를 생성하며, 그래프의 정점(vertex)에는 프레임 정보를 간선(edge)의 가중치는 두 프레임 사이의 유사도를 반영한다. 그래프를 분할하기 위해 분할된 간선의 가중치를 전역적으로 최소화할 수 있는 normalized cuts을 이용하며, 분할된 정점의 집합은 하이레벨 모션을 의미한다. 결과적으로 제안된 방법은 이웃하는 프레임뿐만 아니라 일정시간내의 모든 프레임 사이의 유사도를 반영하는 그래프를 전역적으로 최소화함으로써 온라인과 오프라인 방법을 동시에 고려할 수 있으며, 실험에서 제안된 방법은 기존의 오프라인 방법 중 하나인 GMM과 온라인 방법 중 하나인 PEA를 이용한 방법보다 좋은 결과를 보였다

• 한국음향학회:학술대회논문집
• /
• 한국음향학회 2004년도 춘계학술발표대회 논문집 제23권 1호
• /
• pp.77-80
• /
• 2004

인간은 "습관적 피치 레벨" 즉 자연스럽게 말할 때 평균적으로 사용하는 피치를 갖는다. 하지만 음성에 잡음이 첨가 되면 이 피치가 불규칙하게 바뀌게 된다. 이점을 이용하여 음성의 잡음레벨을 측정할 수 있다. 본 논문에서는 입력음성의 에너지를 구하고 일정 에너지레벨 이상에서의 구간에 대해 NAMDF(Normalized Average Magnitude Difference Function)방법으로 피치를 구하고, 각 프레임을 피치단위로 분절한 뒤 인근 피치간의 유사도를 측정하여 입력음성데이터의 잡음레벨을 검출하는 방법을 제안하였다.

• 한국음향학회:학술대회논문집
• /
• 한국음향학회 2004년도 추계학술발표대회논문집 제23권 2호
• /
• pp.73-76
• /
• 2004

인간은 "습관적 피치 레벨" 즉 자연스럽게 말할 때 평균적으로 사용하는 피치를 갖는다. 하지만 음성에 잡음이 첨가되면 이 피치가 불규칙하게 바뀌게 된다. 이점을 이용하여 음성의 잡음레벨을 측정할 수 있다. 본 논문에서는 입력음성의 에너지를 구하고 일정 에너지레벨 이상에서의 구간에 대해 NAMDF(Normalized Average Magnitude Difference Function)방법으로 피치를 구하고, 각 프레임을 피치단위로 분절한 뒤 인근 피치간의 유사도를 측정하여 입력음성데이터의 잡음레벨을 검출하는 방법을 제안하였다.