• 대한전자공학회논문지SP
• /
• 제46권3호
• /
• pp.68-74
• /
• 2009

본 논문에서는 비디오 부호화기와 복호화기의 참조 영상 버퍼와 메모리 대역폭을 효과적으로 줄이는 방법을 제안한다. 일반적인 비디오 코덱에서 코딩의 효율을 높이기 위하여 이전 프레임들을 참조하는 방법을 많이 사용하는데, 최근에는 메모리 사용 및 메모리와 프로세서 간의 데이터 대역폭의 효율을 높이기 위하여 참조 프레임을 압축하여 저장하는 방법이 연구되고 있다. 이 방법은 이미 압축 및 복원 과정을 통해 열화가 생긴 참조 영상에 대하여 재 압축을 실행하고, 또 기존의 압축 코덱 내부에 부호화기와 복호화기가 추가되는 경우이기 때문에, 화질의 열화를 최소화하면서 복잡도가 낮은 코덱이 요구된다. 이에 관련된 대부분의 연구는 화질의 열화를 최소화하면서 효과적인 재압축을 할 수 있는 방향으로 진행되며 보통 양자화를 위해 고정길이 비트할당 방법을 사용한다. 본 논문에서는 영상의 특성을 고려한 적응적 블록단위 최대-최소 양자화를 통해 복잡도가 낮으면서 화질의 열화를 최소화 한 방법을 제안한다 제안한 방법에서는 $8{\times}8$ 크기의 블록을 기본 처리 단위로 하여 메모리 접근성을 용이하게 하면서, $8{\times}8$ 블록 내부의 $4{\times}4$ 블록 단위로 적응적인 양자화를 적용한다. 실험결과 기존의 고정길이 비트 할당을 통한 재 압축 방법에 대하여 BD-bitrate 관점에서 평균 1.7%, BD-PSNR 관점에서 평균0.03%의 성능향상을 얻을 수 있었다.

• 한국통신학회논문지
• /
• 제29권8C호
• /
• pp.1113-1124
• /
• 2004

본 논문에서는 입력 영상을 실시간으로 압축 및 복원할 수 있는 하드웨어(hardware, H/W)의 구조를 제안하고 처리되는 영상의 보안 및 보호를 위한 워터마킹 기법(watermarking)을 제안하여 H/W로 내장하고자 한다. 영상압축과 복원과정을 하나의 FPGA 칩 내에서 처리할 수 있도록 요구되는 모든 영상처리 요소를 고려하였고 VHDL(VHSIC Hardware Description Language)을 사용하여 각각을 효율적인 구조의 H/W로 사상하였다. 필터링과 양자화 과정을 거친 다음에 워터마킹을 수행하여 최소의 화질 감소를 가지고 양자화 과정에 의해 워터마크의 소실이 없으면서 실시간으로 동작이 가능하도록 하였다. 구현된 하드웨어는 크게 데이터 패스부(data path part)와 제어부(Main Controller, Memory Controller)로 구분되고 데이터 패스부는 영상처리 블록과 데이터처리 블록으로 나누어진다. H/W 구현을 위해 알고리즘의 기능적인 간략화를 고려하여 H/W의 구조에 반영하였다. 동작은 크게 영상의 압축과 복원과정으로 구분되고 영상의 압축 시 대기지연 시간 없이 워터마킹이 수행되며 전체 동작은 A/D 변환기에 동기하여 필드단위의 동작을 수행한다. 구현된 H/W는 APEX20KC EP20K600CB652-7 FPGA 칩에서 69%(16980개)의 LAB(Logic Array Block)와 9%(28352개)의 ESB(Embedded System Block)을 사용하였고 최대 약 82MHz의 클록주파수에서 안정적으로 동작할 수 있어 초당 67필드(33 프레임)의 영상에 대해 워터마킹과 압축을 실시간으로 수행할 수 있었다.

• 방송공학회논문지
• /
• 제9권1호
• /
• pp.17-31
• /
• 2004

본 논문에서는 다중 표현(multiple description) 개념을 이용하여 에러에 강인한 동영상 부호화 방법을 제안한다 제안하는 방법은 DCT 계수의 최적 분할 방법과 채널 환경에 따른 단일표현/다중표현 전환 방법으로 구성되어 있다. DCT 계수 최적 분할 방법에서는 입력 신호를 주어진 중복량(redundancy)에서 최적의 과잉 비트율-왜곡(redundancy rate-distortion, RRD) 성능을 갖는 두 개의 표현으로 분할한다. 최적화 방법으로는 라그랑제 최적화 방법(Lagrange optimization method)을 사용하였고 재귀적 구조를 사용한 다이나믹 프로그래밍 기법을 사용하여 분할의 복잡도를 줄인다. 단일표현/다중표현 전환 방법에서는 재귀적 최적 화소단위 예측(recursive optimal per-pixel estimate, ROPE)를 이용하여 복원 에러를 예측한 후, 낮은 패킷 손실율에서는 압축 효율을 위하여 단일표현을 사용하고 패킷 손실율이 큰 환경에서는 에러에 대한 강인성을 위해 다중표현을 사용한다. 모의 실험 결과, 제안하는 다중표현 동영상 부호화 방법은 이상적인 다중표현 채널에서뿐만 아니라 다양한 패킷 손실율을 갖는 채널 환경에서도 기존의 단일표현 및 다중표현 에러 내성 부호화 방법보다 더 좋은 성능을 보임을 알 수 있다.

• 한국통신학회논문지
• /
• 제33권3C호
• /
• pp.247-254
• /
• 2008

ITU-T와 MPEG에 의해 최근 표준화가 완성된 H.264는 가변 블록 크기 움직임 예측, 다중 참조 영상, 1/4화소단위 움직임 예측 및 보상, $4{\times}4$ 정수 단위 DCT, 비트율-왜곡 최적화(Rate-Distortion Optimization)등의 새로운 부호화 기술로 H.263, MPEG-4 등 기존 비디오 표준에 비해 더 좋은 부호화 효율을 제공하고 있다. 그러나 새로운 부호화 기술들은 H.264의 전반적인 복잡도를 심화시키는 주된 요인이므로, H.264의 실제 응용을 용이하게 하기 위해서는 이러한 기술에 대한 고속 알고리즘이 요구된다. 제안하는 방식은 부호화기의 복잡도에서 가장 큰 비중을 차지하는 가변 블록 크기 움직임 예측 부호화에서 부호화 모드를 효율적으로 생략함으로써 모드 결정을 빠르게 수행하는 고속 모드 결정법으로, 참조 영상의 수를 줄이는 방법과 예측 모드를 생략하는 방법으로 구분될 수 있다. 참조 영상의 수를 줄이는 방법의 경우 상위 $16{\times}16$ 매크로블록에서 최소의 SAD를 갖는 참조 영상을 선택하여 $16{\times}8$과 $8{\times}16$ 모드의 움직임을 예측하고, 이 중 다시 최적의 참조 영상을 선택하여 하위 모드의 움직임을 예측한다. 예측 모드를 생략하는 방법에서는 매크로블록의 가로와 세로 세분화 방향성을 이용하여 만약 $16{\times}16$ 모드가 선택될 경우, $8{\times}8$과 $4{\times}4$ 하위 모드만 수행하고, $16{\times}8$ 모드가 선택되면 $8{\times}4$, $8{\times}16$ 모드가 선택되면 $4{\times}8$ 모드에서만 움직임 예측을 수행할 수 있다. 실험 결과 모든 참조 영상을 사용하는 방식에 비해 평균 65%가량 속도가 향상된 반면 영상의 화질은 H.264 표준 및 기존 방식과 유사함을 PSNR을 통하여 증명한다.

• 방송공학회논문지
• /
• 제16권1호
• /
• pp.1-13
• /
• 2011

본 논문에서는 고효율의 비디오 부호화를 위한 적응적인 인-루프 필터 방법을 제안한다. 최근 비디오 부호화 표준화 단체에서는 영상의 부호화 후 복원된 영상과 원본 영상과의 평균 제곱 오차(mean square error) 관점에서 오차를 최소화하는 Wiener 필터기반의 post-filter hint SEI 메시지 방법과 블록 기반의 필터 제어 방법 (block-based adaptive filter control, BAFC)에 대한 연구가 있었다. Post-filter hint SEI 메시지 방법은 후처리 필터로서 프레임간의 예측 오차를 줄이지 못하는 문제점이 있으며, BAFC 방법은 기존 H.264/AVC의 디블록킹 필터와 독립적으로 동작하기 때문에 인코더 및 디코더 영역에서 높은 연산 복잡도를 차지하는 문제점이 있다. 본 논문에서는 기존 H.264/AVC의 디블록킹 필터와 문맥 기반으로 설계한 인-루프 필터를 적응적으로 사용함으로써 복잡도를 낮추고 부호화 효율을 높이는 인-루프 필터 방법(Low-complexity adaptive in-loop filter, LCALF)을 제안한다. 실험결과에서 제안하는 방법은 기존 방법보다 평균적으로 약 1% 정도의 비트 감소를 보이고, 동시에 디코더 영역에서 약 22% 정도의 낮은 연산 복잡도를 보인다.

• 방송공학회논문지
• /
• 제25권1호
• /
• pp.25-35
• /
• 2020

최근 하드웨어 성능뿐 아니라 영상 처리 기술의 발달로 인해 다양한 분야에서 사용자에게 자유로운 시야각과 입체감을 제공하는 3차원 포인트를 다루는 기술에 관한 연구를 지속하고 있다. 3차원 포인트를 표현하는 형식 중 포인트 클라우드 기술은 포인트를 정밀하게 획득/표현할 수 있다는 장점으로 인해 다양한 분야에서 주목받고 있다. 하지만 하나의 3차원 포인트 클라우드 콘텐츠를 표현하기 위해 수십, 수백만 개의 포인트가 필요하므로 기존의 2차원 콘텐츠보다 많은 양의 저장 공간을 요구한다는 단점이 존재한다. 이러한 이유로, 국제 표준화 기구인 MPEG (Moving Picture Experts Group)에서는 3차원 포인트 클라우드 콘텐츠를 효율적으로 압축 및 저장하고, 사용자에게 전송하는 방안에 대해 계속 연구를 진행 중이다. 본 논문에서는 MPEG-I (Immersive) 그룹에서 제안한 V-PCC(Video based Point Cloud Compression) 부호화기를 통해 생성된 V-PCC 비트스트림을 MMT (MPEG Media Transport) 표준에서 정의한 MPU (Media Processing Unit)로 구성하는 방안을 제안한다. 또한, MMT 표준에서 정의한 시그널링 메시지를 확장하여 3차원 포인트 클라우드 콘텐츠의 영역 선별적 전송 방안을 위한 파라미터와 사용자의 요구에 따라 선택적으로 품질 파라미터를 결정할 수 있도록 V-PCC에서 상정하는 품질 파라미터를 추가 정의한다. 마지막으로, 본 논문에서는 제안한 기술을 기반으로 검증 플랫폼의 설계/구현을 통해 결과를 확인한다.

• 정보처리학회논문지B
• /
• 제10B권2호
• /
• pp.143-150
• /
• 2003

오류 은닉은 데이타 전송시 발생한 오류를 처리하는 데 중요한 역할을 하는 기술로 우수한 데이타 품질을 보이는 다양한 오류 은닉 방법들은 대개 복잡도가 높다. 하지만 복잡한 알고리즘은 실시간 응용 분야에 적용하기 어렵다. 본 연구에서는 오류 내성 기술과 데이터 숨김 기법을 이용하여 디코더의 오류 은닉 부담을 줄이는 방법을 제안한다. 이를 위해 공간적 오류 내성 인코딩 방법으로써 손실 블록의 확산을 막는 블록 인터리빙을 적용하며, 시간적 오류 내성 방법으로는 움직임 벡터의 손실을 확인할 수 있는 패리티 비트를 데이터 숨김 방법을 이용하여 디코더로 전송하는 구조를 적응한다. 또한 전송 비디오 블록의 경계선 특징을 미리 추출한 후 이 데이터를 데이터 숨김을 통해 디코더로 전달하여 비디오 데이터가 전송시 손상되면 전달된 특징을 이용하여 은닉 처리함으로써 디코더에서 오류 은닉시 손실 정보를 주변 블록으로부터 예측해야 하는 과정을 줄여 계산 복잡도를 낮춘다. 본 연구에서 제안한 움직임 벡터 확인 패리티 비트와 블록 경계선 특징 데이터를 전송 블록에 데이터 숨김방법으로 전송하는 것은 표준 인코더의 복잡도에 큰 영향을 미치지 않는다. 제안 오류 은닉 방법이 인터넷과 같이 버스트 오류가 많은 채널에서도 디코더에서 전송 오류를 효과적으로 빠르게 처리함을 실험 결과를 통해 알 수 있다.

• 한국정보처리학회논문지
• /
• 제5권12호
• /
• pp.3047-3062
• /
• 1998

본 논문은 ITU-T에서 제안한 영상회의 시스템에서 오디오/비디오 스트림 데이터를 회의 참여자에 송수신하거나 또는 수신된 멀티미디어 데이터들에 대한 QoS 정보를 송신측에 피드백 하기 위해 제공되는 RTP/RTCP 프로토콜(RFC1889,1890)에 관한 설계 및 구현에 관해 기술한다. RTP는 인코더로부터 전달된 오디오/비디오 데이터를 고정 포맷으로 패킷화하여 모든 회의 참여자에 멀티캐스팅하고, RTCP모듈은 RTP와 함께 연동되면서 수신 패킷을 모니터하여 지연, 지연변이 및 패킷 손실 등의 QoS 값들을 검출하고, 이를 비-정기적으로 송신측에 피드백하도록 구현하였다. 이들 프로토콜은 Windows NT에서 멀티쓰래드 방식으로 구현되었으며, 하위 프로토콜로 socket I/F를 통해서 U에/IP-Multicast를 이용하였다. 또한, 인터넷 환경에서 영상회의 시스템을 수행했을 때 나타나는 여러 QoS 값들을 검출하여 분석하였다. 시험은 오디오 데이터 전송을 이용하였으며 통신 부하가 심한 시간 구간에서 지연과 지연 변이는 음성 인식에 대체로 허용 범위에 충족되나 다량의 패킷 손실에 따른 품질 저하를 분석할 수 있었으며, 대부분의 손실된 패킷들은 비-연속적인 특성을 갖는 것으로 나타났다.

• 정보처리학회논문지B
• /
• 제16B권2호
• /
• pp.123-130
• /
• 2009

움직임 추정은 동영상 압축에서 영상 화질과 인코더 속도에 대하여 중요한 역할을 하지만, 많은 수행 시간을 요구한다. H.264/AVC에서 움직임 추정에 소요되는 수행 시간을 줄이면서 화질을 유지하기 위하여 본 논문에서는 정화소와 부화소 움직임 추정 기법을 제안하였다. 본 논문에서는 정화소 움직임 추정을 위하여 계층적인 탐색 기법을 사용하였고, 정확한 움직임 추정을 위하여 블록 크기에 따라 부화소 움직임 추정 패턴을 적응적으로 결정하였다. 제안한 정화소 움직임 추정 탐색 기법은 대칭적 십자가-엑스 탐색 패턴, 다중 사각형 탐색 패턴, 다이아몬드 탐색 패턴들로 이루어져 있다. 이 탐색 패턴들은 블록 움직임이 수직으로 크거나 블록 움직임이 크면서 규칙적인 영상에서 국부적 최소화 문제를 해결하고 움직임 추정에 소요되는 시간을 줄이기 위하여 탐색 영역 내에 탐색 점들을 규칙적, 대칭적으로 배치하였다. 제안한 부화소 움직임 추정 탐색 기법은 부화소 움직임 추정을 위하여 기존의 전역 부화소 탐색 패턴, 중앙 편향적 부화소 탐색 패턴과 제안한 부화소 움직임 탐색패턴들을 사용한다. 그리고 블록의 크기에 따라 3가지의 부화소 탐색 패턴들 중 한 패턴이 부화소 움직임 추정을 위해 적응적으로 결정된다. 블록의 크기에 따라 적응적으로 부화소 탐색 패턴이 결정되므로 보다 정확하게 부화소 움직임 추정을 수행할 수 있다. 제안한 기법을 전역 탐색 기법과 비교하였을 때 약 5.2배의 속도 향상을 가져왔으며, 영상 화질에 있어서 약 0.01 (dB)정도 성능 저하를 보였다. 반면에, 비대칭 다중육각형 탐색 기법과 비교하였을 때 움직임 추정 속도와 화질에 있어서 각각 약 1.2배와 약 0.02 (dB)정도 향상을 보였다.

• 방송공학회논문지
• /
• 제27권4호
• /
• pp.548-560
• /
• 2022

V-PCC는 포인트 클라우드를 압축하기 위한 압축 방안 중 하나로, 기존 비디오 코덱을 활용하여 포인트 클라우드 데이터를 압축한다는 특징으로 인해 움직임을 가지는 동적 포인트 클라우드 압축에 높은 효율을 나타낸다. 이에 V-PCC는 AR/VR과 같은 실감형 콘텐츠 서비스의 핵심 기술로써 주목받고 있다. 이러한 V-PCC 콘텐츠를 효과적으로 미디어 스트리밍 플랫폼을 통해 서비스하기 위해서는 기존 미디어 파일 포맷인 ISOBMFF로 캡슐화 하는 것이 필요하다. 하지만, DASH와 같은 적응형 스트리밍 플랫폼을 통해 서비스 하기 위해서는 V-PCC 콘텐츠를 다양한 품질의 콘텐츠를 각각 인코딩하여 서버에 저장해야 하며, V-PCC의 높은 인코딩 복잡성과 방대한 데이터의 크기로 인해 기존의 2차원 미디어에 비해 인코더와 서버에 큰 부담을 발생시킨다. 이와 같은 문제점을 해결하기 위한 방법으로 SHVC 기반의 V-PCC 콘텐츠 인코딩을 통해 획득한 콘텐츠를 기반으로 스트리밍 플랫폼을 구성하는 것이 고려되어질 수 있다. 이에, 본 논문에서는 SHVC기반의 V-PCC 비트스트림을 DASH 서비스에 맞게 ISOBMFF로 캡슐화하고 이를 서비스하기 위한 구성방안을 제안하였다. 또한, 본 논문에서는 SHVC 기반 V-PCC 콘텐츠를 효과적으로 서비스하기 위한 ISOBMFF 캡슐화와 DASH 구성 방안에 대해 제안하고, 검증 실험을 통해 이를 확인한다