• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.237-240
• /
• 2020

The fine-tuned neural network (NN) model for a whole temporal portion in a video does not always yield the best quality (e.g., PSNR) performance over all regions of each frame in the temporal period. For certain regions (usually homogeneous regions) in a frame for super-resolution (SR), even a simple bicubic interpolation method may yield better PSNR performance than the fine-tuned NN model. When there are multiple NN models available at the receivers where each NN model is trained for a group of images having a specific category of image characteristics, the performance of Quality enhancement can be improved by selectively applying an appropriate NN model for each image region according to its image characteristic category to which the NN model was dedicatedly trained. In this case, it is necessary to signal which NN model is applied for each region. This is very advantageous for image restoration and quality enhancement (IRQE) applications at user terminals with limited computing capabilities.

• 대한전자공학회논문지SD
• /
• 제48권9호
• /
• pp.22-30
• /
• 2011

최근 카메라를 통해 입력된 영상정보로부터 실시간으로 상황을 인지하고 자율 대응할 수 있는 지능형 영상 보안 시스템의 수요가 증가함에 따라, 고성능의 얼굴 인식 시스템이 요구되고 있다. 기존의 얼굴 인식 시스템의 성능 향상을 위해서는 원거리에서 획득된 저해상도 얼굴 영상 처리를 위한 솔루션이 반드시 필요하다. 따라서 본 논문에서는 실시간 감시가 요구되는 지능형 영상 보안 시스템의 얼굴 인식 성능 향상을 위한 저해상도 얼굴 영상 복원 알고리즘을 하드웨어로 구현하였다. 저해상도 얼굴 영상 복원 방법으로는 학습 기반의 초해상도 알고리즘을 사용한다. 해당 알고리즘은 먼저 고해상도 영상으로 구성된 학습 집합에서 주성분 분석(PCA)을 활용하여 복원에 필요한 사전 정보들을 추출하고, 저해상도 영상과의 관계를 모델링하여 가장 적합한 고해상도 얼굴을 복원해내는 것이다. 저해상도 얼굴 영상 복원 알고리즘을 임베디드 프로세서(S3C2440A)를 사용하여 구현하였을 때, 약 25 초의 긴 연산 시간이 소요되었다. 이는 실시간으로 사람을 판별 및 인식하기 위한 지능형 영상 보안 시스템의 구축에는 어려움이 있다. 이를 해결하기 위하여 얼굴 영역 초해상도의 연산을 하드웨어로 구현하고 Xilinx Virtex-4를 이용하여 검증하였다. 약 9MB의 학습 데이터를 사용하였으며, 100 MHz에서 약 30 fps의 속도로 연산이 가능하다. 이러한 학습 기반의 얼굴 영역 초해상도 알고리즘을 단일 하드웨어 IP로 설계함으로써 임베디드 환경에서의 실시간 처리가 가능할 뿐 만 아니라 기존의 다양한 얼굴 검출 시스템과의 통합이 용이하여 얼굴 인식 솔루션을 제공할 수 있을 것으로 판단된다.

• 정보처리학회논문지B
• /
• 제18B권5호
• /
• pp.249-254
• /
• 2011

MPEG-4 파트 2에서 화질 확장성을 지원하는 FGS (fine granularity scalability) 코딩 기법은 가변적인 네트워크 대역폭에서 최적의 화질을 구현할 수 있는 스케일러블 비디오 코딩 기법이다. 본 논문에서는 기본 FGS 코딩 구조의 향상 계층에서, 영상의 잔여 신호를 다시 한 번 더 비트 평면 (bit-plane) 코딩을 해주는 FGS 코딩 구조를 제안하였다. 실험에서는 제안된 FGS 코딩 구조와 MPEG-4 VM (verification model) FGS 코딩 구조를 비교하여 제안된 FGS 코딩 구조의 화질 확장성을 평가하였다. 비교는 테스트된 3개의 비디오의 PSNR의 분석으로 이루어졌다. 결과는 제안된 구조가 비트율 제어 기법 VM5+를 이용했을 때, VM-FGS 코딩 구조보다 Y, U, V PSNR이 평균적으로 각각 0.4 dB, 9.4dB, 9 dB 더 높게 나타났고, QP (quantization parameter) 값을 17로 고정시킨 경우는, 제안된 구조가 4.61 dB, 20.21 dB, 16.56 dB 더 높게 나타났다. 결과에 의해, 제안된 구조가 VM-FGS 코딩 구조보다 최저부터 최대의 화질을 얻을 수 있는 화질 확장성이 더 높은 구조임을 알 수 있었다.

• 방송공학회논문지
• /
• 제2권2호
• /
• pp.206-215
• /
• 1997

본 논문에서는 H.263비디오 압축 표준을 기반으로 한 비디오 부호기들로서 두 개의 계층을 갖는 비트율 계위 비디오 부호기를 제안한다. 제안하는 부호기의 기본계층에서는 H.263표준에서 제안하고 있는 기본 부호기 알고리즘을 수용하여 비디오 데이터의 고 압축 부호화 효율을 얻는다. 상위계층에서는 부호화의 고급 기법이라 하루 수 있는 인간 시각 시스템 정보를 근거로 양자화를 설계하고 적용한다. 상위계층에서는 기본계층의 이산 여현 변환 계수에 보다 세밀한 양자화를 가하여 부호화하게 되며, 이때 필요한 비트스트림의 구조를 설계한다. 복호화기에서는 두 계층에서 수신한 데이터를 역양자화 및 역변환을 수행한 후 더하여 원 영상을 복원하게 된다. 실험 결과를 통하여 비트율 약30kbps 정도에서 계층을 적용하지 않은 부호기와 비교하여 거의 비슷한 화질을 얻을 수 있었으며, 상위계층의 비트스트림을 전송하기 위한 부가 정보를 약 프레임당 0.5kbits이하를 유지하도록 하였다.

• 방송공학회논문지
• /
• 제20권1호
• /
• pp.153-163
• /
• 2015

본 논문에서는 카메라 움직임에 강인한 동영상 내 비 검출 및 제거 기법을 제안한다. 검출 파트는 비의 밝기 특성과 공간적 특성을 활용하여 초기 비 영역을 검출한다. 그런 다음 가우시안 분포 모델을 적용하여 최종적인 비 영역을 결정한다. 제거 단계에서는 인접한 영상 간 상관성을 이용하여 비 영역을 중심으로 인접 프레임 간 블록 정합 기법을 수행한다. 그 후 정합 결과에 기반한 non-local mean (NLM) 필터링을 통해 비 영역을 보상한다. 마지막으로 깜박임 효과를 제거하고 가시성을 향상시키기 위해 후처리를 수행한다. 실험 결과를 통해 제안 기법의 화질이 기존 기법에 비해 동영상의 비 제거 성능에 있어 현저하게 우수함을 볼 수 있다.

• 한국정보통신학회논문지
• /
• 제15권12호
• /
• pp.2527-2533
• /
• 2011

본 논문에서는 특징점 기반 색상 보정을 통한 다시점 비디오 부호화 전처리 방법을 제안 한다. 다시점 영상은 조명 및 카메라 간의 특성차이로 인해 인접 시점 간 색상차를 갖게 된다. 이를 보정하기 위한 여러 가지 방법 중, 본 논문에서는 영상 간의 대응되는 특징점들을 기반으로 상대적인 카메라의 특성을 모델링하고 이를 통해 색상을 보정하는 방법을 제안한다. 대응되는 특징점을 추출하기 위해 Harris 코너 검출법을 사용하고, 모델링 된 수식의 계수는 가우스-뉴튼 순환 기법(Gauss-Newton circulation algorithm)으로 추정한다. 또한 참조 영상을 기준으로 보정해야할 타겟 영상의 색상값을 RGB 성분별로 보정한다. 테스트 영상을 가지고 실험한 결과 제안한 전처리 방법으로 보정을 하였을 경우, 전처리 과정을 거치지 않았을 때보다 화질 및 압축효율이 향상됨을 알 수 있었다. 또한 누적 히스토그램 기반의 전처리 방식과 비교했을 때, PSNR은 성분별로 0.5 dB ~ 0.8dB 정도 개선되고 bit rate 는 14% 정도 감소되는 성능을 확인하였다.

• 방송공학회논문지
• /
• 제13권6호
• /
• pp.905-914
• /
• 2008

이 연구는 Ka대역 HDTV 위성방송서비스를 제공할 때 발생하는 강우감쇠 문제를 해결하기 위하여, MPEG-4 SVC (Scalable Video Coding) 신호를 JSCC (Joint Source/Channel Coding) 시스템을 통하여 Ka대역 위성방송시스템에 적용하는 방안에 대하여 고찰하였다. Ka대역 위성방송시스템은 DVB-S2 VCM (Variable Coding and Modulation) 모드를 기반으로 하였으며, SVC 신호는 공간 계위층, 화질 계위층 및 시간 계위층을 고려하였다. JSCC 시스템은 모든 계층의 소스부호화 시스템과 채널부호화 시스템을 결합하여, 최적의 수신품질을 얻도록 각 계층의 비트 율과 그 계층에서의 소스와 채널을 위한 비트 율을 할당하였다. 계층 수는 기본계층과 향상계층을 포함하는 2개로 제한하였으며, 각 계층에 대한 비트 율은 적용 SVC 신호에 따라 영향을 받는다. 세 가지 SVC 신호의 Ka대역 위성방송서비스에의 적용성을 강우감쇠관점에서 분석하였으며, 가장 적용성이 우수한 SVC 신호를 이용하여 Ka대역 위성방송서비스에 적용하는 방안이 고찰되었다.

• 방송공학회논문지
• /
• 제22권1호
• /
• pp.51-61
• /
• 2017

본 논문은 수평을 유지하여 촬영해야 한다는 기존 이미지 스티칭을 이용한 영상 정합 과정의 단점을 극복하기 위하여, 스마트폰의 가속도 센서와 자기장 센서 데이터를 사용하여 3가지 자유도(3 DoF)에 강인한 이미지 스티칭 방법을 제안한다. 이미지를 붙이는 작업인 이미지 스티칭은 크게 이미지 특징점 추출, 추출된 특징점에서 매칭에 필요한 참인 점(inlier)을 선별, 참인 점을 호모그래피(homography) 행렬로 변환, 호모그래피 행렬을 사용하여 이미지를 왜곡(warping), 왜곡된 이미지와 다른 이미지를 합하는 과정으로 이루어져 있다. 본 논문에서는 일반적으로 사용하는 SIFT, SURF 등의 알고리즘뿐만 아니라 MPEG에서 표준화한 MPEG-7 CDVS(Compact Descriptor for Visual Search) 표준의 특징점 추출 알고리즘을 사용하여 이미지의 특징점을 추출한다. 또한 각 알고리즘의 특징점 추출시간, 추출된 특징점 개수, 선별된 참인 점의 개수를 비교하고, 스티칭 정확도를 판단하여 본 연구에서 활용한 데이터에 어느 알고리즘이 효율적인지 살펴본다.

• 한국멀티미디어학회논문지
• /
• 제14권11호
• /
• pp.1392-1400
• /
• 2011

최근 대부분의 디지털 이미지 응용분야에서는 영상 처리 및 분석을 위해 고해상도 이미지나 비디오가 요구되고 있다. 한편, 일반적인 영상획득시스템으로부터 획득한 영상신호는 획득하는 과정에서 물리적 영향, 제조 기술의 한계 및 환경적인 영향 등으로 인하여 영상의 화질 저하를 가져온다. 이러한 문제를 해결하기위해 연구되고 있는 방법 중 하나인 초해상도 복원 기술은 동일한 물체를 촬영한 다수의 저해상도 영상으로 고해상도 영상을 만들어내는 영상복원기술이다. 본 논문에서는 S&A (Shift & Add) 방법에 POCS (Projection onto Convex Sets) 이론을 적용하여 기존의 방법보다 개선된 알고리즘을 제안한다. 기존의 알고리즘은 잡음에 약하다는 문제점이 있다. 이를 해결하기 위해 제안한 방법에서는 복원단계에 사용되는 참조영상을 POCS이론에 적용하여 기존의 S&A방법과 결합하였다. 또한 광학적 왜곡에 해당하는 카메라 블러(blur) 연산자로 주파수 영역에서 BLPF (Butterworth Low-pass Filter)를 사용하여 기존방법의 문제점인 링잉현상을 해결하였다. 실험결과를 통해 잡음에 강하고 영상의 고주파영역을 향상시킨 제안한 초해상도 방법의 우수성을 확인하였고, 객관적 평가를 위해 기존의 방법과 PSNR (peak signal to noise ratio)을 비교하였다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제10권4호
• /
• pp.309-318
• /
• 2004

본 논문에서는 선택적으로 강화계층의 시간적 예측 정보를 사용하는 H.264 기반 선택적인 미 세입자 스케일러블 비디오 코딩 방법을 제안한다. 제안된 방법의 기본계층은 최근 표준화되었으며 고압축률이 특징인 H.264 (MPEG-4 Part 10 AVC) 알고리즘으로 코딩한다. 강화계층은 기본적으로 국제표준인 비트플레인 기반 MPEG-4 (Part 2) 미세입자스케일러블 코딩 방법으로 코딩한다. 본 논문에서는 엔코더측에서 강화계층간 시간적 예측 방법에 의해 발생된 효과적인 영상 정보를 드리프트 현상이 최소화하는 방향으로 선택적으로 적용하여 디코더측에 전송하는 방안을 제안하였다. 강화계층간 예측 방법만을 추가했을 때는 시간적 중복성을 줄여주는 효과를 볼 수 있지만 저비트율 대역에서 엔코더와 디코더간의 참조 저장 영상 불일치로 인한 드리프트 현상이 심하게 발생한다. 제안된 알고리즘은 시간적 예측 결과가 우수하여 코딩효율을 현저히 높혀줄 수 있는 경우에만 선택적으로 강화계층간의 시간적 예측 정보를 사용하였으며, 이로 인하여 저비트율 대역에서의 드리프트 현상을 현저하게 줄 일수 있었으며, 전반적으로 코딩 효율을 높여주는 효과를 가져왔다. 여러 영상 시퀀스를 대상으로 실험한 결과, 제안된 코딩 방법은 현존하는 국제표준인 MPEG-4 기반 미세입자 스케일러블 코딩 방법보다 같은 비트율 대역에서 영상화질이 약 3∼5 dB 높은 성능을 보여주고 있으며, H.264를 기반으로한 미세입자 스케일러블 코딩 방법보다도 약 1∼3 dB 높은 성능을 보여주고 있음을 발견할 수 있었다.