• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2005년도 Proceedings of ISRS 2005
• /
• pp.197-200
• /
• 2005

Super resolution image reconstruction method refers to image processing algorithms that produce a high resolution(HR) image from observed several low resolution(LR) images of the same scene. This method is proved to be useful in many practical cases where multiple frames of the same scene can be obtained, such as satellite imaging, video surveillance, video enhancement and restoration, digital mosaicking, and medical imaging. In this paper we applied super resolution reconstruction method in spatial domain to video sequences. Test images are adjacently sampled images from continuous video sequences and overlapped for high rate. We constructed the observation model between the HR images and LR images applied by the Maximum A Posteriori(MAP) reconstruction method that is one of the major methods in the super resolution grid construction. Based on this method, we reconstructed high resolution images from low resolution images and compared the results with those from other known interpolation methods.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2004년도 Proceedings of ISRS 2004
• /
• pp.115-118
• /
• 2004

Images with high resolution are desired and often required in many visual applications. When resolution can not be improved by replacing sensors, either because of cost or hardware physical limits, super resolution image reconstruction method is what can be resorted to. Super resolution image reconstruction method refers to image processing algorithms that produce high quality and high resolution images from a set of low quality and low resolution images. The method is proved to be useful in many practical cases where multiple frames of the same scene can be obtained, including satellite imaging, video surveillance, video enhancement and restoration, digital mosaicking, and medical imaging. The method can be either the frequency domain approach or the spatial domain approach. Much of the earlier works concentrated on the frequency domain formulation, but as more general degradation models were considered, later researches had been almost exclusively on spatial domain formulations. The method in spatial domains has three stages: i) motion estimate or image registration, ii) interpolation onto high resolution grid and iii) deblurring process. The super resolution grid construction in the second stage was discussed in this paper. We applied the Maximum A­Posteriori(MAP) reconstruction method that is one of the major methods in the super resolution grid construction. Based on this method, we reconstructed high resolution images from a set of low resolution images and compared the results with those from other known interpolation methods.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권1호
• /
• pp.232-248
• /
• 2014

A series of kernel regression (KR) algorithms, such as the classic kernel regression (CKR), the 2- and 3-D steering kernel regression (SKR), have been proposed for image and video super-resolution. In existing KR frameworks, a single algorithm is usually adopted and applied for a whole image/video, regardless of region characteristics. However, their performances and computational efficiencies can differ in regions of different characteristics. To take full advantage of the KR algorithms and avoid their disadvantage, this paper proposes a kernel regression framework for video super-resolution. In this framework, each video frame is first analyzed and divided into three types of regions: flat, non-flat-stationary, and non-flat-moving regions. Then different KR algorithm is selected according to the region type. The CKR and 2-D SKR algorithms are applied to flat and non-flat-stationary regions, respectively. For non-flat-moving regions, this paper proposes a similarity-assisted steering kernel regression (SASKR) algorithm, which can give better performance and higher computational efficiency than the 3-D SKR algorithm. Experimental results demonstrate that the computational efficiency of the proposed framework is greatly improved without apparent degradation in performance.

• Spatial Information Research
• /
• 제13권4호
• /
• pp.345-354
• /
• 2005

초해상도 영상복원은 동일 지역을 촬영한 여러 장의 저해상도 영상을 이용하여 고해상도의 영상으로 재구성하는 영상처리 알고리즘 기법이다. 이 기법은 위성영상, 비디오 감시, 영상 강조 및 복원, 영상 모자이킹, 의료 영상과 같이 여러 장의 프레임 영상을 획득할 수 있는 분야에서 유용하게 사용될 수 있다. 본 연구에서는 지상을 촬영한 비디오 영상 열에 공간영역 초해상도 기법을 적용하였다. 실험에 사용된 영상은 높은 중복도로 촬영된 연속적인 비디오 영상에서 부표본화되었으며, 저해상도 영상과 고해상도 영상간의 관측 모델을 구성하고 초해상도 영상복원 기법중의 하나인 MAP 알고리즘을 적용하였다. MAP 기법을 이용하여 여러 장의 저해상도 영상에서 고해상도 영상으로 복원하였으며, 그 결과를 기존의 영상보간 방법들과 비교하였다.

• 방송공학회논문지
• /
• 제24권1호
• /
• pp.132-141
• /
• 2019

매우 제한된 전송 대역을 이용하여 비디오 데이터를 전송해야 하는 필요성은, 광대역을 통한 비디오 서비스가 활성화되어 있는 현 시점에서도 꾸준히 존재한다. 본 논문에서는 초협대역 네트워크를 통한 저해상도 비디오 전송을 위해, 공간 확장형 스케일러블 비디오 코딩 프레임워크에서 기본 계층의 부호화된 프레임을 심층 신경망 기반 초해상화 기법을 이용하여 업스케일링 하여 향상 계층 부호화 시에 예측 영상으로 활용하여 부호화 효율을 높이는 방법을 제안한다. 기존의 스케일러블 HEVC (High efficiency video coding) 표준에서는 고정된 필터로 업스케일링을 하는데 비해, 본 논문에서는 초해상화 수행을 위해 학습된 심층신경망을 기존의 고정 업스케일링 필터를 대체하여 적용하는 스케일러블 비디오 코딩 프레임워크를 제안한다. 이를 위해 스킵 연결과 잔차 학습 기법 등이 적용된 심층 콘볼루션 신경망 구조를 제안하고, 비디오 코딩 프레임워크의 실제 응용 상황에 맞추어 학습시켰다. 입력 해상도가 $352{\times}288$이고 프레임율이 8fps인 영상을 110kbps로 부호화 하는 응용 상황에서, 기존의 스케일러블 HEVC 프레임워크에 비해 제안하는 스케일러블 비디오 코딩 프레임워크의 화질이 더 높고 부호화 효율이 우수함을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제24권2호
• /
• pp.306-314
• /
• 2019

영상의 해상도가 빠른 속도로 증가하기 때문에 계속된 전송 대역폭의 증가에도 불구하고 여전히 효과적인 영상 압축 방법에 대한 연구의 요구가 계속 되고 있다. 이와 같은 요구를 충족하기 위해서 영상의 해상도를 줄인 뒤 압축하여 전송한 뒤에 복원 시에 초해상화 기법을 사용하여 원 해상도로 복원하는 방법에 대한 연구가 제안되었다. 이 방법은 입력 영상의 해상도를 낮추기 때문에 동일한 크기로 압축한다고 할 때, 픽셀 당 비트의 수가 증가되어 영상 압축에서 발생되는 손실을 줄여 복원 영상을 화질을 높일 수 있다. 하지만, 이러한 초해상화를 이용한 비디오 압축 방법의 경우 모든 목표 전송 대역에서 효과적인 것이 아니다. 영상 해상도를 줄이면서 발생되는 손실의 크기와 압축에서 발생되는 손실의 크기를 비교해서 영상 압축에서 발생되는 왜곡이 더 큰 경우에만 기존 압축 성능보다 향상된 결과를 얻을 수 있다. 특히, HEVC의 경우 이전의 표준 압축에 비해 상당히 높은 압축 성능을 가지고 있기 때문에 압축 왜곡이 더 커지는 경우가 상당히 저 대역폭 전송 에서만 생기는 것을 실험적으로 확인할 수 있었다. 본 논문에서는 다양한 영상에서 HEVC 기반 초해상화를 이용한 비디오 코딩을 적용해보고 효과적으로 적용될 수 있는 목표 대역폭을 측정해보았다.

• Journal of Web Engineering
• /
• 제21권2호
• /
• pp.425-442
• /
• 2021

Media technology has been developed to give users a sense of immersion. Recent media using 3D spatial data, such as augmented reality and virtual reality, has attracted attention. A point cloud is a data format that consists of a number of points, and thus can express 3D media using coordinates and color information for each point. Since a point cloud has a larger capacity than 2D images, a technology to compress the point cloud is required, i.e., standardized in the international standard organization MPEG as a video-based point cloud compression (V-PCC). V-PCC decomposes 3D point cloud data into 2D patches along orthogonal directions, and those patches are placed into a 2D image sequence, and then compressed using existing 2D video codecs. However, data loss may occur while converting a 3D point cloud into a 2D image sequence and encoding this sequence using a legacy video codec. This data loss can cause deterioration in the quality of a reconstructed point cloud. This paper proposed a method of enhancing a reconstructed point cloud by applying a super resolution network to the 2D patch image sequence of a 3D point cloud.

• 한국정보통신학회논문지
• /
• 제17권7호
• /
• pp.1672-1686
• /
• 2013

본 논문에서는 이산 웨이블릿 변환(discrete wavelet transform: DWT)을 이용한 단일영상 기반의 초고해상도 기법(super-resolution)과, 복수영상 기반의 초고해상도 기법을 제시하고 두 기법을 혼합한 새로운 초고해상도 기법 기법을 제안한다. 기존의 단일 영상 기반의 초고해상도 기법의 경우 처리 시간이 빠르다는 장점이 있으나 영상 보간 시 사용할 수 있는 정보량이 제한적이다. 또한 기존 복수영상 기반의 초고해상도 기법은 단일 영상을 사용했을 경우보다 영상의 보간 시 많은 정보를 사용할 수 있으나 영상의 내용에 따라 기법의 적용이 제한적이고, 컷(cut)의 경계 부근에서 기법의 성능이 매우 떨어지는 단점이 있다. 제안된 기법에서는 컷 검출(cut-detection) 기법을 통해 각 장면의 경계부근에서 적응적으로 단일영상 기반의 초고해상도 기법을 사용한다. 또한 움직임 벡터의 정규화 및 블록 단위의 윤곽선(edge) 패턴 분석을 통해 여러 제한조건에 강한 복수 영상 기반의 초고해상도 기법을 제안한다. 실험을 통하여 제안된 기법이 객관적, 주관적으로 기존의 기법보다 우수한 성능을 보이는 것을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제14권11호
• /
• pp.1392-1400
• /
• 2011

최근 대부분의 디지털 이미지 응용분야에서는 영상 처리 및 분석을 위해 고해상도 이미지나 비디오가 요구되고 있다. 한편, 일반적인 영상획득시스템으로부터 획득한 영상신호는 획득하는 과정에서 물리적 영향, 제조 기술의 한계 및 환경적인 영향 등으로 인하여 영상의 화질 저하를 가져온다. 이러한 문제를 해결하기위해 연구되고 있는 방법 중 하나인 초해상도 복원 기술은 동일한 물체를 촬영한 다수의 저해상도 영상으로 고해상도 영상을 만들어내는 영상복원기술이다. 본 논문에서는 S&A (Shift & Add) 방법에 POCS (Projection onto Convex Sets) 이론을 적용하여 기존의 방법보다 개선된 알고리즘을 제안한다. 기존의 알고리즘은 잡음에 약하다는 문제점이 있다. 이를 해결하기 위해 제안한 방법에서는 복원단계에 사용되는 참조영상을 POCS이론에 적용하여 기존의 S&A방법과 결합하였다. 또한 광학적 왜곡에 해당하는 카메라 블러(blur) 연산자로 주파수 영역에서 BLPF (Butterworth Low-pass Filter)를 사용하여 기존방법의 문제점인 링잉현상을 해결하였다. 실험결과를 통해 잡음에 강하고 영상의 고주파영역을 향상시킨 제안한 초해상도 방법의 우수성을 확인하였고, 객관적 평가를 위해 기존의 방법과 PSNR (peak signal to noise ratio)을 비교하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.16-18
• /
• 2021

미디어 기술은 사용자가 더욱 몰입감을 느낄 수 있는 방향으로 개발되어 왔다. 이러한 흐름에 따라 기존의 2D 이미지에 비해 깊이감을 느낄 수 있는 증강 현실, 가상 현실 등 3D 공간 데이터를 활용하는 미디어가 주목을 받고 있다. 포인트 클라우드는 수많은 3차원 좌표를 가진 여러 개의 점들로 구성된 데이터 형식이므로 각각의 점들에 대한 좌표 및 색상 정보를 사용하여 3D 미디어를 표현한다. 고정된 크기의 해상도를 갖는 2D 이미지와 다르게 포인트 클라우드는 포인트의 개수에 따라 용량이 유동적이며, 이를 기존의 비디오 코덱을 사용하여 압축하기 위해 국제 표준기구인 MPEG(Moving Picture Experts Group)에서는 Video-based Point Cloud Compression (V-PCC)을 제정하였다. V-PCC는 3D 포인트 클라우드 데이터를 직교 평면 벡터를 이용하여 2D 패치로 분해하고 이러한 패치를 2D 이미지에 배치한 다음 기존의 2D 비디오 코덱을 사용하여 압축한다. 본 논문에서는 앞서 설명한 2D 패치 이미지에 super resolution network를 적용함으로써 3D 포인트 클라우드의 성능 향상하는 방안을 제안한다.