• 대한전자공학회논문지SD
• /
• 제48권9호
• /
• pp.22-30
• /
• 2011

최근 카메라를 통해 입력된 영상정보로부터 실시간으로 상황을 인지하고 자율 대응할 수 있는 지능형 영상 보안 시스템의 수요가 증가함에 따라, 고성능의 얼굴 인식 시스템이 요구되고 있다. 기존의 얼굴 인식 시스템의 성능 향상을 위해서는 원거리에서 획득된 저해상도 얼굴 영상 처리를 위한 솔루션이 반드시 필요하다. 따라서 본 논문에서는 실시간 감시가 요구되는 지능형 영상 보안 시스템의 얼굴 인식 성능 향상을 위한 저해상도 얼굴 영상 복원 알고리즘을 하드웨어로 구현하였다. 저해상도 얼굴 영상 복원 방법으로는 학습 기반의 초해상도 알고리즘을 사용한다. 해당 알고리즘은 먼저 고해상도 영상으로 구성된 학습 집합에서 주성분 분석(PCA)을 활용하여 복원에 필요한 사전 정보들을 추출하고, 저해상도 영상과의 관계를 모델링하여 가장 적합한 고해상도 얼굴을 복원해내는 것이다. 저해상도 얼굴 영상 복원 알고리즘을 임베디드 프로세서(S3C2440A)를 사용하여 구현하였을 때, 약 25 초의 긴 연산 시간이 소요되었다. 이는 실시간으로 사람을 판별 및 인식하기 위한 지능형 영상 보안 시스템의 구축에는 어려움이 있다. 이를 해결하기 위하여 얼굴 영역 초해상도의 연산을 하드웨어로 구현하고 Xilinx Virtex-4를 이용하여 검증하였다. 약 9MB의 학습 데이터를 사용하였으며, 100 MHz에서 약 30 fps의 속도로 연산이 가능하다. 이러한 학습 기반의 얼굴 영역 초해상도 알고리즘을 단일 하드웨어 IP로 설계함으로써 임베디드 환경에서의 실시간 처리가 가능할 뿐 만 아니라 기존의 다양한 얼굴 검출 시스템과의 통합이 용이하여 얼굴 인식 솔루션을 제공할 수 있을 것으로 판단된다.

• 한국정보통신학회논문지
• /
• 제25권4호
• /
• pp.543-548
• /
• 2021

이미지는 해상도가 높을수록 이미지를 시청하는 사람들의 만족도가 높아지며 초고해상도 이미지화는 컴퓨터 비전이나 영상처리 분야 중에서도 연구 가치가 꽤 높아지고 있다. 본 연구에서는 주로 딥 러닝 초 해상도 모델을 사용하여 저해상도 이미지 LR의 주요 특징을 추출한다. 추출된 특징을 학습 및 재구성하고, 고해상도 이미지 HR을 생성하는 재구성 기반 알고리즘에 중점을 둔다. 본 논문에서는 재구성에 기반을 둔 초 해상도 알고리즘 모델에서 SRCNN과 VDSR에 대하여 알아보도록 한다. SRCNN과 VDSR모델의 구조 및 알고리즘 프로세스를 간략하게 소개하고 개선된 성능평가 함수에서도 다중 채널과 특수한 형태에 대하여 알아보도록 하며, 실험을 통하여 각 알고리즘의 성능을 이해하도록 한다. 실험에서는 SRCNN 및 VDSR 모델의 결과와 피크 신호 대 잡음 비 및 이미지 구조 유사도를 비교하는 실험을 수행하여 결과를 한눈에 볼 수 있도록 하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제37권4호
• /
• pp.264-272
• /
• 2010

예제기반 초해상도 영상복원은 영상 패치의 대한 학습 및 검색을 통해 저해상도 영상으로부터 고해상도 영상을 복원하는 방법으로써 성능이 좋고 한 장의 저해상도 영상에 대하여도 적용 가능하다. 그러나 복원 과정에서 패치 검색에 많은 비교 연산이 요구되기 때문에 속도가 매우 느리다. 복원 속도를 향상시키기 위해서는 효과적인 패치 검색 알고리즘이 요구된다. 본 논문에서는 패치 검색에 사용 가능한 다양한 고차원 특징 검색 방법들을 실제 초해상도 영상복원 시스템에 적용하여 그 성능을 비교하였다. 또한 문자 인식 분야에서 성공적으로 적용되어왔으나 초해상도 영상복원에서는 사용되지 않았던 단계적 후보축소 방법을 패치 검색 단계에 적용할 것을 제안한다. 실험 결과 기존의 방법 중에서는 LSH가 가장 좋은성능을 나타내었다. 본 논문에서 제안한 단계적 후보 축소에 의한 패치 검색 방법은 LSH보다 더욱 우수하여 $1024{\times}1024$ 영상의 복원 시 LSH보다 최대 3.12배 빠른 복원 속도를 나타내었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.255-256
• /
• 2019

본 논문에서는 초고해상도 기술의 복잡도를 줄이기 위하여 픽셀단위 생략 방법을 제안한다. 제안하는 방법은 픽셀 단위로 수평, 수직 방향의 밝기에 대한 2 차 미분치에 기반하여 생략을 결정한다. 제안하는 방법의 성능 평가를 위하여 가장 간단한 초고해상도 알고리즘인 SRCNN 과 제안하는 방법의 PSNR 비교한다. 그 결과 제안하는 방법이 평균적으로 약 47%의 픽셀이 생략이 되면서 SRCNN 대비 0.2dB PSNR 감소를 보인다.

• 한국멀티미디어학회논문지
• /
• 제14권11호
• /
• pp.1392-1400
• /
• 2011

최근 대부분의 디지털 이미지 응용분야에서는 영상 처리 및 분석을 위해 고해상도 이미지나 비디오가 요구되고 있다. 한편, 일반적인 영상획득시스템으로부터 획득한 영상신호는 획득하는 과정에서 물리적 영향, 제조 기술의 한계 및 환경적인 영향 등으로 인하여 영상의 화질 저하를 가져온다. 이러한 문제를 해결하기위해 연구되고 있는 방법 중 하나인 초해상도 복원 기술은 동일한 물체를 촬영한 다수의 저해상도 영상으로 고해상도 영상을 만들어내는 영상복원기술이다. 본 논문에서는 S&A (Shift & Add) 방법에 POCS (Projection onto Convex Sets) 이론을 적용하여 기존의 방법보다 개선된 알고리즘을 제안한다. 기존의 알고리즘은 잡음에 약하다는 문제점이 있다. 이를 해결하기 위해 제안한 방법에서는 복원단계에 사용되는 참조영상을 POCS이론에 적용하여 기존의 S&A방법과 결합하였다. 또한 광학적 왜곡에 해당하는 카메라 블러(blur) 연산자로 주파수 영역에서 BLPF (Butterworth Low-pass Filter)를 사용하여 기존방법의 문제점인 링잉현상을 해결하였다. 실험결과를 통해 잡음에 강하고 영상의 고주파영역을 향상시킨 제안한 초해상도 방법의 우수성을 확인하였고, 객관적 평가를 위해 기존의 방법과 PSNR (peak signal to noise ratio)을 비교하였다.

• 전자공학회논문지
• /
• 제53권10호
• /
• pp.84-91
• /
• 2016

최근 어라운드 뷰 모니터링 시스템이나 보안 시스템 등에서는 광각 카메라를 이용하여 사용자에게 영상을 제공하고 있다. 광각 카메라로 촬영된 영상은 보다 넓은 범위의 장면을 제공하는 장점이 있으나 영상에 왜곡이 존재하고 특히 영상 외곽 부분은 초점이 맞지 않아 영상의 선명도가 저하되는 단점이 존재한다. 따라서 광각 영상에 대하여 초해상도 기법을 적용할 경우 영상 외곽에서의 블러 영향이 그대로 남아 있어 고해상도 영상의 선명도가 저하되고 아티팩트가 발생하는 등 결과적으로 초해상도 기법의 성능 저하로 이어진다. 따라서 본 논문에서는 자기 유사성 기반의 전처리 기법을 적용하여 영상 외곽부에서의 화질 저하를 개선하고자 한다. 추가로 전체 알고리즘에 대하여 GPU 환경에서의 가속화를 수행하여 알고리즘의 가속성을 확인한다.

• 한국컴퓨터정보학회논문지
• /
• 제16권6호
• /
• pp.71-77
• /
• 2011

본 논문에서는 번호판 인식 시스템에서 번호판 영상의 화질 개선을 위하여 국부 블록(Local block : LB) 학습기반의 초해상도 알고리즘을 제안한다. 본 논문에서 국부 블록은 영상 내에서 정보를 담고 있는 최소 단위로 정의하였으며, 학습의 기본 단위가 된다. 제안된 방법은 먼저 다양한 환경에 적합한 훈련 국부 블록 set을 생성하였다. 훈련 국부 블록 set은 고해상도 국부 블록과 저해상도 국부 블록의 순서쌍으로 구성되며 다양한 크기의 번호판과 열화 영상에 대응하기 위하여 다양한 크기와 열화를 갖는 저해상도 국부 블록 훈련 set을 구성하였다. 그 다음으로는 저해상도 입력 영상에서 복원해야할 정보를 훈련 국부 블록 set에서 추출/융합하는 과정을 제안하였다. 모의 실험결과, 열화된 저해상도 번호판 영상에 대해 제안한 방법이 효과적인 복원 성능을 나타내는 것을 확인할 수 있었다.

• 한국정보통신학회논문지
• /
• 제18권12호
• /
• pp.2946-2952
• /
• 2014

표본 기반 초해상도(Super Resolution 이하 SR) 방법들 중 네이버 임베딩(Neighbor Embedding 이하 NE) 기법의 기본 원리는 지역적 선형 임베딩이라는 매니폴드 학습방법의 개념과 같다. 그러나, 네이버 임베딩은 국부 학습 데이터 집합의 크기가 너무 작기 때문에 이에 따른 빈약한 일반화 능력으로 인하여 알고리즘의 성능을 크게 저하시킨다. 본 논문에서는 이와 같은 문제점을 해결하기 위해서 일반화 능력이 뛰어난 Support Vector Regression(이하 SVR)을 이용한 Sparse-Neighbor 영상 표현 학습 방법에 기반한 새로운 알고리즘을 제안하였다. 저해상도 입력 영상이 주어지면 bicubic 보간법을 이용하여 확대된 영상을 얻고, 이 확대된 영상으로부터 패치를 얻은 후 저주파 패치인지 고주파 패치 인지를 판별한 후 각 영상 패치의 가중치를 얻은 후 두 개의 SVR을 훈련하였으며 훈련된 SVR을 이용하여 고해상도의 해당 화소 값을 예측하였다. 실험을 통하여 제안된 기법이 기존의 보간법 및 네이버 임베딩 기법 등에 비해 정량적인 척도 및 시각적으로 향상된 결과를 보여 주었다.

• 한국정보통신학회논문지
• /
• 제25권11호
• /
• pp.1486-1494
• /
• 2021

문자 인식은 스마트 주차, text to speech 등 최근 다양한 플랫폼에서 필요로 하는 기술로써, 기존의 방법과 달리 새로운 시도를 통하여 그 성능을 향상시키려는 연구들이 진행되고 있다. 그러나 문자 인식에 사용되는 이미지의 품질이 낮을 경우, 문자 인식기 학습용 이미지와 테스트 이미지간에 해상도 차이가 발생하여 정확도가 떨어지는 문제가 발생된다. 이를 해결하기 위해 본 논문은 문자 인식 모델 성능이 다양한 품질 데이터에 대하여 강인하도록 이미지 초해상도 및 문자 인식을 결합한 통째학습 신경망을 설계하고, 대안적 통째학습 알고리즘을 구현하여 통째 신경망 학습을 수행하였다. 다양한 문자 이미지 중 차량 번호판 이미지를 이용하여 대안적 통째학습 및 인식 성능 테스트를 진행하였고, 이를 통해 제안하는 알고리즘의 효과를 검증하였다.

• 대한원격탐사학회지
• /
• 제38권5_1호
• /
• pp.559-570
• /
• 2022

광학 위성 영상의 공간해상도가 낮게 되면 크기가 작은 객체들의 경우 객체 탐지의 어려움이 따른다. 따라서 본 연구에서는 위성 영상의 공간해상도를 향상시키는 초해상화(Super-resolution) 기술이 객체 탐지 정확도 향상에 대한 영향이 유의미한지 알아보고자 하였다. 쌍을 이루지 않는(unpaired) 초해상화 알고리즘을 이용하여 Sentinel-2 영상의 공간해상도를 3.2 m로 향상시켰으며, 객체 탐지 모델인 Faster-RCNN, RetinaNet, FCOS, S²ANet을 활용하여 초해상화 적용 유무에 따른 선박 탐지 정확도 변화를 확인했다. 그 결과 선박 탐지 모델의 성능 평가에서 초해상화가 적용된 영상으로 학습된 선박 탐지 모델들에서 Average Precision (AP)가 최소 12.3%, 최대 33.3% 향상됨을 확인하였고, 초해상화가 적용되지 않은 모델에 비해 미탐지 및 과탐지가 줄어듦을 보였다. 이는 초해상화 기술이 객체 탐지에서 중요한 전처리 단계가 될 수 있다는 것을 의미하고, 객체 탐지와 더불어 영상 기반의 다른 딥러닝 기술의 정확도 향상에도 크게 기여할 수 있을 것으로 기대된다.