• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.220-223
• /
• 2020

초해상화란, 저해상도의 영상으로부터 고해상도 영상을 복원하는 이미지 처리 기법이다. 최근 영상 출력 장치의 발전으로 고해상도의 영상을 출력할 장치는 많아지는 한편, 이에 맞는 고해상도 영상을 찍을 영상 기록 장치의 보급은 이에 비해 부족한 실정이다. 따라서 저해상도의 영상을 고해상도 영상으로 변환하는 초해상화 연구는 많은 분야에서 활용되고 있다. 문화재 영상에서의 초해상화는 특히 기존 문화재의 질감, 무늬 등을 보존해야하기 때문에 정교한 초해상화 과정이 요구된다. 본 논문에서는 문화재 영상의 초해상화 과정에 집중해, 기존 문화재의 질감, 무늬 등을 잘 보존하면서 영상 데이터의 양이 상대적으로 적은 경우에도 활용 가능한 기계학습 기범, GLM-SI를 이용한 문화재 영상 초해상화 방법을 제안한다. GLM-SI 를 사용한 초해상화 결과, 문화재 영상에서 선행 방법인 SI 에 비하여 4 배 초해상화에서 PSNR 0.12dB, SSIM 0.017, 8 배 초해상화에서 PSNR 0.23dB, 0.033 의 성능적 향상을 얻을 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.75-77
• /
• 2015

디스플레이 해상도가 지속적으로 고해상화가 되면서, 기존 저해상도 영상을 고해상도 디스플레이 크기에 맞춰 해상도를 키우는 기법인 초해상화(super-resolution, SR) 기법에 많은 관심이 쏟아지고 있으며 이에 대한 많은 초해상화 논문들이 게재되었다. 이 중 현재 최상 품질의 고해상도 영상을 복원하는 한 초해상화 기법은, 입력 받은 저해상도 영상을 자가 예제(self-examples)로 사용하여 선형 매핑(linear mapping)을 통해 점진적으로 여러 레벨(level)를 거쳐 조금씩 키우는 방법이다. 이때 각 레벨마다 기존 저해상도 영상 크기로 반복적으로 줄여 오차를 줄이는 역투영법(back-projection)을 사용하는데, 이 방법은 처리된 영상에 시각적 품질을 낮추는 링 아티팩트(ringing artifacts)를 생산하며, 이는 매 레벨마다 계속 누적이 되어 고해상도 결과 이미지 품질에 악영향을 미치는 단점이 있다. 이를 보완하기 위해, 본 논문에서는 저해상도 정지 영상을 고해상도 정지 영상으로 점진적으로 키울 때 일반적인 역투영법 대신 비국소적 평균법(non-local means, NLM) 기반 역투영법을 사용하는 초해상화 기법을 제안한다. 제안하는 기법은 매 레벨마다 생기는 링 아티팩트를 효과적으로 제거하여 높은 시각적 품질의 고해상도 영상을 복원할 수 있게 한다. 실험을 통해 제안된 초해상화 기법을 사용 시 기존 초해상화 기법보다 향상된 고품질 고해상도 영상 복원이 가능한 것을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1322-1324
• /
• 2022

최근 딥러닝의 발전에 따라 단일 이미지 초해상도 분야에 좋은 성과를 보여주고 있다. 그러나 보다 더 높은 성능을 획득하기 위해 네트워크의 깊이 및 파라미터의 수가 크게 증가하였고, 모바일 및 엣지 디바이스에 원활하게 적용되기 위하여 딥러닝 모델 경량화의 필요성이 대두되고 있다. 이에 본 논문에서는 초해상도 모델 중 하나인 EDSR(Enhanced Deep Residual Network)에 대조 학습 기반 지식 전이를 적용한 경량화 기법을 제안한다. 실험 결과 제안한 지식 전이 기법이 기존의 다른 지식 증류 기법보다 향상된 성능을 보임을 확인하였다.

• 디지털정책학회지
• /
• 제3권1호
• /
• pp.27-32
• /
• 2024

본 논문은 초해상도 결과의 품질을 향상시키기 위해 질감 특징을 세분화하여 각각을 대조하고, 그 결과를 가중치로 이용하는 초해상도 방법을 제안하였다. 초해상도에서 중요한 평가 기준인 품질의 향상을 위해서는 경계 영역과 같은 세부사항에서의 정확하고 명확한 복원 결과가 필요하며, 인공물과 같은 불필요한 잡음을 최소화하는 것이 중요하다. 제안하는 방법은 품질 향상을 위해 기존 CNN(Convolutional Neural Network) 기반의 초해상도 방법에서 특징 추정을 위해 다중 경로의 잔차 블록 구조와 skip-connection을 구성하였다. 추가적인 질감 분석을 위한 선명 및 흐림 이미지 결과를 추가로 학습하였다. 이를 활용하여 초해상도 수행 결과 또한 각각을 대조하여 가중치를 할당하는 방법을 이용해 영상의 세부사항 영역과 평활화 영역에 대해 개선된 품질을 얻을 수 있도록 하였다. 제안하는 방법의 실험 결과 평가 기준으로 활용되는 PSNR과 SSIM 값이 기존 알고리즘 대비 높은 결과 값을 얻어 품질이 개선됨을 확인할 수 있었다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2008년도 학술발표회 논문집
• /
• pp.1779-1783
• /
• 2008

영상해석을 통한 흐름해석의 방법인 Large-Scale Particle Image Velocimetry (LSPIV)는 실험실내의 소규모 흐름해석에 이용하던 Particle Image Velocimetry (PIV)를 자연하천이나 실험실에서 넓은 영역($4m^2{\sim}45,000m^2$)에 적용할 수 있도록 확장시킨 것으로 지난 10여년전부터 세계적으로 널리 이에 대한 연구가 진행되고 있다. PIV는 seeding, illumination, recording 그리고 image processing으로 구성된다. LSPIV(Large Scale PIV)는 PIV의 기본원리를 근거로 하여 기존의 PIV에 비하여 실험실 내에서의 수리모형실험이나 일반 하천에서의 유속측정과 같은 큰 규모의 흐름해석을 할 수 있도록 seeding, illumination에 대한 조정이 필요 하고, 촬영된 image에 대한 왜곡을 없애는 작업이 필요하다. LSPIV는 PIV의 네 가지 단계를 포함하여 seeding, illumination, recording, image transformation, image processing 및 post-processing의 여섯 단계로 구성되어진다 (Li, 2002). LSPIV의 적용시 각 단계마다 유속계산시 오차를 발생시키는 27가지의 요인들이 존재하고 있는바 (Kim, 2006), 본 연구에서는 이들 중 실내의 실험실에서 파악이 가능한 인자들에 대해 그들 각각의 인자들이 유속 측정에 미치는 오차의 정도를 파악하고자 하였다. 본 연구에서는 LSPIV의 적용시 이용되는 이미지의 개수와 이미지 촬영시 적용된 이미지의 해상도에 따른 오차의 발생 정도를 조사하였다. 이미지 촬영에 있어서 비디오카메라를 이용할 경우 촬영시간에 따라 많은 수의 이미지를 취득할 수 있은바 이미지의 수에 따른 유속계산오차를 파악하고자 하였다. 또한 디지털 카메라를 이용할 경우 여러 가지 이미지 해상도를 이용할 수 있으므로 적용한 이미지 해상도에 따른 유속계산에 미치는 오차의 크기를 파악하고자 하였다. 이미지의 갯수가 유속계산시 미치는 오차의 영향의 정도를 조사하기 위해서 초당 30 frame을 촬영할 수 있는 비디오카메라를 이용하여 91초 동안 촬영된 이미지로부터 매 5번째의 이미지를 추출하여 455개의 이미지를 준비하였고 이로부터 이미지수를 10, 50, 100, 200, 300, 400의 순서로 증가시키면서 이미지 개수로부터 나타나는 유속계산 오차를 조사한 결과 이미지의 개수가 50매 이상인 경우는 이로 인한 오차가 1% 이하로 감소함을 파악하였다. 촬영된 이미지의 해상도가 유속계산시 미치는 영향을 조사하기 위해 디지털카메라를 적용하여 세가지 이미지 해상도(640*480, 1280*960, 2048*1536 pixel)로 변화시키면서 유속측정 오차를 분석한 결과 저해상도의 이미지를 이용한 경우 고해상도 이미지를 이용한 경우와 비교하여 3% 가량의 차이를 나타내었다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.417-417
• /
• 2023

도시홍수는 도시의 주요 기능을 마비시킬 수 있는 수재해로서, 최근 집중호우로 인해 홍수 및 침수 위험도가 증가하고 있다. 집중호우는 한정된 지역에 단시간 동안 집중적으로 폭우가 발생하는 현상을 의미하며, 도시 지역에서 강우 추정 및 예보를 위해 레이더의 활용이 증대되고 있다. 레이더는 수상체 또는 구름으로부터 반사되는 신호를 분석해서 강우량을 측정하는 장비이다. 기상청의 기상레이더(S밴드)의 주요 목적은 남한에 발생하는 기상현상 탐지 및 악기상 대비이다. 관측반경이 넓기에 도시 지역에 적합하지 않는 반면, X밴드 이중편파레이더는 높은 시공간 해상도를 갖는 관측자료를 제공하기에 도시 지역에 대한 강우 추정 및 예보의 정확도가 상대적으로 높다. 따라서, 본 연구에서는 딥러닝 기반 초해상화(Super Resolution) 기술을 활용하여 저해상도(Low Resolution. LR) 영상인 S밴드 레이더 자료로부터 고해상도(High Resolution, HR) 영상을 생성하는 기술을 개발하였다. 초해상도 연구는 Nearest Neighbor, Bicubic과 같은 간단한 보간법(interpolation)에서 시작하여, 최근 딥러닝 기반의 초해상화 알고리즘은 가장 일반화된 합성곱 신경망(CNN)을 통해 연구가 이루어지고 있다. X밴드 레이더 반사도 자료를 고해상도(HR), S밴드 레이더 반사도 자료를 저해상도(LR) 입력자료로 사용하여 초해상화 모형을 구성하였다. 2018~2020년에 발생한 서울시 호우 사례를 중심으로 데이터를 구축하였다. 구축된 데이터로부터 훈련된 초해상도 심층신경망 모형으로부터 저해상도 이미지를 고해상도로 변환한 결과를 PSNR(Peak Signal-to-noise Ratio), SSIM(Structural SIMilarity)와 같은 평가지표로 결과를 평가하였다. 본 연구를 통해 기존 방법들에 비해 높은 공간적 해상도를 갖는 레이더 자료를 생산할 수 있을 것으로 기대된다.

• 한국멀티미디어학회논문지
• /
• 제14권11호
• /
• pp.1392-1400
• /
• 2011

최근 대부분의 디지털 이미지 응용분야에서는 영상 처리 및 분석을 위해 고해상도 이미지나 비디오가 요구되고 있다. 한편, 일반적인 영상획득시스템으로부터 획득한 영상신호는 획득하는 과정에서 물리적 영향, 제조 기술의 한계 및 환경적인 영향 등으로 인하여 영상의 화질 저하를 가져온다. 이러한 문제를 해결하기위해 연구되고 있는 방법 중 하나인 초해상도 복원 기술은 동일한 물체를 촬영한 다수의 저해상도 영상으로 고해상도 영상을 만들어내는 영상복원기술이다. 본 논문에서는 S&A (Shift & Add) 방법에 POCS (Projection onto Convex Sets) 이론을 적용하여 기존의 방법보다 개선된 알고리즘을 제안한다. 기존의 알고리즘은 잡음에 약하다는 문제점이 있다. 이를 해결하기 위해 제안한 방법에서는 복원단계에 사용되는 참조영상을 POCS이론에 적용하여 기존의 S&A방법과 결합하였다. 또한 광학적 왜곡에 해당하는 카메라 블러(blur) 연산자로 주파수 영역에서 BLPF (Butterworth Low-pass Filter)를 사용하여 기존방법의 문제점인 링잉현상을 해결하였다. 실험결과를 통해 잡음에 강하고 영상의 고주파영역을 향상시킨 제안한 초해상도 방법의 우수성을 확인하였고, 객관적 평가를 위해 기존의 방법과 PSNR (peak signal to noise ratio)을 비교하였다.

• 한국수자원학회논문집
• /
• 제56권10호
• /
• pp.641-653
• /
• 2023

기후변화와 도시화의 영향으로 인해 자연재해의 발생빈도와 규모가 증가하고 있다. 특히 도시 침수는 발생 시간이 짧고 막대한 인명 및 경제적 손실을 초래할 수 있기 때문에 신속하고 정확도 높은 예측 정보 생산이 중요하다. 하지만, 기존 물리과정 및 인공지능 기반 기법은 고해상도 침수 해석을 위해 많은 전산 자원이나 데이터가 요구되는 한계가 있다. 본 연구에서는 딥러닝 기반 초해상화(Super-Resolution) 기법을 통한 고해상도 도시 침수 해석 방법을 제안하고 적용성을 평가한다. 제안된 방법은 고해상도 물리 모형의 결과로 훈련된 초해상화 딥러닝 모형을 이용하여 저해상도 침수 해석 이미지를 고해상도로 변환한다. 미국 포틀랜드 도심지의 두 가지 침수 사례에 대해 적용, 4 m 공간해상도 물리 모의 결과를 1 m 급 고해상도 침수 해석 정보로 초해상화 하였으며, 초해상화 이미지와 고해상도 원본 간 높은 구조적 유사성이 확인되었다. 성능 지표로 평가한 결과, 전체 검증 대상 이미지에 대한 평균 PSNR 22.77 dB, SSIM 0.77로 우수하여, 초해상화 기법의 도시 침수 해석 적용성이 검증되었다. 제안된 방법은 적은 양의 침수 시나리오만으로도 효율적인 딥러닝 모형 훈련이 가능하고, 물리 모형의 정보를 최대한 활용할 수 있기 때문에, 고해상도 도시 침수 정보 생산에 효과적으로 사용될 수 있을 것으로 기대된다.

• 대한전자공학회논문지SP
• /
• 제47권1호
• /
• pp.120-127
• /
• 2010

본 논문은 높은 품질 SR 이미지를 획득하기 위해 국소 그라디언트를 기반으로 적응형 보간법을 이용하는 SR 방법을 제공한다. 이 방법에서, 내삽 화소와 인접하는 유효한 화소 사이에 거리는 국소 그라디언트 특징을 이용하여 고려되며, 보간 계수는 LR 이미지의 국소 그라디언트를 고려한다. 픽셀의 국소 그라디언트는 더 작을수록, 그리고 메디안 필터는 보간된 HR 이미지의 블러링과 노이즈를 감소시키기 위해 적용된다. 실험 결과는 특히 이미지의 에지 부분에서, 다른 방법과 비교하여 제안된 방법의 유효성을 보여준다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.82-84
• /
• 2022

최근 자율주행에서 안전한 주행을 위해 영상 기반 다중객체 검출 기술이 활발히 연구되고 있다. 이때, 저해상도 영상은 객체 검출 단계에서 정확도가 떨어지는 한계가 있다. 본 논문에서는 이러한 문제점을 해결하기 위해 초해상화와 객체 검출을 위한 방법을 함께 사용하는 기법을 제안한다. 더 나아가 초해상화 단계에서 하나의 구분자만 사용하는 기존의 방법과 다르게 이미지 생성 과정 중간에서 추가의 구분자를 사용하여 총 두 개의 구분자를 사용하여 성능을 향상하고자 하였다. 본 논문은 한국 고속도로 교통 데이터를 사용하여 실험하였으며, 그 결과 제안된 방법의 성능이 mAP@0.5 및 F1 점수 측면에서 기존 방법보다 우수하다는 것을 확인하였다.