• 방송공학회논문지
• /
• 제27권3호
• /
• pp.378-390
• /
• 2022

최근 심층 합성 곱 신경망 학습의 발전에 따라 단일 영상 초해상도에 적용되는 심층 학습 기법들을 좋은 성과를 보여주고 있으며 깊은 네트워크의 강한 표현 능력으로 저해상도 영상과 고해상도 영상 사이의 복잡한 비선형 매핑이 가능해졌다. 하지만 과도한 합성곱 신경망의 사용으로 인해 증가하는 파라미터와 연산량으로 실시간 또는 저전력 장치에 적용하는데 제한이 있다. 본 논문은 정보 증류 방식을 이용하여 계층적인 특징을 조금씩 추출해내는 블록을 재귀적인 방식으로 사용하며 고주파수 잔여 정제 블록을 통해 더 정확한 고주파수 성분을 만들어 성능을 향상시키는 경량화된 네트워크인 Recursive Distillation Super Resolution Network (RDSRN) 를 제안한다. 제안하는 네트워크는 RDN과 비교했을 때 비슷한 화질의 영상을 복원하며 약 32배 적은 파라미터와 약 10배 적은 연산량을 가지고 약 3.5배 더 빠르게 영상을 복원하며 기존 경량화 네트워크 CARN과 비교했을 때 약 2.2배 적은 파라미터와 약 1.8배 빠른 처리시간으로 평균 0.16dB 더 좋은 성능을 만들어 냄을 확인 하였다.

• 지능정보연구
• /
• 제29권4호
• /
• pp.257-269
• /
• 2023

최근 딥러닝 모델을 통해 사진이나 영상을 활용하여 영상 합성을 수행하는 것에 대한 요구가 높아지고 있다. 기존 영상 합성 모델의 경우 주어진 영상으로부터 모션 정보만을 전이하여 사진에 대한 애니메이션 효과를 생성하였다. 하지만 이러한 합성 모델의 경우 음성에 따른 립싱크가 불가능하다는 문제와 함께 합성 결과물의 화질이 떨어진다는 문제점이 있다. 문제를 해결하기 위해 본 논문에서는 이미지 애니메이션 기법을 기반으로 한 새로운 프레임워크에 대해 설명한다. 본 프레임워크에서는 합성하려는 사진과 영상, 그리고 오디오를 제공하면 사진의 인물 특징을 유지한 채 주어진 영상의 행동을 따라 움직이는 것뿐만 아니라 음성에 맞게 발화하는 모습도 함께 합성하여 모션 전이와 함께 립싱크를 수행한 합성 결과물을 생성한다. 또한 초해상화 기법을 영상 합성물에도 활용하여 더욱 고화질, 고해상도의 합성 결과물을 제공하도록 구성하였다.

• 한국항행학회논문지
• /
• 제6권2호
• /
• pp.97-103
• /
• 2002

고해상도 영상레이다에서 초광대역 파형 처리기술은 정밀 표적 식별을 위해서 매우 중요하다. 본 논문에서는 영상 레이다의 거리 분해능을 초 고해상도로 향상시킬 수 있는 방법으로서, 송신 펄스의 첩 변조 파형을 모듈방식으로 확장하여 광대역의 송신 파형을 얻을 수 있는 레이다 첩 파형 설계 기법에 대하여 논한다. 먼저 디지털 첩 신호발생 원리와 광대역 첩 신호 파형을 얻기 위한 신호대역 연결 및 분리 기법을 제시한다. 그리고, 영상 레이다의 거리 해상도 성능분석을 위하여 발생시킨 광대역 신호 파형 발생과 복원과정을 시뮬레이션을 통하여 성능 결과를 제시한다.

• 전자공학회논문지
• /
• 제50권10호
• /
• pp.150-161
• /
• 2013

본 논문에서는 다수의 카메라들을 이용하여 3차원 공간상에 있는 물체에 대한 다중 시점 영상들을 획득하고, 그 영상들로부터 해당 3차원 물체에 대한 기하학적인 형상 및 질감 정보를 추정하여, 그 물체에 대한 고해상도 3차원 콘텐츠를 효율적으로 제작하는 새로운 시스템을 제안한다. 지금까지 다양한 다중 시점 영상 기반 3차원 객체 복원 시스템들이 제안되었지만 다중 시점 기반 3차원 객체 복원이 많은 메모리와 계산량을 필요로 하기 때문에 고해상도의 3차원 콘텐츠를 얻는 데에는 어려움이 있었다. 3차원 복원에 필요한 계산량 및 메모리량을 줄이기 위해 제안 시스템은 객체의 다중 시점을 촬영한 영상 내에서 객체가 존재할 수 있는 영역을 사전에 설정하여 객체 윤곽선 추출 과정을 빠르게 수행한다. 그리고 체인코드를 활용하여 실루엣 영상을 표현하고 3차원-2차원 투영 및 역투영 관계를 1차원 호모그래피를 통해 표현하여 객체의 비주얼 헐을 빠르게 계산한다. 복원된 3차원 객체의 기하정보는 3차원 선분 기반의 표현 기법인 DoCube를 활용하여 적은 데이터양으로 표현하였으며, 3차원 메시 생성 및 텍스쳐 맵핑을 수행하여 최종적인 3차원 객체를 생성한다. 실험 결과 제안 시스템이 $800{\times}800{\times}800$ 해상도의 3차원 객체 복원을 프레임 당 2.2초에 수행하는 것을 확인하였다.

• 대한전자공학회논문지SP
• /
• 제48권1호
• /
• pp.54-63
• /
• 2011

본 논문은 저해상도 입력 영상을 고해상도 영상으로 복원하는 고속 학습기반 보간 기법을 제안한다. 일반적인 학습기반 초고해상도 기법은 여러 종류의 저해상도 영상과 고해상도 영상의 상관성을 통해 고주파 정보를 사전에 학습하고, 합성 단계에서 학습한 정보를 이용해 임의의 저해상도 영상을 고해상도 영상으로 복원한다. 이런 기존 학습기반 초 고해상도 기법은 방대한 양의 학습된 정보를 메모리에 저장해야만 하는 단점이 있을 뿐만 아니라 이차원 블록 단위 정합 과정을 거쳐야 하기 때문에 상당한 연산량이 요구된다. 이러한 문제점을 보완하기 위해 본 논문은 일차원 패치 단위 학습을 통해 학습 정보 저장용 메모리 크기 및 연산량을 크게 줄이는 기법을 제안한다. 실험 결과에 따르면, 제안한 기법은 전통적인 bicubic 보간 기법보다 평균 0.7dB 정도 높은 PSNR을 보이며, SSIM도 평균 0.01이상 향상되는 결과를 보인다.

• 반도체디스플레이기술학회지
• /
• 제19권4호
• /
• pp.71-76
• /
• 2020

In this paper, we propose a super-resolution method that reconstructs compressed low-resolution images into high-resolution images. We propose a CNN model with a small number of parameters, and even if quantization is applied to the proposed model, super-resolution can be implemented without deteriorating the image quality. To further improve the quality of the compressed low-resolution image, a new degradation model was proposed instead of the existing bicubic degradation model. The proposed degradation model is used only in the training process and can be applied by changing only the parameter values to the original CNN model. In the super-resolution image applying the proposed degradation model, visual artifacts caused by image compression were effectively removed. As a result, our proposed method generates higher PSNR values at compressed images and shows better visual quality, compared to conventional CNN-based SR methods.