• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.42-43
• /
• 2022

본 논문은 모바일 단말에서 실시간으로 동작하는 딥러닝 기반 경량 초고해상화 기술에 관한 내용이다. 대용량 3차원 메쉬 모델의 비실시간 압축은 실시간 스트리밍 응용 시나리오에서 제약점으로 작용하고 있고, 본 논문에서는 두 입력 텐서의 차원을 일치시켜야 하는 element-wise 덧셈 대신 concatenation을 활용해 연산량을 개선하고, float-to-int8 양자화 과정에서 발생하는 오차를 줄이기 위해 weight clipping 및 regularization 기법을 활용해 초고해상화 화질 성능을 개선하였다. 제안하는 알고리즘은 기존 모바일 초고해상화 기술을 화질 측면에서 0.12dB, 처리 속도 측면에서 13.6ms 개선하였고, Mobile AI & AIM 2022 실시간 이미지 초고해상화 대회에서 1등을 수상하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.228-229
• /
• 2020

최근 딥러닝 기술은 여러 컴퓨터 비전 응용 분야에서 많이 쓰이고 있다. 물체 인식, 분류 및 영상 생성 등을 예로 들 수 있다. 특히 초고해상도 변환 문제에서 최근 딥러닝을 사용하면서 큰 성능 개선을 얻고 있다. Fast super-resolution convolutional neural network (FSRCNN)은 딥러닝 기반 초고해상도 알고리즘으로 잘 알려져 있으며, 여러 개의 convolutional layer로 추출한 저 해상도의 입력 특징을 활용하여 deconvolutional layer에서 초고해상도의 영상을 출력하는 알고리즘이다. 본 논문에서는 병렬 연산 효율성을 고려한 FPGA 기반 convolutional neural networks 가속기를 제안한다. 특히 deconvolutional layer를 convolutional layer로 변환하는 방법을 통해서 에너지 효율적인 가속기를 설계했다. 또한 제안한 방법은 FPGA 리소스를 고려하여 FSRCNN의 구조를 변형한 Optimal-FSRCNN을 제안한다. 사용하는 곱셈기의 개수를 FSRCNN 대비 2.4 배 압축하였고, 초고해상도 변환 성능을 평가하는 지표인 PSNR은 FSRCNN과 비슷한 성능을 내고 있다. 이를 통해서 FPGA 에 최적화된 네트워크를 구현하여 FHD 입력 영상을 UHD 영상으로 출력하는 실시간 영상처리 기술을 개발했다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2022년도 학술발표회
• /
• pp.111-111
• /
• 2022

우리 사회가 수자원 관리 정책 결정에 사용 가능한 수문 이상 기상 정보를 제공하기 위해서는 초고해상도 지표면 수문 모델 개발이 필수적이다. 본 연구에서는 기존 저해상도 기후 모델들의 지표 수문학적인 과정들을 개선하기 위해 초고해상도 하도 추적 모델링 기술을 통해 역학적인 상세화가 시도되었다. 100-km 격자의 VIC 모델에서 재생산된 지표 배출량과 기저 배출량을 입력 데이터로 사용하여 다양한 공간 규모의 하도 추적 모델에서 사용하여 산정된 하천유량의 신뢰도를 평가하였다. 본 연구에서는 90미터 (3 arc second), 450 미터(15 arc second), 그리고 900 미터 (30 arc second) 격자 규모의 금강 유역 하천망 지도를 사용하여 과거 장기 하천 유량 데이터(1948년-2016년)를 재생산하였다. 본 연구에서는 금강 유역 내의 지점 관측 하천 유량 데이터와 재생산된 유량 데이터의 불확실성을 평가하였다. 본 연구의 주요 결과는 보다 고해상도의 하천망 지도를 하도 추적 모델에 사용 시 산정된 하천 유량 데이터의 불확실성이 감소하는 경향을 발견하였다. 끝으로, 초고해상도 지표 수문-하도 추적 모델을 통한 상세화 기술의 한계점과 개선 방안을 논의하였다. 본 연구는 기후변화로 인한 이상 기상 또는 기후의 위험성 증가에 효율적으로 선제 대응할 수 있는 핵심 수문 기후 모델링 기술을 개발에 중요한 기여할 것이다.

• 한국정보통신학회논문지
• /
• 제17권7호
• /
• pp.1672-1686
• /
• 2013

본 논문에서는 이산 웨이블릿 변환(discrete wavelet transform: DWT)을 이용한 단일영상 기반의 초고해상도 기법(super-resolution)과, 복수영상 기반의 초고해상도 기법을 제시하고 두 기법을 혼합한 새로운 초고해상도 기법 기법을 제안한다. 기존의 단일 영상 기반의 초고해상도 기법의 경우 처리 시간이 빠르다는 장점이 있으나 영상 보간 시 사용할 수 있는 정보량이 제한적이다. 또한 기존 복수영상 기반의 초고해상도 기법은 단일 영상을 사용했을 경우보다 영상의 보간 시 많은 정보를 사용할 수 있으나 영상의 내용에 따라 기법의 적용이 제한적이고, 컷(cut)의 경계 부근에서 기법의 성능이 매우 떨어지는 단점이 있다. 제안된 기법에서는 컷 검출(cut-detection) 기법을 통해 각 장면의 경계부근에서 적응적으로 단일영상 기반의 초고해상도 기법을 사용한다. 또한 움직임 벡터의 정규화 및 블록 단위의 윤곽선(edge) 패턴 분석을 통해 여러 제한조건에 강한 복수 영상 기반의 초고해상도 기법을 제안한다. 실험을 통하여 제안된 기법이 객관적, 주관적으로 기존의 기법보다 우수한 성능을 보이는 것을 확인하였다.

• 방송공학회논문지
• /
• 제18권3호
• /
• pp.463-473
• /
• 2013

본 논문에서는 다시점 영상을 이용한 초고해상도 영상 복원 기법을 제안한다. 구체적으로 $5{\times}5$ 배열로 구성된 다시점 카메라로 25장의 영상을 취득하고, 가운데 카메라에 해당하는 초고해상도 영상을 저해상도 입력 영상과 24장의 저해상도 참조 영상을 활용하여 생성한다. 우선 입력 영상을 중심으로 스테레오 정합 기법을 이용하여 24개의 참조 영상에 대한 변이지도를 각각 추정한다. 그리고 저해상도 영상과 참조 영상에 있는 일치점들을 이용하여 초고해상도 영상을 복원한다. 최종적으로 반복적 균일화를 통해 초고해상도 영상을 보정한다. 실험을 통하여 본 논문에서 제안한 초고해상도 영상 복원 기법의 성능이 우수함을 확인한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.359-360
• /
• 2016

본 논문에서는 초고화질의 비디오 실시간 복호화를 위해 HEVC(High Efficiency Video Coding)에서 지원하는 병렬화 기술인 Slice와 Tile 기술을 이용하여 초고해상도 영상에 대한 복호화기 병렬화 성능을 비교한다. Slice와 Tile은 분할 데이터간 의존성이 존재하지 않으므로 분할된 데이터를 다중 스레드에 할당하여 데이터-레벨 병렬화를 수행하였다. 실험 결과에서는 병렬화된 복호화기 성능이 기존 순차 복호화기에 비해 최대 2.08배 고속화 되었고, 분할 데이터 수가 증가하여도 화질 손실이 거의 없는 결과를 보인다.

• 방송공학회논문지
• /
• 제26권2호
• /
• pp.167-174
• /
• 2021

초고해상도 변환 문제에서 최근 딥러닝을 사용하면서 큰 성능 개선을 얻고 있다. 빠른 초고해상도 합성곱 신경망 (FSRCNN)은 딥러닝 기반 초고해상도 알고리즘으로 잘 알려져 있으며, 여러 개의 합성곱 층로 추출한 저 해상도의 입력 특징을 활용하여 역합성곱 층에서 초고해상도의 영상을 출력하는 알고리즘이다. 본 논문에서는 병렬 연산 효율성을 고려한 FPGA 기반 합성곱 신경망 가속기를 제안한다. 특히 역합성곱 층을 합성곱 층으로 변환하는 방법을 통해서 에너지 효율적인 가속기를 설계했다. 또한 제안한 방법은 FPGA 리소스를 고려하여 FSRCNN의 구조를 변형한 Optimal-FSRCNN을 제안한다. 사용하는 곱셈기의 개수를 FSRCNN 대비 3.47배 압축하였고, 초고해상도 변환 성능을 평가하는 지표인 PSNR은 FSRCNN과 비슷한 성능을 내고 있다. 이를 통해서 FPGA에 최적화된 네트워크를 구현하여 FHD 입력 영상을 UHD 영상으로 출력하는 실시간 영상처리 기술을 개발했다.

• 방송공학회논문지
• /
• 제21권5호
• /
• pp.651-661
• /
• 2016

Digital signage has recently developed as a variety of forms of a large, high-resolution display provides ultra-high resolution panoramic sights to the user or provide personalized advertising through user interaction. It is also expected research and development of the open digital signage and to be equipped web-based interoperability content management system for ultra high-definition video content services with terminal equipment of a large multi display signage. In this paper, we study the implementation displayed in conjunction with more than a dozen high-resolution display in the ultra-high-resolution video and the technology of a multi-play sync video terminal using the synchronization technique for the several individual content of atypical picture resolution high definition video.

• 인포메이션 디스플레이
• /
• 제22권5호
• /
• pp.34-39
• /
• 2021

• 방송공학회논문지
• /
• 제22권4호
• /
• pp.484-495
• /
• 2017

최근 디스플레이 기기의 발전과 기가 네트워크 등의 전송 대역폭 확대로 인해 대형 파노라마 영상, 4K Ultra High-Definition 방송, Ultra-Wide Viewing 영상 등 2K 이상의 초고해상도 영상의 수요가 폭발적으로 증가하고 있다. 이러한 초고해상도 영상은 데이터양이 매우 많기 때문에 부호화 효율이 가장 높은 High Efficiency Video Coding(HEVC) 비디오 부호화 표준을 사용하는 추세이다. HEVC는 가장 최신의 비디오 부호화 표준으로 다양한 부호화 툴을 이용하여 높은 부호화 효율을 제공하지만 복잡도 또한 이전 부호화 표준과 비교하여 매우 높다. 특히 초고해상도 영상을 HEVC 복호기로 실시간 복호화 하는 것은 매우 높은 복잡도를 요구한다. 따라서 본 논문에서는 고해상도 및 초고해상도 영상에 대한 HEVC 복호기의 복호화 속도를 개선시키고자 HEVC에서 지원하는 슬라이스(Slice)와 타일(Tile) 부호화 툴을 사용하여 각 슬라이스 혹은 타일을 동시에 처리하며 디블록킹 필터 과정에서도 소정의 블록 크기만큼 동시에 처리하는 데이터-레벨 병렬 처리 방법을 소개한다. 이는 독립 복호화가 가능한 타일, 슬라이스, 혹은 디블록킹 필터에서 동일 연산을 다중 스레드에 분배하는 방법으로 복호화 속도를 향상 시킬 수 있다. 실험에서 제안 방법이 HEVC 참조 소프트웨어 대비 4K 영상에 대해 최대 2.0배의 복호화 속도 개선을 얻을 수 있음을 보인다.