• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.97-99
• /
• 2021

본 논문에서는 딥러닝 기반 특징점 필터링 방법을 이용한 원격 탐사 영상에 대한 영상 정합 (Image Registration) 고속화 방법을 제안한다. 기존의 특징 기반 영상 정합 방법의 복잡도는 특징 매칭 (Feature Matching) 단계에서 발생한다. 이 복잡도를 줄이기 위하여 본 논문에서는 특징 매칭이 영상의 인공구조물에서 검출된 특징점으로 매칭되는 것을 확인하여 특징점 검출기에서 검출된 특징점 중에서 인공구조물에서 검출된 특징점만 필터링하는 방법을 제안한다. 딥러닝 기반 특징점 필터링은 영상 정합을 위하여 필수적인 특징점을 잃지 않으면서 그 수를 줄이기 위하여 인공구조물의 경계와 인접한 특징점을 보존하고, 축소한 영상을 사용하며, 영상 분할(Image Segmentation) 방법의 결과에서 생기는 영상 패치 경계의 잡음을 제거하기 위하여 영상 패치를 중복하여 잘라 냄으로써 정합 속도와 정확도를 향상시킨다. 영상 정합 고속화 방법을 의 성능을 검증하기 위하여 아리랑 3 호 위성 원격 탐사 영상을 사용하여 기존 특징점 추출 방법과 속도와 정확도를 비교하였다. 딥러닝 기반 영상 정합 방법을 기준으로 하여 비교하였을 때 특징점의 수를 약 82% 감소시키면서 속도를 약 9.17 배 향상시켰지만 정확도가 0.985 에서 0.855 으로 저하되었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.225-228
• /
• 2021

최근 모바일 비디오 스트리밍 서비스의 이용자 수가 증가하고 있다. 이에 따라 모바일 환경에 적합한 DASH 비디오 스트리밍 메커니즘이 연구되었고, 이것을 DQN 기법에 의해 개선한 알고리즘은 모바일 네트워크 환경에서 적절한 비디오 품질 선택을 통해 버퍼링을 크게 줄일 수 있었다. 그러나 이는 모바일 요금제로 비디오 스트리밍 서비스를 이용하는 사용자들에게 안정적인 서비스를 제공하기 어렵다. 이에 본 논문은 기존의 DQN 기법에 의한 알고리즘을 발전시켜 사용자의 모바일 요금제에 적합한 비디오 품질을 선택하는 알고리즘을 연구하고 성능 실험 결과를 분석한다. 또한 이 알고리즘을 전체 모바일 비디오 스트리밍 시스템과 통합하여 이용하도록 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.139-143
• /
• 2021

본 논문에서는 꾸준히 연구되어 오던 이미지 복원 문제에서 초해상화와 인페인팅이라는 복합적 이미지 복원을 동시에 처리하는 해결 방법을 제안한다. 초해상화는 국지적 픽셀 정보를 이용하여 고해상도의 영상을 복원하고, 인페인팅은 이미지 전체 정보를 활용하여 영상 내 비어 있는 영역을 생성해야 하므로, 이러한 두 가지 영상 복원 기법을 동시에 수행하는 것은 상당히 어려운 문제이다. 그렇기에 인페인팅과 초해상화는 이미지 복원에서 널리 활용되는 기술인 만큼 동시에 해결할 수 있는 기법에 대한 수요는 있음에도 지금까지 거의 연구되지 않았다. 본 논문은 초해상화 및 인페인팅 합동 처리에 있어 복합적인 정보를 모두 다뤄야하는 네트워크가 서로의 성능을 저하시키지 않도록 개략적 복원 네트워크 (Coarse network), 디테일 복원 네트워크 (Refinement network), 초해상화 네트워크 (SR network)로 분리하여 초해상화 및 인페인팅 합동 처리를 수행하며, 각 단계마다 결과 영상을 얻어 스케일 별 정답 영상과 손실함수를 계산하여 복합적인 성능을 올릴 수 있는 방법을 제시한다. 또한 순차적 단일 모델에 비하여 인페인팅과 초해상화를 합동 학습하는 제안 모델이 개선된 화질의 결과 영상을 획득할 수 있다는 것을 실험적으로 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.118-122
• /
• 2020

문화재 영상 데이터는 방대한 양으로 인해 고해상도로 모두 저장이 어렵거나 시간이 지나 상대적으로 화질이 낮은 영상들이 다수 존재하기에 초해상화가 필요한 상황이 많다. 따라서 본 논문에서 처음으로 문화재 영상에 특화된 4 배 및 8 배 딥러닝 기반 초해상화 방식을 제안한다. 문화재 영상 데이터는 배경이 단조롭고 물체가 영상 중간에 위치한다는 특징이 있어 이를 고려해 중간 부분에서만 패치를 추출하는 방식을 적용하여 의미 있는 패치로 학습이 되도록 한다. 또 자연 영상 데이터 셋인 DIV2K 를 사용해 학습하는 방식과 직접 구성한 문화재 데이터 셋을 이용해 학습하는 방식, 그 둘을 적절히 함께 사용하여 학습하는 전이 학습 방법까지 세 가지로 학습하여 초해상화의 성능을 향상시키는 방법을 제안한다. 그 결과, 쌍삼차 보간법(Bicubic interpolation)보다 4 배 초해상화에서는 약 1.25dB, 8 배 초해상화에서는 약 1.26dB 의 성능 개선을 확인하였으며, 단순 DIV2K 로 학습한 방식보다는 4 배에서는 0.06dB, 8 배에서는 0.17dB 의 성능 개선을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.87-90
• /
• 2020

GPU의 발전과 함께 성장한 딥러닝(Deep Learning)은 영상 분류 문제에서 최고의 성능을 보이고 있다. 그러나 합성곱 신경망 기반의 모델을 깊게 쌓음에 따라 신경망의 표현력이 좋아짐과 동시에 때로는 학습이 잘되지 않고 성능이 저하되는 등의 부작용도 등장했다. 성능 향상을 방해하는 주요 요인 중 하나는, 차원감소 목적에 따라 필연적으로 정보 손실을 겪어야 하는 풀링 계층에 있다. 따라서 특성맵(Feature map)의 차원감소를 통해 얻게 되는 비용적 이득과 모델의 분류 성능 사이의 취사선택(Trade-off)이 존재한다. 그리고 이로부터 자유로워지기 위한 다양한 연구와 기법이 존재하는데 Spectral Pooling도 이 중 하나이다. 본 논문에서는 이산 푸리에 변환(Discrete Fourier Transform, DFT)을 이용한 Spectral Pooling에 대한 소개와, 해당 풀링의 성질을 통상적으로 사용되고 있는 Max Pooling과의 성능 비교를 통해 분석한다. 또한 영상 내 고주파수 부분에서 특히 더 강건하지 못하다는 맥스 풀링의 고질적인 문제점을, Spectral Pooling과의 하이브리드(Hybrid) 구조를 통해 어떻게 극복해나갈 것인지 그 가능성을 중심으로 실험을 수행했다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.113-117
• /
• 2020

Images were taken under various weather such as rain, haze, snow often show low visibility, which can dramatically decrease accuracy of some tasks in computer vision: object detection, segmentation. Besides, previous work to enhance image usually downsample the image to receive consistency features but have not yet good upsample algorithm to recover original size. So, in this research, we jointly implement removal streak in heavy rain image and super resolution using a deep network. We put forth a 2-stage network: a multi-model network followed by a refinement network. The first stage using rain formula in the single image and two operation layers (addition, multiplication) removes rain streak and noise to get clean image in low resolution. The second stage uses refinement network to recover damaged background information as well as upsample, and receive high resolution image. Our method improves visual quality image, gains accuracy in human action recognition task in datasets. Extensive experiments show that our network outperforms the state of the art (SoTA) methods.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.205-207
• /
• 2020

This paper proposes a novel deep learning-based method to upsample a depth map. Most conventional methods estimate high-resolution depth map by modifying pixel value of given depth map using high-resolution color image and low-resolution depth map. However, these methods cause under- or over-shooting problems that restrict performance improvement. To overcome these problems, the proposed method iteratively performs grid warping scheme which shifts pixel values to restore blurred image for estimating high-resolution depth map. Experimental results show that the proposed method improves both quantitative and visual quality compared to the existing method.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.252-255
• /
• 2020

Unsupervised deep learning methods have shown impressive results for the challenging monocular depth estimation task, a field of study that has gained attention in recent years. A common approach for this task is to train a deep convolutional neural network (DCNN) via an image synthesis sub-task, where additional views are utilized during training to minimize a photometric reconstruction error. Previous unsupervised depth estimation networks are trained within a fixed depth estimation range, irrespective of its possible range for a given image, leading to suboptimal estimates. To overcome this suboptimal limitation, we first propose an unsupervised adaptive depth estimation method guided by minimum and maximum (min-max) depth priors for a given input image. The incorporation of min-max depth priors can drastically reduce the depth estimation complexity and produce depth estimates with higher accuracy. Moreover, we propose a novel network architecture for adaptive depth estimation, called the AdaMM-DepthNet, which adopts the min-max depth estimation in its front side. Intensive experimental results demonstrate that the adaptive depth estimation can significantly boost up the accuracy with a fewer number of parameters over the conventional approaches with a fixed minimum and maximum depth range.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.01a
• /
• pp.125-126
• /
• 2021

본 연구는 대학교육에서 학습자 주도수업에 대표적으로 활용되는 PBL-교수학습방법을 SNS기반 온라인 플랫폼에서의 과제수행을 통해 해결하는 PBL-수업모형을 개발하는 것을 목표로 한다. 이를 위해 선행연구 및 이론탐색을 통해 PBL-수업설계에 대한 선행연구를 고찰하고, 적용 가능한 수업모형 및 교육내용을 선정하여 기초내용을 구성한 후 3인의 교육공학 전문가와 5인의 대학교수를 대상으로 FGI 인터뷰 방법을 통하여 연구결과를 도출한다. 과거 PBL-교수학습방법을 적용한 수업설계 들이 모의수행이나 발표 후 토론에 한정되었던 것에 반해 본 연구에서는 SNS기반 온라인 플랫폼에 직접 적용하는 매체제작 및 커뮤니티 활동을 포함하는 수업활동이 도출 되었으며, 실행 가능한 수업모형 개발을 위해 대상자 인터뷰와 분석을 통해 이를 위한 교수학습방법을 설정할 것이다. 본 연구를 통해 제시될 SNS기반 온라인 플랫폼을 활용한 PBL-학습모형은 이후 고등교육기관의 교수학습모형 개발을 위한 기초자료로 활용될 것이다

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.587-590
• /
• 2020

최근, 디지털 콘텐츠 산업이 폭발적으로 성장됨에 따라 고객 유치를 위한 개인화 추천 기술들이 많은 주목을 받고 있다. 개인화 추천 방식들을 큰 갈래로 나누어 본다면 협업 필터링 기술과 내용 기반 기술로 나눌 수 있다. 협업 필터링의 경우 개인화 추천에는 적합하지만 사용자 평가 데이터의 양이 방대해야 하며 초기에 평가자가 없는 콘텐츠에 대해 추천할 수 없는 초기 평가자 문제가 존재한다. 따라서 매일 방대한 양의 콘텐츠가 편입되는 분야에서 사용하기에 큰 결점이 될 수 있다. 본 논문에서는 영화들의 정보가 담긴 데이터 셋과 사용자 평가 데이터, 그리고 사용자의 선호 기준을 의미하는 메타 가중치를 활용한 내용 기반의 맞춤형 영화 추천 시스템을 제안한다. 논문에서는 먼저, 영화를 고를 때 일반적으로 중요시 보는 속성들을 활용하여 영화의 특징 벡터를 구성하고, 이를 사용자 평가와 결합하여 개인의 선호에 대한 특징 벡터를 구성하는 방법을 제안하며, 구성된 데이터와 코사인 유사도, 메타 가중치를 활용하여 사용자 선호와 유사한 영화들을 도출하는 방법을 제안한다. 또한, 평가데이터를 활용하여 구현된 추천시스템의 검증 프로세스를 구성하고, 검증 프로세스를 활용한 손실 함수를 설계하여 적합한 메타 가중치를 학습하는 방법을 제시한다. 본 논문에서 제안하는 시스템은 다수의 속성을 조합하여 활용하므로 추천 결과가 과도하게 특수화 되지 않을 수 있으며, 메타 가중치라는 요소를 통해 더욱 개인화 된 추천을 제공할 수 있다.