• Journal of Broadcast Engineering
• /
• v.18 no.4
• /
• pp.550-558
• /
• 2013

The infrared and visible images are represented by different information due to the different wavelength of the light. The infrared image has thermal information and the visible image has texture information. Desirable results are obtained by fusing infrared and visible information. To enhance a visible image, we extract a weight map from a visible image using saturation, brightness. After that, the weight map is adjusted using thermal information in the infrared image. Finally, an enhanced image is resulted from combining an infrared image and a visible image. Our experiment results show that our proposed algorithm is working well to enhance the smoke in the original image.

• Journal of the Institute of Electronics and Information Engineers
• /
• v.51 no.4
• /
• pp.131-143
• /
• 2014

We propose a no-reference perceptual fog density and visibility prediction model in a single foggy scene based on natural scene statistics (NSS) and perceptual "fog aware" statistical features. Unlike previous studies, the proposed model predicts fog density without multiple foggy images, without salient objects in a scene including lane markings or traffic signs, without supplementary geographical information using an onboard camera, and without training on human-rated judgments. The proposed fog density and visibility predictor makes use of only measurable deviations from statistical regularities observed in natural foggy and fog-free images. Perceptual "fog aware" statistical features are derived from a corpus of natural foggy and fog-free images by using a spatial NSS model and observed fog characteristics including low contrast, faint color, and shifted luminance. The proposed model not only predicts perceptual fog density for the entire image but also provides local fog density for each patch size. To evaluate the performance of the proposed model against human judgments regarding fog visibility, we executed a human subjective study using a variety of 100 foggy images. Results show that the predicted fog density of the model correlates well with human judgments. The proposed model is a new fog density assessment work based on human visual perceptions. We hope that the proposed model will provide fertile ground for future research not only to enhance the visibility of foggy scenes but also to accurately evaluate the performance of defog algorithms.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2009.05a
• /
• pp.355-359
• /
• 2009

본 논문에서는 퍼지 기법을 이용하여 구름의 종류를 분석하는 방법을 제안한다. 본 논문에서는 가시 영상과 적외 영상을 대상으로 육지 영역은 RGB 컬러 정보 중에 G 채널 값의 수치가 높고, 바다영역에서는 B 채널 값의 수치가 높다는 정보를 이용한다. 이 정보를 이용하여 육지 영역에서는 R과 B 채널 값을 적용하고, 바다 영역에서는 R과 G 채널 값을 적용한다. 가시 영상과 적외 영상에서 임계치를 적용하여 잡음(구름 이외의 영역)을 제거하고, 잡음을 제거한 영상에서 육지 영역과 바다 영역을 구분한 후, 각 R, G, B 채널 정보를 퍼지 기법에 적용하여 구름 영역을 판별한다. 그리고 가시영상과 적외 영상에 모두 포함된 구름 영역에 대해서는 두 영상을 합성하여 구름을 판별한다. 제안된 기법을 구름 분류에 적용한 결과, 제안된 방법이 기존의 양자화를 적용한 방법보다 구름의 분류 성능이 개선된 것을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.125-126
• /
• 2019

현재 상업적으로 널리 쓰이는 CCTV 용 카메라는 충분한 광량이 보장된 환경에서는 가시영역 영상을, 저조도 환경에서는 적외선 영상을 획득한다. 적외선 영상은 색채정보를 갖고 있지 않아 객체의 색채 정보를 이용하여야 하는 응용에 활용하기 어렵다. 본 논문에서는 ND 필터를 사용하여 가시광선 및 근적외선 영역의 영상정보를 분리하여 취득하는 가능성에 대한 연구를 하였다. 먼저 카메라 내부의 Hot Mirror 필터를 제거하여 가시영역 및 근적외선 신호 모두가 카메라에 들어오도록 한 후 ND 필터를 사용하여 영상을 취득한 후, 본 논문에서 제안하는 분리방식을 사용하여 가시영역 및 근적외선 영역으로 분리하였다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.25 no.5
• /
• pp.437-443
• /
• 2015

This paper presents face recognition based on the fusion of visible image and thermal infrared (IR) texture estimated from the face image in the visible spectrum. The proposed face recognition scheme uses a multi- layer neural network to estimate thermal texture from visible imagery. In the training process, a set of visible and thermal IR image pairs are used to determine the parameters of the neural network to learn a complex mapping from a visible image to its thermal texture in the low-dimensional feature space. The trained neural network estimates the principal components of the thermal texture corresponding to the input visible image. Extensive experiments on face recognition were performed using two popular face recognition algorithms, Eigenfaces and Fisherfaces for NIST/Equinox database for benchmarking. The fusion of visible image and thermal IR texture demonstrated improved face recognition accuracies over conventional face recognition in terms of receiver operating characteristics (ROC) as well as first matching performances.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.10 no.5
• /
• pp.645-652
• /
• 2015

In underwater, such as fish farm and sea, turbidity is increased by water droplets and various suspended, therefore light attenuation occurs depending on the depth also caused by the scattering effect of light float. In this paper, in order to improve the visibility of underwater images obtained from these aquatic environment, we propose a visibility enhancement method using a haze removal method based on dark channel prior and a trained color transform model. In order to train a color transform model, we used underwater pattern images captured from Pohang and Yeosu, and to measure the performance of the proposed method, we carried out experiment of visibility enhancement using underwater images collected from Yeosu, Geomundo and Philippines. The results show that the proposed method can improve the visibility of underwater images of various locations.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.189-190
• /
• 2016

일반 영상의 영상확대를 위한 다양한 알고리즘이 존재한다. 하지만 적외선 열화상 영상의 경우 일반영상과 다른 특성을 가지고 있기 때문에 적외선 영상을 위한 영상 확대 알고리즘이 필요하다. 따라서 적외선 영상이 일반영상에 비해 디테일이 없다는 특성을 고려하여 복잡한 알고리즘을 적용시키기 보다는 ADRC 와 같은 단순한 분류 기법을 활용하여 LR-HR 패치를 분류하고 학습된 데이터를 이용하여 영상확대 알고리즘에 적용하였다. 알고리즘의 성능 향상을 위해 학습과정에 전처리 과정을 추가하여 합성과정에서 추가적인 연산량의 증가 없이 확대 영상의 선명도를 향상시키고자 하였다. 또한 확대된 적외선 영상이 동일 해상도의 가시광영상에 비해 선명도가 떨어진다는 점을 고려하여 확대된 적외선 영상에 가시광영상의 고주파 정보를 합성시켜 이전보다 영상의 선명도를 더 향상시키고자 하였다. 이와 같은 방법으로 영상 확대 알고리즘만 수행하였을 때 통상적인 영상확대 기법인 bi-cubic interpolation 기법보다 JNB 수치가 평균 0.0727 만큼 높은 결과를 확인할 수 있었고 가시광영상과 융합하였을 때 이전보다 평균 0.0742 만큼 더 선명해진 영상을 얻었다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2012.05a
• /
• pp.262-263
• /
• 2012

다중 센서의 영상, 예를 들어 가시광 영상과 적외선 영상은 서로 다른 특징을 가지고 있기 때문에 본 논문에서는 IR 영상의 특징을 보존한 새로운 혼합기법을 제안하다. 이러한 혼합기법은 의료 영상, 보안 영상 등에서 매우 중요하고 다양하게 다루어진다. 일반적인 혼합기법을 사용하게 되면 영상간의 특색 때문에 혼합 시 조화롭지 못하는 문제점을 가진다. 이러한 문제점을 해결하기 위해서 본 논문에서는 중요도 맵을 추출하고 그 영역에 대하여 포아송 블랜딩을 통해 두 개의 다른 특징을 가시광 영상을 혼합한다. 제안한 알고리즘은 기존의 연구와 다르게 혼합할 영역을 수동으로 지정하는 것이 아니라 자동적으로 추출하고, 가시광 영상에 IR 영상에서만 검출되는 영역을 결합한 새로운 결과를 얻을 수 있었다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.103-108
• /
• 2007

최근 프로젝터의 보편화로 인해 프로젝터를 증강현실의 디스플레이 장치로 활용하는 연구가 활발히 진행되고 있다. 관련 연구들을 흔히 프로젝션 기반 증강현실이라고 부른다. 프로젝션 기반 증강현실을 구현하기 위해서는 스크린의 기하(geometry) 및 컬러(photometry) 정보를 획득하는 과정이 선행되어야 하는데, 이는 프로젝터를 이용하여 정해진 패턴 영상을 투사하고 이를 카메라로 캡쳐한 후, 카메라 영상에 다양한 컴퓨터비전 기술들을 적용함으로써 행해진다. 이러한 스크린 기하 및 컬러 정보 획득 기술은 가시적인(visible) 패턴 영상이 사용자의 몰입감을 저해한다는 단점을 가진다. 특히, 스크린의 기하 및 컬러 정보가 수시로 변하는 환경에서는 가시적인 패턴 영상을 사용하는 기존의 스크린 기하 및 컬러 정보 획득 기술은 유용하지 못하다. 이러한 문제점을 해결하기 위해 일부 패턴 영상을 비가시적(invisible)으로 만드는 기술들이 제안되었다. 본 논문에서는 관련 기술들을 비간섭 프로젝션 기반 증강현실이라고 한다. 특히, 보색 패턴(complementary patterns)을 증강현실 영상에 삽입하는 방법은 부가적인 장비없이 간단한 영상처리만으로 효과적으로 패턴 영상을 비가시적으로 만들어 줄 수 있으며, 최근 가상 스튜디오에 활용하는 방안이 모색되고 있다. 그러나, 삽입된 보색 패턴의 세기와 비가시성 사이는 상반관계(trade-off)를 가지므로, 일반적인 환경에서는 보색 패턴의 비가시성을 보장할 수 없다. 본 논문에서는 이러한 보색 패턴의 비가시성을 극대화하기 위해 컨텐츠 적응형 패턴 삽입 기술을 제안한다. 증강현실 영상의 색감 및 텍스처의 복잡도에 따라 크게 4 가지 경우로 분류하여 부분적으로 다른 채널 및 세기로 보색 패턴을 삽입한다. YIQ 컬러 공간에서 표현된 증강현실 영상을 균일한 크기의 영역으로 나눈 다음, 각 영역에 대해 I 성분이 지배적이면 Q 채널에 패턴을 삽입하고 Q 성분이 지배적이면 I 채널에 패턴을 삽입한다. 한편, 각 영역에 대해 텍스처의 복잡도가 크다면 강한 패턴을, 복잡도가 작으면 약한 패턴을 삽입한다. 여기서, 텍스처의 복잡도는 간단한 미분 필터(derivative filter)를 이용하여 계산된다. 다양한 실험 및 사용자 평가를 통해, 제안된 방법은 기존 방법에 비해 크게 두 가지 상반관계를 가지는 장점을 가짐을 확인하였다. 스크린의 기하 및 컬러 정보를 획득하는 성능 면에서 제안된 방법이 기존의 방법과 유사하도록 채널 및 패턴의 세기를 결정한다면, 기존의 방법에 비해 패턴의 비가시성이 크게 개선된다. 반대로, 제안된 방법의 패턴의 비가시성이 기존의 방법과 유사하도록 채널 및 패턴의 세기를 결정한다면, 기존의 방법에 비해 스크린의 기하 및 컬러 정보를 획득하는 성능이 크게 개선된다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2009.10a
• /
• pp.261-263
• /
• 2009

본 논문에서는 퍼지 기법을 이용하여 구름의 종류를 분석하는 방법을 제안한다. 제안된 방법은 각각 영상에 대해 R채널의 임계치를 적용하여 잡음을 제거하며, 잡음 영역이 제거된 각각의 근적외 영상과 가시 영상의 반사 특성 및 근적외 영상과 적외 영상의 방출 특성의 특징을 구한 후, 각각의 임계치를 적용하여 1차적으로 구름을 판별한다. 1차적으로 구름 판별에서 제외된 영역에 대해서는 가시 및 적외 영상의 R 채널 값을 퍼지 기법에 적용하여 2차적으로 구름의 종류를 판별한다. 1차적으로 판별된 구름 영역과 2차적으로 판별된 구름 영역을 합성하여 최종 구름 영역을 도출한다. 제안된 방법을 실험한 결과, 기존의 구름 분류 방법보다 제안된 방법이 구름 분류의 성능이 개선된 것을 확인하였다.