• 방송공학회논문지
• /
• 제24권6호
• /
• pp.1053-1063
• /
• 2019

최근 360 영상에 대한 관심이 증대됨에 따라, 이러한 360 영상을 보다 효율적으로 전송하기 위해 하나의 360 영상을 여러 개의 타일로 나누어 전송하는 타일 기반 스트리밍이 활발히 연구되고 있다. 본 논문에서는 타일 기반 스트리밍 시나리오에서 사용자 시점에 대응하는 고화질 360 영상 전송을 위해, 기존 네트워크 모델로 생성된 중요도 맵(Saliency map)을 타일 기반 스트리밍에 적용하여 각 위치의 타일의 품질을 할당하는 시스템을 제안한다. 각 타일들을 독립적으로 부호화하기 위해 motion constrained tile set (MCTS) 기법을 적용함과 동시에 Salient360! 데이터셋으로 사용자 시선 시나리오를 토대로 사용자 시점 영상으로 복원하여 검증한 결과, 제안된 시스템을 기반으로 360 비디오 영상을 전송하면 기존 high-efficiency video coding (HEVC)을 사용하여 전송했을 때보다 사용자 시점의 영상은 큰 손실 없이 최대 23%의 BD-rate 효율을 보임을 확인하였다.

• 스마트미디어저널
• /
• 제12권2호
• /
• pp.9-14
• /
• 2023

이 논문에서는 gradCAM를 활용한 적은 데이터로 얼굴 전체 또는 더 다양한 feature을 사용하여 얼굴인식을 할 수 있는 새로운 앙상블 방법론을 제안하였다. 인공지능 모델의 판단 근거는 gradCAM을 통하여 saliency map으로 표현될 수 있다. 따라서 본 논문에서는 학습된 얼굴인식 모델이 어느 부분에 편향적으로 관찰하여 판단했는지 gradCAM으로 시각화한다. 계산된 saliency map에서 일정 수치 이상의 돌출된 부분을 추가 모델이 학습에 사용할 수 없도록 노이즈를 추가해 데이터를 생산한다. 노이즈를 추가해서 만든 데이터로 학습할 경우 노이즈 부분을 활용하여 학습을 할 수 없으므로 새로운 얼굴 부분을 사용하여 얼굴인식 네트워크를 학습하게 된다. 기본 데이터로 학습한 네트워크와 돌출 부분에 노이즈를 추가해서 학습한 모델은 얼굴의 서로 다른 얼굴 feature을 사용할 수밖에 없고, 앙상블로 결합했을 때 얼굴의 좀 더 다양한 부분들을 사용한 임베딩 feature를 만들 수 있다. 이 논문에서 제안하는 앙상블 기법은 일반적인 앙상블 모델보다 정확도는 1.79% 상승하였고 equal error rate (EER)은 0.01788 감소하였다.

• 전자공학회논문지
• /
• 제49권9호
• /
• pp.113-127
• /
• 2012

영상처리 기법을 이용한 얼굴검출에 관한 많은 다양한 방법들이 제시되어 왔다. 일반적으로 가장 많이 쓰이는 얼굴 검출 방식은 Viola와 Jones이 제안한 Adaboost 방식이다. 이 방식은 Haar-like feature을 이용하여 얼굴영상을 선행 학습하고, 검출 성능은 학습된 DB에 의존한다. 이는 일정 거리 범위 안의 학습된 얼굴 크기에서는 얼굴 검출을 잘 수행하지만, 카메라에서 객체(얼굴)의 거리가 멀어지면 얼굴 크기가 작아져 기존에 학습한 Haar-like feature로 얼굴 검출을 하지 못하는 경우가 발생한다. 이에 본 논문에서는 생물학 기반의 선택적 주의집중 기반의 Haar-like feature 정보를 이용한 Adaboost 모델과 사용자의 시선 응시 점 정보를 이용하여, 사용자의 관심영역 확장을 통한 원거리 얼굴 검출 모델을 제안한다. 생물학적 기반의 선택적 주의 집중 모델인 돌출맵(Saliency map) 정보를 이용하여 입력 영상에 대하여 얼굴 후보 영역을 검출하고, 검출된 얼굴 후보 영역 중에서 선행 학습된 Haar-like feature 정보로 Adaboost 알고리즘을 이용하여 최종 얼굴 영상을 검출한다. 그리고 사용자의 시선 응시 점 정보는 관심영역을 선택 하는데 이용된다. 피 실험자가, 카메라로부터 멀리 거리 떨어져 얼굴의 크기가 얼굴검출이 힘들더라도 사용자 시선 응시 점 영역을 선형 보간법으로 확대하여 입력영상으로 재사용함으로써 얼굴 검출 성능을 높일 수 있다. 제안된 방법이 기존의 Adaboost 방법보다 얼굴 검출 성능과 수행시간 면에서 우수함을 실험을 통해 확인하였다.

• Journal of Information Processing Systems
• /
• 제13권3호
• /
• pp.448-463
• /
• 2017

Multimedia is a ubiquitous and indispensable part of our daily life and learning such as audio, image, and video. Objective and subjective quality evaluations play an important role in various multimedia applications. Blind image quality assessment (BIQA) is used to indicate the perceptual quality of a distorted image, while its reference image is not considered and used. Blur is one of the common image distortions. In this paper, we propose a novel BIQA index for Gaussian blur distortion based on the fact that images with different blur degree will have different changes through the same blur. We describe this discrimination from three aspects: color, edge, and structure. For color, we adopt color histogram; for edge, we use edge intensity map, and saliency map is used as the weighting function to be consistent with human visual system (HVS); for structure, we use structure tensor and structural similarity (SSIM) index. Numerous experiments based on four benchmark databases show that our proposed index is highly consistent with the subjective quality assessment.

• International Journal of Contents
• /
• 제10권4호
• /
• pp.1-10
• /
• 2014

In this paper, we propose a method to build an accurate initial trimap for the GrabCut algorithm without the need for human interaction. First, we identify a rough candidate for the label region of a bottle by applying a saliency map to find a salient area from the image. Then, the Hough Transformation method is used to detect the left and right borders of the label region, and the k-means algorithm is used to localize the upper and lower borders of the label of the bottle. These four borders are used to build an initial trimap for the GrabCut method. Finally, GrabCut segments accurate regions for the label. The experimental results for 130 wine bottle images demonstrated that the saliency map extracted a rough label region with an accuracy of 97.69% while also removing the complex background. The Hough transform and projection method accurately drew the outline of the label from the saliency area, and then the outline was used to build an initial trimap for GrabCut. Finally, the GrabCut algorithm successfully segmented the bottle label with an average accuracy of 92.31%. Therefore, we believe that our method is suitable for product label recognition systems that automatically segment product labels. Although our method achieved encouraging results, it has some limitations in that unreliable results are produced under conditions with varying illumination and reflections. Therefore, we are in the process of developing preprocessing algorithms to improve the proposed method to take into account variations in illumination and reflections.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.1579-1580
• /
• 2015

본 논문에서는 3차원 메쉬 모델의 중요 영역을 표현하는 메쉬 돌출맵(mesh saliency map)을 생성하기 위하여 다중 스케일 평균 곡률 (multi-scale mean curvature)을 기반으로 정의된 전역 희소치(global rarity)를 이용하는 방법을 제안한다. 제안 방법에서는 우선, 메쉬 모델의 지역 영역 특성을 정의하기 위하여 기존 관련 연구들에서 많이 사용하고 있는 가우시안 가중치 평균곡률(Gaussian-weighted mean curvature)을 5단계 서로 다른 스케일에서 정의하고, 메쉬의 각 정점(vertex)에 대하여 중심주변 연산자(center-surround operator)를 적용하여 5단계 지역 돌출특성(local saliency)을 정의한다. 주어진 메쉬 모델의 전역 희소치를 구하기 위하여 메쉬의 모든 정점쌍 (vertex pair)에 대하여 5단계 지역 돌출 특성 공간에서의 거리를 계산하고, 각 정점별로 5단계 지역 돌출 특성 공간에서의 다른 정점과의 거리의 합으로 전역 희소치를 정의한다. 이러한 전역 희소치를 각 정점의 메쉬 돌출치로 정의한다. 서로 다른 형태의 3차원 모델에 대하여 제안방법에 의한 메쉬 돌출맵과 지역 특성만을 고려한 기존 메쉬 돌출맵을 생성하여 중요 영역 표현 결과를 비교 분석한다.

• 전자공학회논문지
• /
• 제54권8호
• /
• pp.123-132
• /
• 2017

신호등은 운전자가 반드시 인지하고 조치를 취해야 할 교통 정보를 포함하고 있으며 이를 실시간으로 검출하여 운전자에게 알리는 것은 매우 중요하다. 그러나 신호등의 크기가 전체 영상에서 차지하는 비율이 낮고, 다른 객체에 의하여 가려지는 경우가 많아 실제 신호등 검출이 어려운 실정이다. 본 논문에서는 색상 기반 돌출맵과 형태학 정보를 이용한 신호등을 검출 방법을 제안한다. 돌출맵은 시각적 주의집중 영역을 검출하는데 사용되는데, 이를 개량한 색상 기반 돌출맵은 신호등의 색상과 형태를 검출 것에 적합함을 실험을 통하여 확인하였으며, 제안된 모델은 PC 환경에서 98.14%의 검출율과 83.52%의 재현율을 달성하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제13권3호
• /
• pp.1-6
• /
• 2007

기대효과란 행동이 시작하기 전에 반대반향으로 일어나는 행동을 위한 준비단계로 주로 이차원 애니메이션에서 행동을 강조하기 위해 사용되어 왔다. 본 논문은 영상을 매개로 하여 인식 기반의 기대효과를 자동 생성함으로써 시청자의 주의를 임의의 정보에 집중시키는 방법을 제안한다. 이미지 기반의 집중점을 찾는 문제와 영상속의 움직임을 찾는 방법을 바탕으로 집중성 강화 알고리즘을 역으로 풀어 기대효과를 생성하는 방법을 제시한다. 주요점에 정보를 반대로 약화시키는 기대효과를 통해 주요점을 더욱 역동적으로 강조 할 수 있다. 본 논문의 알고리즘을 통해 광고 등의 전보전달을 위한 영상 또는 역동적 표현이 필요한 영상의 보정이 가능해진다.

• 한국지능시스템학회논문지
• /
• 제24권3호
• /
• pp.298-303
• /
• 2014

본 논문에서는 해양환경에서 취득한 열상 영상에서 물표를 강건하게 탐지하고 추적하는 알고리즘을 제안한다. 먼저 2-D 이산 Harr 웨이블렛 변환(DHWT) 기법을 이용하여 수평, 수직에지를 얻은 다음 수직 및 수평 에지들을 서로 곱하여 하나의 영상으로 결합해 돌출지도를 생성한다. 그런 다음 돌출지도를 이진화하여 물표를 추출한다. 물표를 추적하기 위하여 인접한 프레임에 존재하는 물체간의 가중치가 부여된 유클리디언 거리를 정합척도로 사용하였으며, 정합결과에 대해 물체의 나타남, 사라짐, 잘못된 물체 추출 등을 고려한 궤적관리를 통하여 최종적인 물체 궤적을 얻는다. 실험결과는 제안하는 알고리즘이 물체를 강건하게 추적함을 보인다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권7호
• /
• pp.3245-3271
• /
• 2016

To obtain well-dehazed images at the receiver while sustaining low bit rates in the transmission pipeline, this paper investigates the effects of image dehazing methods using dehazing contrast-enhancement filters on image compression for surveillance systems. At first, this paper proposes a novel image dehazing method by using a new method of calculating the transmission function—namely, the direct denoising method. Next, we deduce the dehazing effects of the direct denoising method and image dehazing method based on dark channel prior (DCP) on image compression in terms of ringing artifacts and blocking artifacts. It can be concluded that the direct denoising method performs better than the DCP method for decompressed (reconstructed) images. We also improve the direct denoising method to obtain more desirable dehazed images with higher contrast, using the saliency map as the guidance image to modify the transmission function. Finally, we adjust the parameters of dehazing contrast-enhancement filters to obtain a corresponding composite peak signal-to-noise ratio (CPSNR) and blind image quality assessment (BIQA) of the decompressed images. Experimental results show that different filters have different effects on image compression. Moreover, our proposed dehazing method can strike a balance between image dehazing and image compression.