• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권1호
• /
• pp.364-380
• /
• 2016

The most popular approach in object classification is based on the bag of visual-words model, which has several fundamental problems that restricting the performance of this method, such as low time efficiency, the synonym and polysemy of visual words, and the lack of spatial information between visual words. In view of this, an object classification based on weakly supervised E2LSH and saliency map weighting is proposed. Firstly, E2LSH (Exact Euclidean Locality Sensitive Hashing) is employed to generate a group of weakly randomized visual dictionary by clustering SIFT features of the training dataset, and the selecting process of hash functions is effectively supervised inspired by the random forest ideas to reduce the randomcity of E2LSH. Secondly, graph-based visual saliency (GBVS) algorithm is applied to detect the saliency map of different images and weight the visual words according to the saliency prior. Finally, saliency map weighted visual language model is carried out to accomplish object classification. Experimental results datasets of Pascal 2007 and Caltech-256 indicate that the distinguishability of objects is effectively improved and our method is superior to the state-of-the-art object classification methods.

• 대한산업공학회지
• /
• 제41권4호
• /
• pp.389-395
• /
• 2015

According to much research on cognitive science, the impact of the scene-context on human visual search in real-world images could be as important as the saliency. Therefore, this study proposed a method of Adaptive Control of Thought-Rational (ACT-R) modeling of visual search in real-world images, based on saliency and scene-context. The modeling method was developed by using the utility system of ACT-R to describe influences of saliency and scene-context in real-world images. Then, the validation of the model was performed, by comparing the data of the model and eye-tracking data from experiments in simple task in which subjects search some targets in indoor bedroom images. Results show that model data was quite well fit with eye-tracking data. In conclusion, the method of modeling human visual search proposed in this study should be used, in order to provide an accurate model of human performance in visual search tasks in real-world images.

• 방송공학회논문지
• /
• 제17권2호
• /
• pp.223-236
• /
• 2012

본 논문에서는 인간 인지 기반 비디오 코딩을 위한 비디오 처리 방법을 개발한다. 제안하는 방법은 율-왜곡(rate-distortion) 최적화의 영향뿐만 아니라 제한적인 시, 공간 해상도, 지역적인 움직임 이력(history), visual saliency에 의한 인간 시각 인지를 고려한다. 이러한 인간의 인지적인 효과들을 고려하기 위하여 본 논문에서는 움직임 패턴을 모델링하고 Hedge 알고리듬을 사용하여 움직임 패턴을 결정하는 기법을 개발한다. 그 다음, 제안한 움직임 패턴과 기존의 visual saliency와의 결합을 통하여 인간 시각 인지 모델을 수립한다. 제안된 인간 시각 인지 모델을 구현하기 위하여 기존의 foveation filtering 방법을 확장한다. 시각적 자극이 덜한 지역만을 부드럽게(smoothing)하는 기존의 foveation filtering 기법과 비교하여 제안하는 foveation filtering 기법은 인간 시각 인지 모델에 따라 지역적으로 부드럽게 또는 지역적 특성을 향상시킴으로써, 시각적 자극이 덜한 지역에서 줄여진 대역폭을 효과적으로 시각적 자극이 큰 지역에서 사용하도록 이동 시킬 수 있는 장점이 있다. 제안된 방법의 성능은 전반적인 비디오 화질을 만족할 뿐만 아니라 인간이 인지하는 화질의 품질을 12%~44% 향상시킨다.

• Journal of Platform Technology
• /
• 제12권1호
• /
• pp.128-140
• /
• 2024

딥페이크(Deepfake)란 다양한 인공지능 기술을 활용해 진짜와 같은 가짜를 만드는 영상 합성기술로, 가짜 뉴스 생성, 사기, 악의적인 도용 등에 활용되어 개인과 사회에게 심각한 혼란을 유발시키고 있다. 사회적 문제방지를 위해, 딥페이크로 생성된 이미지를 정교하게 분석하고 탐지하는 방법이 필요하다. 따라서, 본 논문에서는 딥페이크로 생성된 가짜 이미지와 진짜 이미지에서 Saliency 특징을 각각 추출하고 분석하여 합성 후보 영역을 검출하며, 추출된 특징들을 중점으로 학습하여 최종적으로 딥페이크 이미지 탐지 모델을 구축하였다. 제안된 Saliency 기반의 딥페이크 탐지 모델은 합성된 이미지, 동영상 등의 딥페이크 검출 상황에서 공통적으로 사용될 수 있으며, 다양한 비교실험을 통해 본 논문의 제안 방법이 효과적임을 보였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제3권12호
• /
• pp.547-552
• /
• 2014

플리커, 페이스북과 같은 대용량 소셜 미디어 공유 사이트의 발전으로 이미지 정보가 매우 빠르게 증가하고 있다. 이에 따라 소셜 이미지를 정확하게 검색하기 위한 다양한 연구가 활발히 진행되고 있다. 이미지 태그들의 의미적 연관성을 이용하여 태그기반의 이미지 검색의 정확도를 높이고자 하는 연구를 비롯하여 이미지 단어집(Bag of Visual Words)을 기반으로 웹 이미지를 분류하는 연구도 다양하게 진행되고 있다. 본 논문에서는 이미지에서 배경과 같은 중요도가 떨어지는 정보를 제거하여 중요부분을 찾는 GBVS(Graph Based Visual Saliency)모델을 기존 연구에 사용할 것을 제안한다. 제안하는 방법은 첫 번째, 이미지 태그들의 의미적 연관성을 이용해 1차 분류된 데이터베이스에 SIFT알고리즘을 사용하여 이미지 단어집(BoVW)을 만든다. 두 번째, 테스트할 이미지에 GBVS를 통해서 이미지의 관심영역을 선택하여 테스트한다. 의미연관성 태그와 SIFT기반의 이미지 단어집을 사용한 기존의 방법에 GBVS를 적용한 결과 더 높은 정확도를 보임을 확인하였다.

• Journal of Information Processing Systems
• /
• 제9권4호
• /
• pp.592-601
• /
• 2013

Object segmentation is a challenging task in image processing and computer vision. In this paper, we present a visual attention based segmentation method to segment small sized interesting objects in natural images. Different from the traditional methods, we first search the region of interest by using our novel saliency-based method, which is mainly based on band-pass filtering, to obtain the appropriate frequency. Secondly, we applied the Gaussian Mixture Model (GMM) to locate the object region. By incorporating the visual attention analysis into object segmentation, our proposed approach is able to narrow the search region for object segmentation, so that the accuracy is increased and the computational complexity is reduced. The experimental results indicate that our proposed approach is efficient for object segmentation in natural images, especially for small objects. Our proposed method significantly outperforms traditional GMM based segmentation.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권2호
• /
• pp.676-692
• /
• 2018

Saliency detection in neurobiology is a vehement research during the last few years, several cognitive and interactive systems are designed to simulate saliency model (an attentional mechanism, which focuses on the worthiest part in the image). In this paper, a bottom up saliency detection model is proposed by taking into account the color and luminance frequency features of RGB, CIE $L^*a^*b^*$ color space of the image. We employ low-level features of image and apply band pass filter to estimate and highlight salient region. We compute the likelihood probability by applying Bayesian framework at pixels. Experiments on two publically available datasets (MSRA and SED2) show that our saliency model performs better as compared to the ten state of the art algorithms by achieving higher precision, better recall and F-Measure.

• 센서학회지
• /
• 제10권5호
• /
• pp.286-291
• /
• 2001

논문에서는 임의의 시각계에서 인간과 유사한 시각 응시점을 선택하기 위한 Saliency map 모델을 제안한다. 제안하는 모델은 영상의 에지 정보를 시각 응시점 결정을 위한 특징 기저로 이용한다. 자연 정지 흑백 영상에서 상호 독립적인 에지 성분들을 찾는데 가장 좋은 방법이라고 알려진 독립성분해석 방법을 이용한다. 인간 시각계에서 시각 수용체의 비균일 분포를 고려하기 위해 카메라와 같은 시각 센서로 받은 영상을 직접 이용하는 대신에 입력 영상으로 다중 해상도를 갖는 계층 영상을 이용한다. 컴퓨터를 이용한 시뮬레이션으로부터 제안한 Saliency map을 이용하여 주어진 임의의 이미지에 대한 시각 응시점을 구한다.

• 한국멀티미디어학회논문지
• /
• 제14권3호
• /
• pp.378-391
• /
• 2011

본 논문에서는 입력장치로 들어오는 수많은 시각정보 중 현 시점에서 가장 유용하다고 생각되는 정보를 인간의 상향식 주의시각에 기반하여 선택하는 시각정보 선택기법에 대해 소개한다. 제안하는 시스템은 색상, 명도, 방위, 형태 등 저수준의 공간특징 외에 시간특징으로서 움직임 정보와 3차원 정보인 깊이 정보를 추가적으로 사용함으로써 기존방법에 비해 정보 선택의 정확도를 높혔다. 움직임 정보 추출 시 발생할 수 있는 노이즈를 제거하기 위해 인간의 움직임 인지에 대한 연구결과를 이용하는 새로운 접근법을 사용하였으며, 입력 영상 내 객체들이 부분적으로 겹쳐있다거나 동일한 현저도를 가지고 있을 때에도 현저한 영역을 제대로 선택해낼 수 있도록 깊이 정보를 사용하여 유의미한 영역을 선별하고 우선순위를 부여하였다. 실험결과를 통해 제안하는 방법이 기존의 방법에 비해 높은 정확도를 가짐을 확인할 수 있었다.

• 디지털융복합연구
• /
• 제10권3호
• /
• pp.173-178
• /
• 2012

본 논문에서는 영상의 관심 영역을 선택추출하여 효과적으로 객체를 추출 할 수 있는 관심 영역 지도(Saliency Map) 생성 기법을 제안하였다. 제안하는 방법은 객체의 윤곽선에 초점을 맞추어 단일영상의 에지(Edge), HSV 색상 모델의 H(Hue)성분, 포커스(Focus), 엔트로피(Entropy)의 네 가지 특징 정보를 이용한 각각의 특징 지도(Feature Map)를 생성하고, 생성된 특징 지도들을 중심 주변 차이(Center Surround Differences)를 이용하여 중요도 지도(conspicuity map)를 생성하게 된다. 이후 생성된 중요도 지도들을 조합함으로써 관심 영역 지도를 생성하게 된다. 제안한 기법을 이용하여 생성한 관심 영역 지도를 기존 기법의 관심 영역 지도와 비교한 결과 제안한 기법의 우수함을 알 수 있었다.