• 한국멀티미디어학회논문지
• /
• 제14권8호
• /
• pp.1082-1093
• /
• 2011

3차원 캐릭터 모델의 만화적 표현을 위하여 일반적으로 사용되고 있는 기존의 카툰렌더링 방법들은 아티스트가 직접 그린 원화의 표현을 그대로 살리는데 한계가 있다. 본 논문에서는 원화로부터 만화적인 음영모델을 캡쳐하는 기술을 제안하고 이를 이용하여 3차원 캐릭터 모델을 효과적으로 카툰 렌더링하는 새로운 시스템을 제공한다. 이 시스템의 특징은 음영을 캡쳐한 후에 캐릭터 모델의 만화적 특성을 부각시키기 위하여 음영을 이용하여 형태를 강조하는 알고리즘을 포함하며 아티스트가 포스트 프러덕션으로 음영을 편집할 수 있는 스케치 기반 인터페이스를 지원하는 것이다. 이를 위하여 선택된 영역의 색상 분포와 비율을 분석하는 RGB 색상 정렬 알고리즘을 이용하여 카툰 텍스처를 자동으로 생성하는 방법론을 제시한다. 또한 캐릭터의 형태적 특성을 강조하기 위하여 세일리언시 기반 카툰 렌더링 알고리즘을 제안하며, 음영을 지역적으로 편집하는 스케치 인터페이스를 제공한다. 마지막으로 사용자 평가를 통하여 제안하는 시스템의 유용성을 입증한다.

• 전자공학회논문지
• /
• 제51권7호
• /
• pp.157-168
• /
• 2014

본 논문에서는 자연영상에 대한 돌출영역을 자동으로 검출하고 이를 분할하기 위한 새로운 인공시각집중모델을 제안한다. 제안된 모델은 인간의 생물학적 시각인지 기반이며 주된 특징은 다음과 같다. 먼저 영상의 강도특징과 색상특징을 사용하는 대립과정이론 기반의 새로운 인공시각집중모델의 구조를 제안하고, 돌출영역을 인지하기 위해 영상의 강도 및 색상 특징채널의 정보량을 고려하는 엔트로피 필터를 설계하였다. 엔트로피 필터는 높은 정확도와 정밀도로 돌출영역에 대해 검출 및 분할이 가능하다. 마지막으로 최종 돌출지도를 효율적으로 구성하기 위한 적응 조합 방법 또한 제안되었다. 이 방법은 각 인지 모델로부터 검출된 강도 및 색상 가시성지도에 대하여 평가하며 평가된 점수로부터 얻어진 가중치를 이용해 가시성 지도들을 조합한다. 돌출지도에 대해 ROC분석을 이용한 AUC를 측정한 결과 기존 최신의 모델들은 평균 0.7824의 성능을 나타낸 반면 제안된 모델의 AUC는 0.9256으로서 약 15%의 성능 개선을 보였다. 또한 돌출영역 분할에 대해 F-beta를 측정한 결과 기존 최신의 모델은 0.5178이고 제안된 모델은 0.7325로서 분할 성능 또한 약 22%의 성능 개선을 보였다.

• 방송공학회논문지
• /
• 제17권5호
• /
• pp.838-850
• /
• 2012

본 논문에서는 스테레오 영상에서 얻은 다양한 특징들을 이용하여 다시점 영상을 생성하는 방법을 제안한다. 제안된 기법에서는 먼저 주어진 스테레오 영상에서 명암변화 주목도 지도(intensity gradient saliency map)를 생성한다. 다음으로 좌우 영상 간에 블럭 단위의 움직임을 나타내는 광류(optical flow)를 계산하고 scale-invariant feature transform(SIFT) 기법을 통해 사물의 크기와 회전에 변하지 않는 영상의 특징 점을 구하여 이 특징점 간의 변이를 구한 다음, 이 두 변이 정보들을 결합하여 변이 주목도 지도(disparity saliency map)를 생성 한다. 생성된 변이 주목도 지도는 가려짐 영역 검출을 통해 오류 변이가 제거된다. 세 번째로 영상 워핑시에 직선의 왜곡을 최소화하기 위해 직선 세그먼트를 얻는다. 마지막으로 다시점 영상은 이렇게 추출된 영상 특징들을 제한 조건으로 사용하여 그리드 메쉬(grid-mesh) 기반 영상 워핑(warping) 기법에 의해 생성된다. 실험 결과를 통해 제안한 기법으로 생성된 다시점 영상의 화질이 기존 DIBR 기법보다 우수한 것을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제18권6호
• /
• pp.859-871
• /
• 2013

본 논문에서는 스테레오 영상에서 얻은 다양한 특징들과 차폐영역에 대한 정보들을 활용하여 그리드 메쉬(grid-mesh) 기반의 영상워핑 기법을 통해 다시점 영상을 생성하는 방법을 제안한다. 제안된 기법에서는 먼저 주어진 스테레오 영상에서 영상 특징 지도(image saliency map), 직선 성분(line segments) 그리고 변이 특징 지도(disparity saliency map)를 추출하고, 추출된 특징들에 대하여 품질을 향상시키는 과정을 거친다. 이 과정은 두 가지 단계로 나뉘는데, 먼저 차폐영역에 대한 정보를 활용하여 객체의 경계 부근에서 추출된 변이 특징 지도의 신뢰도를 향상시킨다. 다음으로 스테레오 영상에서의 시간적 일관성(temporal consistency)에 대한 정보를 활용하여 추출된 영상 특징들의 시간적 일관성을 높인다. 이렇게 품질이 향상된 특징 성분들을 활용하여 그리드 메쉬 기반의 영상 워핑 기법을 통해 다시점 영상을 생성한다. 실험 결과를 통해 제안된 기법으로 생성한 다시점 영상의 주관적 화질 측면에서 기존의 다시점 영상 생성 기법들보다 우수한 것을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제20권3호
• /
• pp.368-378
• /
• 2015

2D영상의 3D변환 기술은 3D 디스플레이 및 3DTV에 기본적으로 장착된 기술로 꾸준히 연구 및 상업화가 진행된 기술이다. 이 기술은 3D 입체영상 콘텐츠 부족을 해결할 수 있다는 장점이 있다. 3D변환은 정지영상으로부터 다양한 깊이단서를 이용하여 깊이맵을 추출한 후에, DIBR(Depth Image Based Rendering)로 입체영상을 생성한다. 특정 영상이외에는 영상에서 신뢰성 있는 단서가 있는 경우는 많지 않다. 따라서 3D변환 기술은 일반 영상에서도 우수하고, 일관된 입체영상이 생성하는 것이 중요하다. 이러한 관점에서 본논문에서는 상기 조건을 만족할 수 있는 3D변환 방법을 제안한다. 주 기술로 최근 다양한 분야에서 활용되는 관심맵과 에지를 활용한 다. 깊이맵을 생성하기 위해서 기하적 투영, 근접 모델 및 바이노믹 필터를 활용한다. 실험에서는 제안한 방법을 24개의 2D 비디오 콘텐츠에 적용하였고, 입체감 및 시각적 피로도 등의 주관적 평가를 통해 3D 콘텐츠의 우수한 만족도를 확인하였다.

• Journal of Information Processing Systems
• /
• 제13권3호
• /
• pp.448-463
• /
• 2017

Multimedia is a ubiquitous and indispensable part of our daily life and learning such as audio, image, and video. Objective and subjective quality evaluations play an important role in various multimedia applications. Blind image quality assessment (BIQA) is used to indicate the perceptual quality of a distorted image, while its reference image is not considered and used. Blur is one of the common image distortions. In this paper, we propose a novel BIQA index for Gaussian blur distortion based on the fact that images with different blur degree will have different changes through the same blur. We describe this discrimination from three aspects: color, edge, and structure. For color, we adopt color histogram; for edge, we use edge intensity map, and saliency map is used as the weighting function to be consistent with human visual system (HVS); for structure, we use structure tensor and structural similarity (SSIM) index. Numerous experiments based on four benchmark databases show that our proposed index is highly consistent with the subjective quality assessment.

• 방송공학회논문지
• /
• 제21권6호
• /
• pp.929-943
• /
• 2016

본 논문에서는 인지 화질을 고려하기 위해 S-JND 모델 기반의 율 제어 알고리즘을 제안한다. 제안하는 율 제어 알고리즘은 인간이 가지는 시각 시스템의 특징을 반영하기 위하여 시각적 민감도와 시각적 관심도를 동시에 반영할 수 있도록 제작된 S-JND (Saliency-Just Noticeable Difference) 모델을 사용한다. 율 제어 알고리즘을 통해 비트를 분배하는 과정에서 픽쳐 내에 존재하는 각 CTU (Coding Tree Unit)가 가지는 S-JND threshold를 구한다. 각 CTU의 threshold는 적응적으로 적절한 비트를 분배하는데 사용되고, 따라서 제안하는 비트 분배 모델은 인지 화질을 향상 시킬 수 있다. 제안하는 방법의 성능 검증을 위해서 제안하는 방법을 HM 16.9에 구현하였으며, CTC (Common Test Condition) RA (Random Access), Low-delay B와 Low-delay P의 경우에 Class B와 Class C 영상들에 대해 실험 하였다. 실험 결과, 제안하는 방법은 기존 율 제어 알고리즘 대비 평균 2.3%의 비트율이 감소했고 BD-PSNR은 약 0.07dB 향상이 있었으며 비트 정확도 또한 0.06% 정도 증가하였다. DSCQS (Double Stimulus Continuous Quality Scale) 방법으로 측정한 결과, 제안하는 방법은 기존 방법 대비 0.03 MOS (Mean Opinion Score) 향상을 보였다.

• 전자공학회논문지
• /
• 제51권6호
• /
• pp.132-142
• /
• 2014

근래에 고령운전자의 증가와 다양한 차량용 멀티미디어 기기의 등장으로 운전 중 운전자의 시각적 주의 결핍 및 분산되어 교통신호등 오인식으로 인해 교통사고가 증가하고 있는 상황이다. 이를 보완하기 위해 일반적인 교통신호등 검출연구들은 색상 임계치, 템플릿 매칭, 학습기 기반 등의 방안이 제시 되었으나 색상 임계치의 경우 시내 도로와 같이 복잡한 배경과 주위 환경변화에 강인하지 못하고, 야간 시간대의 경우 템플릿 및 학습기 기반의 검출방안의 경우 그 인식도가 떨어지는 문제점이 존재한다. 따라서 제안한 방안에서는 교통신호등의 구조적인 형태 정보(모양, 밝기, 대비, 색상 등)을 기반 한 시각적 주의 영역과 spot-lights 영역 검출을 통해 복잡한 시내 도로 환경에서 교통신호등을 검출하는 방안을 제안한다. 교통신호등은 운전자의 시인성을 높일 수 있는 위치에 설치되고 또한 구조적인 고유한 형태와 색상을 지니고 있는 특징들을 이용하여 교통신호등을 검출한다. 제안한 방안에서는 입력된 칼라영상에서 특징정보들 간의 다차원 가우시안 파라미드 영상들을 생성하고 각 영상들 간의 대비차이 계산하여 현저하게 두드러진 영역들을 검출하고, 밝기 영상에서 주위 영역과 현저하게 밝은 spot-lights 영역들을 검출한다. 그리고 검출된 두 영역들의 모양과 색상 분석을 통해 교통신호등을 검출한다. 제안한 방법을 다양한 시간대와 시내 도로에서 실험한 결과, 교통신호등 검출률은 83.2%이고 프레임 당 처리 시간은 0.68초이다. 이것을 통해 사후판독 기능이 차량 영상기록장치에 결합한 안전운전 지원시스템으로 제안한 방안이 유용하게 적용될 수 있음을 알 수 있다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제5권1호
• /
• pp.49-54
• /
• 2016

Regarding global and local factors of a set of features, a given single image or multiple images is a common approach in image processing. This paper introduces an application of an adaptive version of non-local filter whose original version searches non-local similarity for removing noise. Since most images involve texture partner in both foreground and background, extraction of signified regions with texture is a challenging task. Aiming to the detection of visual attention regions for images with texture, we present the contrast analysis of image patches located in a whole image but not nearby with assistance of the adaptive filter for estimation of non-local divergence. The method allows extraction of signified regions with texture of images of wild life. Experimental results for a benchmark demonstrate the ability of the proposed method to deal with the mentioned challenge.

• 대한인간공학회지
• /
• 제31권6호
• /
• pp.705-713
• /
• 2012

Objective: The aim of this study is to predict human visual target search using ACT-R cognitive architecture in real scene images. Background: Human uses both the method of bottom-up and top-down process at the same time using characteristics of image itself and knowledge about images. Modeling of human visual search also needs to include both processes. Method: In this study, visual target object search performance in real scene images was analyzed comparing experimental data and result of ACT-R model. 10 students participated in this experiment and the model was simulated ten times. This experiment was conducted in two conditions, indoor images and outdoor images. The ACT-R model considering the first saccade region through calculating the saliency map and spatial layout was established. Proposed model in this study used the guide of visual search and adopted visual search strategies according to the guide. Results: In the analysis results, no significant difference on performance time between model prediction and empirical data was found. Conclusion: The proposed ACT-R model is able to predict the human visual search process in real scene images using salience map and spatial layout. Application: This study is useful in conducting model-based evaluation in visual search, particularly in real images. Also, this study is able to adopt in diverse image processing program such as helper of the visually impaired.