• 한국콘텐츠학회논문지
• /
• 제6권1호
• /
• pp.41-53
• /
• 2006

본 논문에서는 동영상에서 시간과 공간특징을 선택적으로 사용한 ROI(Region of Interest) 탐지 시스템을 소개한다. 동영상에서 명암도, 색상 등과 같은 공간특징을 사용한 공간상의 현저도 뿐만 아니라 시간상의 현저도도 얻기 위하여 모션이라는 시간특징을 사용하였다. 본 시스템에서는 동영상이 입력되면 공간특징 및 시간특징을 탐지하고, 이 특징과 관련된 기존의 심리학적 연구결과를 바탕으로 이들을 분석한다. 이렇게 분석된 결과는 하나로 통합되어 이를 기반으로 ROI 영역을 탐지한다. 일반적으로 비디오 영상에서 움직이는 개체나 영역은 같은 영상 안의 다른 개체나 영역보다 먼저 주의가 가게 되므로, 본 시스템에서는 분석된 결과를 통합하는 데 있어 시간특징인 모션을 공간특징보다 우선하여 통합한다. 시스템의 성능 분석을 위하여 동일한 실험영상을 가지고 인간을 대상으로 한 심리학적 실험을 우선 수행하였으며, 이 결과를 기준으로 본 시스템에서 얻어진 결과를 비교하여 모형의 성능을 분석하였다. 실험결과 공간특징만을 사용했을 때 보다 시간특징을 같이 사용함으로써 시스템의 성능을 보다 향상시킬 수 있었다.

• 인지과학
• /
• 제16권3호
• /
• pp.155-174
• /
• 2005

최근 연구들은 공간적 작업기억 과제를 수행하면서 시각 탐색 과제를 수행했을 때 시각 탐색의 효율성과 작업기억 과제의 정확률이 동시에 낮아지는 결과를 보고하였다(Oh & Kim, 2004; Woodman & Luck, 2004). 이러한 결과는 두 과제의 처리 과정이 동일한 인지적 자원을 요구하기 때문인 것으로 해석할 수 있는데, 동일한 인지적 자원은 공간적 주의(공간적 주의 부하 가설)나, 공간적 작업기억(공간적 작업기억 부하 가설), 혹은 이 둘과 모두 관련될 가능성이 있다. 시각 탐색과 공간적 작업기억 간 상호 간섭의 기제를 밝히기 위해 작업기억에 유지해야 하는 위치와 공간적 주의를 사용해야 하는 시각 탐색의 자극 위치를 변화시켜 2개의 실험을 수행하였다. 실험 1에서는 공간적 작업기억 과제의 자극을 탐색 자극이 제시될 수 있는 주변 영역에 제시하는 경우에도 두 과제간의 간섭이 나타남을 보임으로써 이전 연구 결과들을 재확인하였다. 실험 2에서는 기억 자극과 탐색 자극을 모두 동일한 사분면에 제시하는 경우와 그렇지 않은 경우에서 시각 탐색과 작업기억 과제 수행을 비교하였다. 실험 결과 시각 탐색의 효율은 시각 탐색 과제만을 수행한 조건과 동일 위치 조건에 비해 비동일 위치 조건에서 유의미하게 저하되었다. 공간적 작업기억 과제의 정확률역시 다른 조건보다 비동일 위치 조건에서 더 낮게 나타났다. 이러한 결과들은 선행 연구들에서 밝혀진 공간 기억과 시각 탐색간의 상호 간섭이 작업기억의 과부하보다는 공간적 주의의 과부하로 인한 것임을 시사한다.

• 한국콘텐츠학회논문지
• /
• 제19권6호
• /
• pp.214-221
• /
• 2019

사람의 눈을 통해 획득된 시각정보는 시각적 자극을 어떻게 보는지에 대한 많은 정보를 포함하고 있는데, 아이트래킹기술을 활용하면 소비자의 시각정보를 정량적 데이터로 획득하여 분석가능하다. 이러한 측정은 소비자가 무의식적으로 느끼게 되는 감성 측정이 가능하며, 시선추적을 통한 캐릭터의 탐색반응을 계량적으로 수치화하여 직접 수집할 수 있다. 본 연구에서는 캐릭터의 관심영역(AOI)을 추적하여, 시선고정 도출 측정값 중 시선고정평균시간, 횟수, 시선방문평균시간, 횟수, 마지막으로 처음 시선고정이 일어난 평균시간을 분석하였다. 분석결과, 전체적으로 시선고정과 시선방문이 주로 이루어진 지점은 캐릭터의 몸매보다는 얼굴에서 많은 인지적 처리과정이 일어났으며 시각적 주의가 높게 나타났다. 또한 매력요소의 시각적 주의를 통해 매력요소가 캐릭터에 대한 선호도를 결정하는 중요한 요인으로 제시되고 있음을 검증할 수 있었다. 향후 본 연구결과를 토대로 더 많은 캐릭터의 추가 연구가 수행되어 정량적 해석 방법이 제시된다면 캐릭터 개발의 기초자료로 그리고 캐릭터디자인 결정시 고려해야 할 요소로 활용될 수 있을 것이다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권12호
• /
• pp.3976-3990
• /
• 2022

Currently, cross-attention is widely used in Siamese trackers to replace traditional correlation operations for feature fusion between template and search region. The former can establish a similar relationship between the target and the search region better than the latter for robust visual object tracking. But existing trackers using cross-attention only focus on rich semantic information of high-level features, while ignoring the appearance information contained in low-level features, which makes trackers vulnerable to interference from similar objects. In this paper, we propose a Multi-level Cross-attention Siamese network(MCSiam) to aggregate the semantic information and appearance information at the same time. Specifically, a multi-level cross-attention module is designed to fuse the multi-layer features extracted from the backbone, which integrate different levels of the template and search region features, so that the rich appearance information and semantic information can be used to carry out the tracking task simultaneously. In addition, before cross-attention, a target-aware module is introduced to enhance the target feature and alleviate interference, which makes the multi-level cross-attention module more efficient to fuse the information of the target and the search region. We test the MCSiam on four tracking benchmarks and the result show that the proposed tracker achieves comparable performance to the state-of-the-art trackers.

• 한국음향학회:학술대회논문집
• /
• 한국음향학회 1998년도 학술발표대회 논문집 제17권 1호
• /
• pp.291-296
• /
• 1998

In the experiment carried out on 20 college students, recorded were frontal, temporal and occipital EEG, skin conductance response, skin conductance level, heart rate and respiration rate during listening to two music fragments with different affective valences and white noise administered immediately after negative visual stimulation. Analysis of physiological patterns observed during the experiment suggests that affective auditory stimulation with music is able to selectively modulate autonomic and cortical activity evoked by preceding aversive visual stimulation and to restore initial baseline levels. On other hand, physiological responses to white noise, which does not possess emotion-eliciting capabilities, evokes response typical for orienting reaction after the onset of a stimulus and is rapidly followed by habituation. Observed responses to white noise were similar to those specific to attention only and had no evidence for any emotion-related processes. Interpretation of the obtained data is considered in terms of the role of emotional and orienting significance of stimuli, dependence of effects on the background physiological activation level and time courses of attention and emotion processes. Physiological parameters are summarized with regard to their potential utility in differentiation of psychological processes induced by auditory stimuli.

• 한국멀티미디어학회논문지
• /
• 제20권3호
• /
• pp.446-455
• /
• 2017

A color image compression based on saliency map was proposed. The proposed method provides higher quality in saliency blocks on which people's attention focuses, compared with non-saliency blocks on which the attention less focuses at a given bitrate. The proposed method uses 3 different quantization tables according to each block's saliency level. In the experiment using 6 typical images, we compared the proposed method with JPEG and other conventional methods. As the result, it showed that the proposed method (Qup=0.5*Qx) is about 3.1 to 1.2 dB better than JPEG and others in saliency blocks in PSNR at the almost similar bitrate. In the comparison of result images, the proposed one also showed less error than others in saliency blocks.

• 한국멀티미디어학회논문지
• /
• 제23권3호
• /
• pp.508-515
• /
• 2020

For the success of mobile messenger emoticons, it is important to grab the attentions of users or consumers and identify the influence factors that can satisfy empathy and emotional satisfaction. In this study, first, subjective evaluation of the mobile messenger emoticons of the subjects was examined through a preliminary survey, and then Eye-tracking experiments were conducted to identify the influence factors that can attention of the subject's eyes in the emoticons. The study revealed that emoticons such as Ompangi and Onaeui yeosin highlighting their characters mainly focus on characters(face). Secondly, Gyuiyomjueui and Handprinting emoticons focused on Text. Contrary to earlier studies, such results showed that people are presumed to focus on characteristic elements such as size, form, color and location of visually exposed elements rather than primarily having a keen interest in characters.

• 로봇학회논문지
• /
• 제17권4호
• /
• pp.425-430
• /
• 2022

As robots are considered one of the mainstream digital transformations, robots with machine vision becomes a main area of study providing the ability to check what robots watch and make decisions based on it. However, it is difficult to find a small object in the image mainly due to the flaw of the most of visual recognition networks. Because visual recognition networks are mostly convolution neural network which usually consider local features. So, we make a model considering not only local feature, but also global feature. In this paper, we propose a detection method of a small marker on the object using deep learning and an algorithm that considers global features by combining Transformer's self-attention technique with a convolutional neural network. We suggest a self-attention model with new definition of Query, Key and Value for model to learn global feature and simplified equation by getting rid of position vector and classification token which cause the model to be heavy and slow. Finally, we show that our model achieves higher mAP than state of the art model YOLOr.

• 한국멀티미디어학회논문지
• /
• 제21권2호
• /
• pp.166-172
• /
• 2018

The distraction of the driver's attention causes as much traffic accidents as drowsiness driving. Yet though there have been many studies on drowsiness driving, research on distraction driving is insufficient. In this paper, we divide distraction of attention into visual distraction and cognitive distraction and analyze the EEG of subjects while viewing images of distracting situations. The results show that more information is received and processed when distractions occur. It is confirmed that the probability of accident increases when the driver receives overwhelming amount of information that he or she cannot concentrate on driving.

• Journal of Information Processing Systems
• /
• 제14권6호
• /
• pp.1318-1330
• /
• 2018

Video captioning refers to the process of extracting features from a video and generating video captions using the extracted features. This paper introduces a deep neural network model and its learning method for effective video captioning. In this study, visual features as well as semantic features, which effectively express the video, are also used. The visual features of the video are extracted using convolutional neural networks, such as C3D and ResNet, while the semantic features are extracted using a semantic feature extraction network proposed in this paper. Further, an attention-based caption generation network is proposed for effective generation of video captions using the extracted features. The performance and effectiveness of the proposed model is verified through various experiments using two large-scale video benchmarks such as the Microsoft Video Description (MSVD) and the Microsoft Research Video-To-Text (MSR-VTT).