• 제목/요약/키워드: information of emotion

검색결과 1,326건 처리시간 0.037초

실시간 동영상 스트리밍 환경에서 오디오 및 영상기반 감정인식 프레임워크 (Audio and Image based Emotion Recognition Framework on Real-time Video Streaming)

  • 방재훈;임호준;이승룡
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.1108-1111
    • /
    • 2017
  • 최근 감정인식 기술은 다양한 IoT 센서 디바이스의 등장으로 단일 소스기반의 감정인식 기술 연구에서 멀티모달 센서기반 감정인식 연구로 변화하고 있으며, 특히 오디오와 영상을 이용한 감정인식 기술의 연구가 활발하게 진행되는 있다. 기존의 오디오 및 영상기반 감정신 연구는 두 개의 센서 테이터를 동시에 입력 저장한 오픈 데이터베이스를 활용하여 다른 이벤트 처리 없이 각각의 데이터에서 특징을 추출하고 하나의 분류기를 통해 감정을 인식한다. 이러한 기법은 사람이 말하지 않는 구간, 얼굴이 보이지 않는 구간의 이벤트 정보처리에 대한 대처가 떨어지고 두 개의 정보를 종합하여 하나의 감정도 도출하는 디시전 레벨의 퓨저닝 연구가 부족하다. 본 논문에서는 이러한 문제를 해결하기 위해 오디오 및 영상에 내포되어 있는 이벤트 정보를 추출하고 오디오 및 영상 기반의 분리된 인지모듈을 통해 감정들을 인식하며, 도출된 감정들을 시간단위로 통합하여 디시전 퓨전하는 실시간 오디오 및 영상기반의 감정인식 프레임워크를 제안한다.

영상 타이포그라피를 통한 소수자의 감성 커뮤니케이션 연구 (한국영화에서의 감성전달을 중심으로) (Emotional Communication of Minority through Video Typography (Focus on Emotional Communication in Korean Movie))

  • 권상오;허원회
    • 한국콘텐츠학회논문지
    • /
    • 제8권1호
    • /
    • pp.356-366
    • /
    • 2008
  • 영상을 통한 커뮤니케이션은 그동안 신체적 정신적 장애로 인해 의사소통의 어려움이 있었던 장애우에게 자신의 관심 또는 상황을 타인과 교환할 수 있게 하여 사회적 소외감을 줄일 수 있다. 그러나 그러한 발달이 정보 접근에는 용이해졌다고 할 수 있으나 사회 현실적으로 많은 미비점을 남기고 있으며 감성 접근 측면에서는 더욱 부족하다 할 수 있다. 본 연구에서 21세기 정보사회에 있어서 새로운 화두가 되고 있는 감성 소통을 위해 영상 타이포그라피를 이용하여 보는 것은 가능하나 들을 수 없는 청각 장애우들의 감성 커뮤니케이션에 새로운 방향을 제시하고자 한다. 본 연구는 시각적인 반응으로만 메시지를 이해해야하는 청각장애우들의 청각적 감성을 보조하기 위해 영상타이포를 제안하였으며 비주얼만으로 전달하기 어려운 감성의 포인트를 영상타이포의 활용으로 명확하게 전달하여 그들과의 감정커뮤니케이션을 공유할 수 있는 통로를 마련하는데 그 목적이 있다.

영상분석 기술을 활용한 시니어용 동영상 편집 시스템 (Video Content Editing System for Senior Video Creator based on Video Analysis Techniques)

  • 장달원;이재원;이종설
    • 방송공학회논문지
    • /
    • 제27권4호
    • /
    • pp.499-510
    • /
    • 2022
  • 본 논문에서는 영상 편집이 익숙하지 않은 시니어 동영상 크리에이터를 위한 동영상 편집 시스템을 설명한다. 영상분석 기술을 이용하여 편집소스 동영상을 분석하여 각종 정보를 제공하고, 자동으로 일부 장면을 삭제한다. 사용자가 다수의 소스 콘텐츠를 입력하였을 때, RNN(Recurrent Neural Network) 기술을 기반으로 샷 단위로 분할하고, 이 중 동영상 편집에서 배제할 부분을 구분한다. 각 샷 별로 중요도를 계산하여 샷 단위로 자동 삭제가 가능하도록 한다. 중요도 계산을 위해서 동영상 초점 정보를 추출하여 활용하는데, 이는 초점이 맞지 않는 영상 또는 흔들린 영상을 배제할 수 있도록 한다. 이후 시스템은 객체 인식을 수행하고, 얼굴이 나온 영상에 대해서 감정, 나이, 성별 등의 정보를 추출하여 사용자에게 제공한다. 사용자는 이런 정보를 활용하여 동영상을 제작한다. 동영상에 자막을 삽입하는 등 동영상을 꾸미기 위한 기능들도 포함되어 있으며, 이런 기능들을 활용할 시, 사용자의 과거 정보를 이용해서 선호 디자인을 쉽게 찾을 수 있도록 앞서 배치하고 있다. 시니어 동영상 크리에이터들이 본 시스템을 통해서 쉽고 빠르게 동영상 콘텐츠를 제작할 수 있다.

사용자 감정 인식과 공감적 대화 생성: ChatGPT와 소형 언어 모델 비교 (Empathetic Dialogue Generation based on User Emotion Recognition: A Comparison between ChatGPT and SLM)

  • 허승훈;이정민;조민수;권오욱;황금하
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.570-573
    • /
    • 2024
  • 본 연구는 대형 언어 모델 (LLM) 시대에 공감적 대화 생성을 위한 감정 인식의 필요성을 확인하고 소형 언어 모델 (SLM)을 통한 미세 조정 학습이 고비용 LLM, 특히 ChatGPT의 대안이 될 수 있는지를 탐구한다. 이를 위해 KoBERT 미세 조정 모델과 ChatGPT를 사용하여 사용자 감정을 인식하고, Polyglot-Ko 미세 조정 모델 및 ChatGPT를 활용하여 공감적 응답을 생성하는 비교 실험을 진행하였다. 실험 결과, KoBERT 기반의 감정 분류기는 ChatGPT의 zero-shot 접근 방식보다 뛰어난 성능을 보였으며, 정확한 감정 분류가 공감적 대화의 질을 개선하는 데 기여함을 확인하였다. 이는 공감적 대화 생성을 위해 감정 인식이 여전히 필요하며, SLM의 미세 조정이 고비용 LLM의 실용적 대체 수단이 될 수 있음을 시사한다.

TV 커뮤니케이션에서 시간의식의 역할 (The Role of the Consciousness of Time in the TV Communication)

  • 이원
    • 한국언론정보학보
    • /
    • 제46권
    • /
    • pp.420-448
    • /
    • 2009
  • 이 연구는 시간의식이 무엇인지를 이론적으로 재정립하고 이것이 TV 커뮤니케이션에서 어떠한 역할을 하는지를 고찰함으로써 인간의 커뮤니케이션 행위에 대한 새로운 관점을 제공하는 것을 목표로 삼고 있다. 과거, 현재, 미래는 독립된 현실이 아니라 인간의 의식속에 공존하고 있으므로 '경험'과 '기대'는 시간의식의 작동방식을 설명하는 데 핵심적인 개념적 도구로 활용되었다. 인간은 현재에 인식되는 경험을 통해 미래를 예측하고 바로 이 예측된 미래, 즉 기대에 따라서 현재의 행동을 결정하거나 감정을 느끼게 된다. 시간의식은 사회화 과정 속에서 상징적 시간도구와 사회의 지배적 세계관을 구성하는 시간관으로 확장된다. TV 커뮤니케이션에서 시간의식의 역할은 TV의 매체적 특수성에 대한 이해를 기초로 하여 뉴스와 드라마 두 장르에서 분석되었다. 뉴스와 드라마에서 공통적으로 경험과 기대의 상호의미작용에 의해 작동하는 시청자들의 시간의식을 어떻게 활용하는가에 따라 재미, 흥미, 새로움 등과 같은 커뮤니케이션 효과의 달성 여부가 달려 있음을 파악할 수 있었다.

  • PDF

A Study on Infra-Technology of RCP Mobility System

  • Kim, Seung-Woo;Choe, Jae-Il;Im, Chan-Young
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2004년도 ICCAS
    • /
    • pp.1435-1439
    • /
    • 2004
  • Most recently, CP(Cellular Phone) has been one of the most important technologies in the IT(Information Tech-nology) field, and it is situated in a position of great importance industrially and economically. To produce the best CP in the world, a new technological concept and its advanced implementation technique is required, due to the extreme level of competition in the world market. The RT(Robot Technology) has been developed as the next generation of a future technology. Current robots require advanced technology, such as soft computing, human-friendly interface, interaction technique, speech recognition, object recognition etc. unlike the industrial robots of the past. Therefore, this paper explains conceptual research for development of the RCP(Robotic Cellular Phone), a new technological concept, in which a synergy effect is generated by the merging of IT & RT. RCP infra consists of $RCP^{Mobility}$ $RCP^{Interaction}$, $RCP^{Integration}$ technologies. For $RCP^{Mobility}$, human-friendly motion automation and personal service with walking and arming ability are developed. $RCP^{Interaction}$ ability is achieved by modeling an emotion-generating engine and $RCP^{Integration}$ that recognizes environmental and self conditions is developed. By joining intelligent algorithms and CP communication network with the three base modules, a RCP system is constructed. Especially, the RCP mobility system is focused in this paper. $RCP^{Mobility}$ is to apply a mobility technology, which is popular robot technology, to CP and combine human-friendly motion and navigation function to CP. It develops a new technological application system of auto-charging and real-world entertainment function etc. This technology can make a CP companion pet robot. It is an automation of human-friendly motions such as opening and closing of CPs, rotation of antenna, manipulation and wheel-walking. It's target is the implementation of wheel and manipulator functions that can give service to humans with human-friendly motion. So, this paper presents the definition, the basic theory and experiment results of the RCP mobility system. We confirm a good performance of the RCP mobility system through the experiment results.

  • PDF

감성 가치 평가를 위한 시각적, 청각적 매체의 효용 (The effects of visual and auditory information as A tool of emotional value assessment)

  • 김명석;이은창
    • 조형예술학연구
    • /
    • 제1권
    • /
    • pp.95-123
    • /
    • 1999
  • The goal of this research is a visual and auditory tool development enabling designers to have the same emotional value with users in the process of user centered design. Through the research, we intend to show the aid measure for making cognitive gaps narrow between users and designer in the process of transforming and understanding the emotional needs as a verbal image. because In the business practice of design, most of tools and techniques for assessment and analysis of emotional needs are those used usually in the marketing fields. So the information generated and transformed from users to designers have a form of physical words. When the designer's understanding of the emotional needs is considered as a product mediated communication process, the morphologic and cognitive information gaps become obvious. This difference could be a false basis in designing with emotional user needs. So the alternative needs assessment sub-tools of visual and auditory information form was embodied mainly for designer's cognitive gaps and inter-cultural emotional needs assessment. As the method of embodiment, Firstly, adjectives related to emotion were classified in their cognitive dimension. Secondly, visual and auditory data were extracted, and then the relativity verified. Finally, the practicality and effectiveness were tested through the database generation. In view of the results so far achieved, 1. We could find being of the big information cognitive gaps in the verbal assessment of emotional needs between designers and users. 2. With the visual and auditory assessment tool, we could make the big cognitive gaps narrower than we expected. 3. Also, we could find the chance that the fidelity, recognition, and friendliness of design for emotional user needs would become better.

  • PDF

스펙트럼 변조를 이용한 청각정보의 촉감재현 가능성 연구 (Feasibility Study on Audio-Tactile Display via Spectral Modulation)

  • 곽현구;김희국;정주노;강대임;박연규;구민모
    • 한국정밀공학회지
    • /
    • 제28권5호
    • /
    • pp.638-647
    • /
    • 2011
  • Various approaches directly using vibrations of speakers have been suggested to effectively display the aural information such as the music to the hearing-impaired or the deaf. However, in these approaches, the human can't sense the frequency information over the maximum perceivable vibro-tactile frequency (around 1kHz). Therefore, in this study, an approach via spectral modulation of compressing the high frequency audio information into perceivable vibro-tactile frequency domain and outputting the modulated signals through the designated speakers is proposed. Then it is shown, through simulations of using Short-Time Fourier Transform (STFT) with Hanning windows and through preliminary experiments of using the vibro-tactile display testbed which is built and interfaced with a notebook PC, that the modulated signal of a natural sound composing sounds of a frog, a bird, and a water stream could produce the noise-free signal suitable enough for vibro-tactile speakers without causing Significant interfering disturbances, Lastly, for three different combinations of information provided to the subject, that is, i) with only video image, ii) with video image along with the modulated vibro-tactile stimuli as proposed in this study to the forearm of the subject, and iii) with video image along with full audio information, the effects to the human sense of reality and his emotion to given audio-video clips including various sounds and images are investigated and compared. It is shown from results of those experiments that the proposed method of providing modulated vibro-tactile stimuli along with the video images to the human has very high feasibility to transmit pseudo-aural sense to the human.

The Effects of the Attractiveness of an Internet Shopping Mall and Flow on Affective Commitment

  • Kang, Sung-Ju;Kim, Jae-Yeong;Park, Young-Kyun
    • 유통과학연구
    • /
    • 제9권4호
    • /
    • pp.29-42
    • /
    • 2011
  • With the many advantages of the internet, online shopping has become one of the fastest growing types of retail businesses. However, internet-based firms are much more firmly required to retain existing customers rather than secure new ones, and to make them revisit the site by strengthening trust and loyalty, thereby improving profits and outrivaling competitors. Commitment is an essential part of successful long-term relationships between buyers and sellers. Although commitments by both parties in an exchange can provide the foundation for the development of relational social norms, disproportionate commitments can lead to opportunism by the less committed partner. Moreover, flow, which is characterized by intense concentration and enjoyment, was found to be significantly linked with exploratory use behavior, which in turn was linked to the extent of computer use. The level of flow was, itself, determined by the individual's sense of being in control, and the level of challenge perceived in maneuvering a website. Website attractiveness goes hand in hand with the attractiveness of an internet shopping mall, and it can be conceptualized as the persuasive effectiveness of a message by the use of familiarity, favor, similarity, etc. It occurs when information receivers try to achieve self-satisfaction when they actually or emotionally identify themselves with an information source. This study investigates the relationship between the perceived system characteristics of an internet shopping mall and the loyalty of online consumers, and it examines how perceived website attractiveness and flow play mediating roles between the perceived system characteristics of an internet shopping mall and the affective commitment in the context of a clothes internet shopping mall. For these purposes, a structural model comprising several variables was developed. That model was tested with an analysis of moment structure (AMOS) using data from respondents who had purchased clothing through the internet during the past three months. In this model, the perceived system characteristics of an internet shopping mall, such as familiarity, reputation, uniqueness, positive emotions, self-efficacy, and interactivity, were proposed to affect the website's attractiveness and flow, and lead to a higher affective commitment over time. Thus, the perceived website attractiveness and flow were proposed as core mediating variables between perceived system characteristics and affective commitment. The results of a reliability test using Cronbach's Alpha, and a confirmatory factor analysis warranted using unidimensionality for the measures for each construct. In addition, the nomological validity of the measures was warranted from the results of a correlation analysis. The results of empirical analyses indicated that systematic attributes resulting in website attractiveness and user's characteristics, thereby triggering customers' flow, play a crucial role in inducing customers' affective commitment, and a user's characteristics are twice as important as systematic attributes in this study. Moreover, familiarity, reputation, and uniqueness all have a significant effect on website attractiveness, and the research showed that uniqueness took the first place, and that familiarity and reputation followed in order of magnitude. The fact that reputation was not the most important factor that affects the attractiveness of an internet shopping mall, with uniqueness or familiarity having a greater impact, suggests much deeper implications. Finally, positive emotion, self-efficacy, and interactivity all have a significant effect on customers' flow. In particular, the fact that positive emotion, compared to self-efficacy or interactivity, has much more impact on flow is very suggestive.

  • PDF

대형 비행기 조종사의 착륙 조작 시의 높이지각 (Height perception of large airplane pilots during landing flare)

  • 김용석;손영우;박수애;김칠영
    • 감성과학
    • /
    • 제10권4호
    • /
    • pp.539-554
    • /
    • 2007
  • 대형 비행기 조종사들은 지상으로부터 높은 조종실의 위치, 빠른 접근속도와 수직강하속도로 인하여 불충분한 시각정보를 바탕으로 착륙 조작을 하여야만 한다. 본 연구에서는 이러한 대형 비행기의 특징으로 인하여 비행기 착륙의 최종 조작인 당김(flare) 조작을 할 때 대형 비행기 조종사들이 정확한 높이지각을 하기 어렵다는 사실을 검증하였다. 연구 1에서는 조종석 외부로 보이는 공항에 대한 사진을 제시하고 높이 추정을 하도록 하여 정적 시각 단서만으로 정확한 높이지각이 가능한지를 살펴보았다. 85feet의 고도에서는 정확한 높이지각을 하나 당김 조작을 준비해야 하는 높이인 55feet부터 낮은 고도에서는 정확한 높이를 추정하지 못하였다. 연구 2에서는 착륙의 전 과정을 녹화한 화면을 보여주어 높이 추정을 하도록 하여 동적 시각 단서와 정적 시각 단서를 모두 제공하여 주었다. 시각단서가 연구 1보다 풍부하였으므로 50feet까지 정확한 높이지각을 하였으나 연구 1의 결과와 마찬가지로 당김 조작을 시작하는 높이인 30feet 이하의 저고도에서의 높이지각이 모두 부정확하였다. 시각 단서의 해석에 경험이 중요한 요인이므로 경험이 많은 기장과 경험이 적은 부기장 간의 높이 추정에 차이가 있는지를 연구 1과 연구 2에서 모두 비교하여 보았으나 차이는 유의하지 않았다.

  • PDF