• 제목/요약/키워드: 멀티모달 정보분석

검색결과 43건 처리시간 0.024초

멀티모달 감정 인식 AI 기술을 이용한 우울증 예방 플랫폼 구축 (Development of a Depression Prevention Platform using Multi-modal Emotion Recognition AI Technology)

  • 장현빈;조의현;권수연;임선민;조세린;나정은
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.916-917
    • /
    • 2023
  • 본 연구는 사용자의 음성 패턴 분석과 텍스트 분류를 중심으로 이루어지는 한국어 감정 인식 작업을 개선하기 위해 Macaron Net 텍스트 모델의 결과와 MFCC 음성 모델의 결과 가중치 합을 분류하여 최종 감정을 판단하는 기존 82.9%였던 정확도를 텍스트 모델 기준 87.0%, Multi-Modal 모델 기준 88.0%로 개선한 모델을 제안한다. 해당 모델을 우울증 예방 플랫폼의 핵심 모델에 탑재하여 covid-19 팬데믹 이후 사회의 문제점으로 부상한 우울증 문제 해소에 기여 하고자 한다.

멀티 모달 분석을 통한 야구 동영상에서의 실시간 중요 이벤트 검출 알고리즘 (Rapid Detection of Important Events in Baseball Video Using multi-Modal Analysis)

  • 이진호;김형국
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2009년도 추계학술대회
    • /
    • pp.133-136
    • /
    • 2009
  • 본 논문에서는 야구 동영상에서 실시간으로 중요 이벤트 장면을 검출하는 알고리즘을 제안한다. 제안하는 알고리즘은 영상정보를 분석하여 Pitching 신과 Close Up 신을 추출하여 Play 구간을 검출하고, 오디오 정보를 분석하여 오디오 이벤트 구간을 검출한다. Play 구간의시작인 Pitching 신을 검출하기 위해서는 오프라인 모델과 온라인 모델을 혼용하여 다양한 환경에 상관없이 높은 성능을 보일 수 있도록 하였으며, 아나운서의 억양 및 관중의 함성의 고조도가 높아지는 구간을 기반으로 검출된 오디오 이벤트 구간을 영상 정보 분석을 통해 획득된 Play 장면구간을 결합하여 중요 이벤트 장면 검출의 정확도를 높일 수 있도록 하였다. 실험에 의하면 제안하는 알고리즘은 1초의 동영상 데이터를 처리하는데 0.024초의 소요 시간이 필요하고, 0.89의 Recall과 0.975의 Precision 검출 성능을 보임을 알 수 있었다.

  • PDF

디지털 멀티모달 스토리텔링: 학습자 인식에 대한 이해 (Digital Multimodal Storytelling: Understanding Learner Perceptions)

  • 정선주
    • 융합정보논문지
    • /
    • 제11권3호
    • /
    • pp.174-184
    • /
    • 2021
  • 본 연구는 다중양식의 대학 전공수업에의 적용 가능 여부와, 학생들의 다중양식 과업에 대한 인식을 살펴보는 것을 목적으로 한다. 이 연구를 위해 28명의 영어를 전공하는 학생들이 전공수업의 일환으로 디지털 스토리텔링 과제를 수행하였다. 디지털 스토리텔링에 대한 학생들의 인식을 조사한 설문지와 성찰지를 분석해 본 결과, 디지털 스토리텔링 과제가 학생들의 적극적 참여와 동기부여를 제공한다는 사실을 알게 되었다. 그러나 다른 한편으로, 디지털 스토리텔링 과제는 학생들에게 더 많은 정신적 노력을 요구하고 더 많은 긴장을 초래한다는 사실도 알게 되었다. 디지털 스토리텔링은 학생들로 하여금 다양한 기술을 공부하게 하고 학습 과정 중에 다중양식 측면을 적용할 수 있도록 지원함으로써, 학생들의 적극적 참여를 유도하고 유의미하고 재미있는 결과를 가져오는 자기주도 학습을 유도할 수 있다.

신경교종 등급 분류를 위한 심층신경망 기반 멀티모달 MRI 영상 분석 모델 (Multimodal MRI analysis model based on deep neural network for glioma grading classification)

  • 김종훈;박현진
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.425-427
    • /
    • 2022
  • 신경교종의 등급은 생존과 관련된 중요한 정보로 종양 진행을 평가하고 치료 계획을 세우기 위해 치료 전 신경교종의 등급을 분류하는 것이 중요하다. 신경교종 등급의 분류는 주로 고등급 신경교종과 저등급 신경교종으로 나누는 방식을 주로 사용한다. 본 연구에서는 심층신경망 모델을 활용하여 촬영된 MRI 영상을 분석하기 위해 이미지 전처리 기법을 적용하고 심층신경망 모델의 분류 성능을 평가한다. 가장 높은 성능의 EfficientNet-B6 모델은 5-fold 교차 검증에서 정확도 0.9046, 민감도 0.9570, 특이도 0.7976, AUC 0.8702, F1-Score 0.8152의 결과값을 보여준다.

  • PDF

감정 온톨로지의 구축을 위한 구성요소 분석 (Component Analysis for Constructing an Emotion Ontology)

  • 윤애선;권혁철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2009년도 제21회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.19-24
    • /
    • 2009
  • 의사소통에서 대화자 간 감정의 이해는 메시지의 내용만큼이나 중요하다. 비언어적 요소에 의해 감정에 관한 더 많은 정보가 전달되고 있기는 하지만, 텍스트에도 화자의 감정을 나타내는 언어적 표지가 다양하고 풍부하게 녹아 들어 있다. 본 연구의 목적은 인간언어공학에 활용할 수 있는 감정 온톨로지를 설계하는 데 있다. 텍스트 기반 감정 처리 분야의 선행 연구가 감정을 분류하고, 각 감정의 서술적 어휘 목록을 작성하고, 이를 텍스트에서 검색함으로써, 추출된 감정의 정확도가 높지 않았다. 이에 비해, 본 연구에서 제안하는 감정 온톨로지는 다음과 같은 장점을 갖는다. 첫째, 감정 표현의 범주를 기술 대상(언어적 vs. 비언어적)과 방식(표현적, 서술적, 도상적)으로 분류하고, 이질적 특성을 갖는 6개 범주 간 상호 대응관계를 설정함으로써, 멀티모달 환경에 적용할 수 있다. 둘째, 세분화된 감정을 분류할 수 있되, 감정 간 차별성을 가질 수 있도록 24개의 감정 명세를 선별하고, 더 섬세하게 감정을 분류할 수 있는 속성으로 강도와 극성을 설정하였다. 셋째, 텍스트에 나타난 감정 표현을 명시적으로 구분할 수 있도록, 경험자 기술 대상과 방식 언어적 자질에 관한 속성을 도입하였다. 이때 본 연구에서 제안하는 감정 온톨로지가 한국어 처리에 국한되지 않고, 다국어 처리에 활용할 수 있도록 확장성을 고려했다.

  • PDF

텍스트 마이닝을 활용한 공공기관 서비스 로봇에 대한 사용자 리뷰 분석 : 안내로봇 사례를 중심으로 (Text Mining Analysis of Customer Reviews on Public Service Robots: With a focus on the Guide Robot Cases)

  • 신효림;최준호;오창훈
    • 문화기술의 융합
    • /
    • 제9권1호
    • /
    • pp.787-797
    • /
    • 2023
  • 공공기관에서 서비스 로봇, 특히 안내로봇의 사용이 보편화 되며 다양한 곳에서 사람들을 만나고 있다. 그러나 4년이 넘는 시간 동안 사용자가 안내로봇을 만나왔지만, 아직까지 사용자와 안내로봇의 상호작용에 대한 탐구가 부족한 실정이다. 이에 이 연구는 안내로봇에 대한 사용자 경험을 탐구하고자, 가장 오랜 기간 동안 사용자를 만난 안내로봇인 '큐아이'를 연구 대상으로 선정하여 서비스를 시작한 시점부터 작성된 모든 리뷰를 수집하였다, TF-IDF로 주요 키워드를 확인하고 토픽 모델링을 통해 사용자 경험 요인을 도출하였으며 감성 분석을 통해 사용자 경험 저해 요인을 살펴보았다. 분석 결과, 안내로봇의 기능, 외형, 상호작용 방식, 그리고 안내로봇의 문화해설사 역할과 도우미 역할이 핵심 사용자 경험 요인으로 나타났다. 부정적 리뷰를 통해 확인한 저해 요인은 이를 개선할 수 있도록 인터랙션 설계와 멀티모달 인터페이스를 활용한 서비스 디자인, 문화해설사로서의 콘텐츠 개발 등 향후 방향성을 제안하였다. 이 연구는 안내로봇의 사용자 경험을 분석하고 개선방안을 제시한 것에 의의가 있다.

감정 온톨로지의 구축을 위한 구성요소 분석 (Component Analysis for Constructing an Emotion Ontology)

  • 윤애선;권혁철
    • 인지과학
    • /
    • 제21권1호
    • /
    • pp.157-175
    • /
    • 2010
  • 의사소통에서 대화자 간 감정의 이해는 메시지의 내용만큼이나 중요하다. 비언어적 요소에 의해 감정에 관한 더 많은 정보가 전달되고 있기는 하지만, 텍스트에도 화자의 감정을 나타내는 언어적 표지가 다양하고 풍부하게 녹아들어 있다. 본 연구의 목적은 인간언어공학에 활용할 수 있는 감정 온톨로지를 구축할 수 있도록 그 구성요소를 분석하는 데 있다. 텍스트 기반 감정 처리 분야의 선행 연구가 감정을 분류하고, 각 감정의 서술적 어휘 목록을 작성하고, 이를 텍스트에서 검색함으로써, 추출된 감정의 정확도가 높지 않았다. 이에 비해, 본 연구에서 제안하는 감정 온톨로지는 다음과 같은 장점이 있다. 첫째, 감정 표현의 범주를 기술 대상과 방식에 따라 6개 범주로 분류하고, 이들 간 상호 대응관계를 설정함으로써, 멀티모달 환경에 적용할 수 있다. 둘째, 세분화된 감정을 분류할 수 있되, 감정 간 차별성을 가질 수 있도록 24개의 감정 명세를 선별하고, 더 섬세하게 감정을 분류할 수 있는 속성으로 강도와 극성을 설정하였다. 셋째, 텍스트에 나타난 감정 표현을 명시적으로 구분할 수 있도록, 경험자 기술 대상과 방식 언어적 자질에 관한 속성을 도입하였다. 넷째, 본 연구의 감정분류는 Plutchik의 분류와 호환성을 갖고 있으며, 언어적 요소의 기술에서 국제표준의 태그세트를 수용함으로써, 다국어 처리에 활용을 극대화할 수 있도록 고려했다.

  • PDF

탑-뷰 변환과 빔-레이 모델을 이용한 영상기반 보행 안내 시스템 (Vision-based Walking Guidance System Using Top-view Transform and Beam-ray Model)

  • 림청;한영준;한헌수
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권12호
    • /
    • pp.93-102
    • /
    • 2011
  • 본 논문은 야외 환경에서 하나의 카메라를 이용한 시각 장애인을 위한 보행 안내 시스템을 제안한다. 기존의 스테레오 비전을 이용한 보행 지원 시스템과는 다르게 제안된 시스템은 사용자의 허리에 고정된 하나의 카메라를 이용하여 꼭 필요한 정보만을 얻는 것을 목표로 하는 시스템이다. 제안하는 시스템은 먼저 탑-뷰 영상을 생성하고, 생성된 탑-뷰 영상 내 지역적인 코너 극점을 검출한다. 검출된 극점에서 방사형의 히스토그램을 분석하여 장애물을 검출한다. 그리고 사용자 움직임은 사용자에 가까운 지역 안에서 옵티컬 플로우를 사용하여 추정한다. 이렇게 영상으로부터 추출된 정보들을 기반으로 음성 메시지 생성 모듈은 보행 지시 정보를 합성된 음성을 통해 시각 장애인에게 전달한다. 다양한실험 영상들을 사용하여 제안한 보행 안내 시스템이 일반 인도에서 유용한 안내 지시를 제공하는 것이 가능함을 보인다.

Deep Learning-Based Companion Animal Abnormal Behavior Detection Service Using Image and Sensor Data

  • Lee, JI-Hoon;Shin, Min-Chan;Park, Jun-Hee;Moon, Nam-Mee
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권10호
    • /
    • pp.1-9
    • /
    • 2022
  • 본 논문에서는 영상 데이터와 센서 데이터를 활용한 딥러닝 기반의 반려동물 이상행동 탐지 서비스를 제안한다. 최근 반려동물 보유 가구의 증가로 인해 기존 푸드 및 의료 중심의 반려동물 시장에서 인공지능을 더한 펫테크(Pet Tech) 산업이 성장하고 있다. 본 연구에서는 인공지능을 통한 반려동물의 건강관리를 위해 영상 및 센서 데이터를 활용한 딥러닝 모델을 기반으로 반려동물의 행동을 분류하고, 이상행동을 탐지하였다. 자택의 CCTV와 직접 제작한 펫 웨어러블 디바이스를 활용하여 반려동물의 영상 데이터 및 센서 데이터를 수집하고, 모델의 입력 데이터로 활용한다. 행동의 분류를 위해 본 연구에서는 반려동물의 객체를 검출하기 위한 YOLO(You Only Look Once) 모델과 관절 좌표를 추출하기 위한 DeepLabCut을 결합하여 영상 데이터를 처리하였고, 센서 데이터를 처리하기 위해 각 센서 별 연관관계 및 특징을 파악할 수 있는 GAT(Graph Attention Network)를 활용하였다.

Text Augmentation Using Hierarchy-based Word Replacement

  • Kim, Museong;Kim, Namgyu
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권1호
    • /
    • pp.57-67
    • /
    • 2021
  • 최근 딥 러닝(Deep Learning) 분석에 이질적인 데이터를 함께 사용하는 멀티모달(Multi-modal) 딥러닝 기술이 많이 활용되고 있으며, 특히 텍스트로부터 자동으로 이미지를 생성해내는 Text to Image 합성에 관한 연구가 활발하게 수행되고 있다. 이미지 합성을 위한 딥러닝 학습은 방대한 양의 이미지와 이미지를 설명하는 텍스트의 쌍으로 구성된 데이터를 필요로 하므로, 소량의 데이터로부터 다량의 데이터를 생성하기 위한 데이터 증강 기법이 고안되어 왔다. 텍스트 데이터 증강의 경우 유의어 대체에 기반을 둔 기법들이 다수 사용되고 있지만, 이들 기법은 명사 단어의 유의어 대체 시 이미지의 내용과 상이한 텍스트를 생성할 가능성이 있다는 한계를 갖는다. 따라서 본 연구에서는 단어가 갖는 품사별 특징을 활용하는 텍스트 데이터 증강 방안, 즉 일부 품사에 대해 단어 계층 정보를 활용하여 단어를 대체하는 방안을 제시하였다. 또한 제안 방법론의 성능을 평가하기 위해 MSCOCO 데이터를 사용하여 실험을 수행하여 결과를 제시하였다.