• Title/Summary/Keyword: Multimodal Information

Search Result 257, Processing Time 0.031 seconds

Global Search Strategy using Enhanced Bacteria Chemotaxis algorithm (개선된 Bacteria Chemotaxis 알고리즘을 이용한 전역적 탐색 기법)

  • Park Jong Won;Park J.E.;Oh K.W.
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.790-792
    • /
    • 2005
  • 함수 최적화는 주어진 자원의 한도 내에서 최대의 이익 흑은 최소의 손실을 내는 최선의 결정을 내리는 것을목표로 한다. 본 논문은 $M{\ddot{u}}ller$의 연구를 바탕으로 박테리아의 주화성을 형상화한 'Chemical Sensing Bacteria Chemotaxis'라는 알고리즘을 제안한다. 이 알고리즘은 multimodal 환경에서의 전역 탐색을 목표로 한다. 또한 실험을 통해, 제안 알고리즘의 타당성을 분석하고, 결과적으로 제안 알고리즘이 기존의 자연계 기반의 알고리즘에 비해 경쟁력이 있음을 입증하였다.

  • PDF

Multimodal Biometrics System using Wavelet Watermarking Algorithm (웨이블렛 기반 워터마킹 알고리즘을 이용한 다중생체인식 시스템)

  • Lee, Wook-Jae;Lee, Dae-Jong;Song, Chang-Kyu;Chun, Myung-Geun
    • Proceedings of the KIEE Conference
    • /
    • 2007.10a
    • /
    • pp.167-168
    • /
    • 2007
  • 본 논문에서는 얼굴, 지문 등의 생체특징을 안전하게 은닉하고 효과적으로 은닉정보를 추출할 수 있는 웨이블렛 기반 워터마킹 기법을 제안한다. 제안된 방법은 웨이블렛을 이용하여 워터마크 삽입위치를 결정하고 웨이블렛 변환된 영상과 배경영상간의 차와 삽입위치 주변의 영상에 분산값을 이용해 퍼지 함수를 이용하여 적응적 가중치 값을 결정한다. 은닉된 워터마크 데이터는 워터마크가 삽입된 영상에 웨이블렛 변환을 적용하여 효과적으로 생체특징을 추출한다. 제안된 방법의 타당성을 검증하기 위하여 워터마크 데이터인 생체특징의 은닉 전과 후의 특성분석과 워터마크 알고리즘이 생체 인식시스템에 미치는 영향을 평가하였다. 실험한 결과 제안된 방법은 효과적으로 생체정보를 은닉하고 생체인식률의 저하 없이 효과적으로 생체정보를 보호할 수 있음을 확인 할 수 있었다.

  • PDF

Classification of Behavior of UTD Data using LSTM Technique (LSTM 기법을 적용한 UTD 데이터 행동 분류)

  • Jeung, Gyeo-wun;Ahn, Ji-min;Shin, Dong-in;Won, Geon;Park, Jong-bum
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2018.10a
    • /
    • pp.477-479
    • /
    • 2018
  • This study was carried out to utilize LSTM(Long Short-Term Memory) technique which is one kind of artificial neural network. Among the 27 types of motion data released by the UTD(University of Texas at Dallas), 3-axis acceleration and angular velocity data were applied to the basic LSTM and Deep Residual Bidir-LSTM techniques to classify the behavior.

  • PDF

An Intelligent Automatic Early Detection System of Forest Fire Smoke Signatures using Gaussian Mixture Model

  • Yoon, Seok-Hwan;Min, Joonyoung
    • Journal of Information Processing Systems
    • /
    • v.9 no.4
    • /
    • pp.621-632
    • /
    • 2013
  • The most important things for a forest fire detection system are the exact extraction of the smoke from image and being able to clearly distinguish the smoke from those with similar qualities, such as clouds and fog. This research presents an intelligent forest fire detection algorithm via image processing by using the Gaussian Mixture model (GMM), which can be applied to detect smoke at the earliest time possible in a forest. GMMs are usually addressed by making the model adaptive so that its parameters can track changing illuminations and by making the model more complex so that it can represent multimodal backgrounds more accurately for smoke plume segmentation in the forest. Also, in this paper, we suggest a way to classify the smoke plumes via a feature extraction using HSL(Hue, Saturation and Lightness or Luminanace) color space analysis.

Multimodal Cough Detection Model Using Audio and Acceleration Data (소리와 가속도 데이터를 이용한 멀티모달 기침 감지 모델)

  • Kang, Jae-Sik;Back, Moon-Ki;Choi, Hyung-Tak;Won, Yoon-Seung;Lee, Kyu-Chul
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.10a
    • /
    • pp.746-748
    • /
    • 2018
  • 전 세계적으로 인플루엔자에 의해 매년 29~64만의 사망자가 발생하며 사회, 경제적 피해를 일으키고 있다. 기침에 의해 생성된 비말은 인플루엔자의 주요 전파 방법으로, 기침 감지 기술을 통해 확산 방지가 가능하다. 이전의 기침 감지에 대한 연구는 기침 소리와 전통적인 기계학습기법을 사용하였다. 본 논문은 기침 소리와 더불어 기침 시 발생하는 신체의 움직임 정보를 동시에 학습하는 멀티모달 딥러닝 기반의 기침 감지 모델을 제안한다. 도출된 모델과 기존의 모델과의 성능 비교를 통해 제안한 모델이 이전의 기침 감지 모델보다 정확한 기침 인식이 가능함을 보였다. 본 논문이 제안하는 모델은 스마트 워치와 같은 웨어러블 기기에 적용되면 인플루엔자의 확산 방지에 크게 기여할 수 있을 것이다.

Service Selection Engine for Human-care Service Robot Based on a Hierarchical Multimodal Knowledge (휴먼케어 서비스 로봇을 위한 계층적 복합 지식 기반 서비스 선택 엔진)

  • Jang, Choulsoo;Jang, Minsu;Lee, Jaeyeon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.10a
    • /
    • pp.896-899
    • /
    • 2018
  • 고령사회에 대응하기 위한 휴먼케어 서비스 로봇은 다양한 동적 환경에서 사용자에게 최적의 서비스를 제공하기 위해 서비스 선택 엔진을 요구한다. 서비스 선택 엔진은 로봇이 수집한 각종 원시 데이터를 활용하여 계층적으로 상위 수준의 정보로 가공하고 최종 단계에서는 휴먼케어 전문가가 설계한 규칙에 의해 사용자에게 제공할 서비스를 선택한다. 본 논문에서는 휴먼케어 서비스 로봇을 위해 기계학습 기반의 지식 생성과 규칙 기반의 지식 생성을 함께 활용하여 하이브리드 형태로 계층적 지식을 생성하고, 생성된 지식을 바탕으로 서비스를 선택하는 메커니즘을 제공할 수 있는 서비스를 선택 엔진 내용을 설명한다.

Multimodal biosignal measurement sensor and analysis system (멀티모달 바이오신호 측정센서 및 분석 시스템)

  • Jeong, Kwanmoon;Moon, Chanki;Nam, Yunyoung;Lee, Jinsook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.04a
    • /
    • pp.1049-1050
    • /
    • 2015
  • e-health보드를 이용하여 측정한 생체신호를 실시간으로 블루투스통신을 통한 무선통신을 함으로서 PC와 연결한다. PC에서 송신된 데이터를 텍스트로 저장한 뒤 c#으로 체온, 심전도, 근전도, 피층 전기 반응, 호흡 5가지의 결과 값을 그래프로 보여준다.

Improving Transformer with Dynamic Convolution and Shortcut for Video-Text Retrieval

  • Liu, Zhi;Cai, Jincen;Zhang, Mengmeng
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • v.16 no.7
    • /
    • pp.2407-2424
    • /
    • 2022
  • Recently, Transformer has made great progress in video retrieval tasks due to its high representation capability. For the structure of a Transformer, the cascaded self-attention modules are capable of capturing long-distance feature dependencies. However, the local feature details are likely to have deteriorated. In addition, increasing the depth of the structure is likely to produce learning bias in the learned features. In this paper, an improved Transformer structure named TransDCS (Transformer with Dynamic Convolution and Shortcut) is proposed. A Multi-head Conv-Self-Attention module is introduced to model the local dependencies and improve the efficiency of local features extraction. Meanwhile, the augmented shortcuts module based on a dual identity matrix is applied to enhance the conduction of input features, and mitigate the learning bias. The proposed model is tested on MSRVTT, LSMDC and Activity-Net benchmarks, and it surpasses all previous solutions for the video-text retrieval task. For example, on the LSMDC benchmark, a gain of about 2.3% MdR and 6.1% MnR is obtained over recently proposed multimodal-based methods.

Scene Graph Generation with Graph Neural Network and Multimodal Context (그래프 신경망과 멀티 모달 맥락 정보를 이용한 장면 그래프 생성)

  • Jung, Ga-Young;Kim, In-cheol
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.555-558
    • /
    • 2020
  • 본 논문에서는 입력 영상에 담긴 다양한 물체들과 그들 간의 관계를 효과적으로 탐지하여, 하나의 장면 그래프로 표현해내는 새로운 심층 신경망 모델을 제안한다. 제안 모델에서는 물체와 관계의 효과적인 탐지를 위해, 합성 곱 신경망 기반의 시각 맥락 특징들뿐만 아니라 언어 맥락 특징들을 포함하는 다양한 멀티 모달 맥락 정보들을 활용한다. 또한, 제안 모델에서는 관계를 맺는 두 물체 간의 상호 의존성이 그래프 노드 특징값들에 충분히 반영되도록, 그래프 신경망을 이용해 맥락 정보를 임베딩한다. 본 논문에서는 Visual Genome 벤치마크 데이터 집합을 이용한 비교 실험들을 통해, 제안 모델의 효과와 성능을 입증한다.

The Research on Emotion Recognition through Multimodal Feature Combination (멀티모달 특징 결합을 통한 감정인식 연구)

  • Sung-Sik Kim;Jin-Hwan Yang;Hyuk-Soon Choi;Jun-Heok Go;Nammee Moon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2024.05a
    • /
    • pp.739-740
    • /
    • 2024
  • 본 연구에서는 음성과 텍스트라는 두 가지 모달리티의 데이터를 효과적으로 결합함으로써, 감정 분류의 정확도를 향상시키는 새로운 멀티모달 모델 학습 방법을 제안한다. 이를 위해 음성 데이터로부터 HuBERT 및 MFCC(Mel-Frequency Cepstral Coefficients)기법을 통해 추출한 특징 벡터와 텍스트 데이터로부터 RoBERTa를 통해 추출한 특징 벡터를 결합하여 감정을 분류한다. 실험 결과, 제안한 멀티모달 모델은 F1-Score 92.30으로 유니모달 접근 방식에 비해 우수한 성능 향상을 보였다.