• 제목/요약/키워드: Multimodal Data

검색결과 158건 처리시간 0.025초

멀티모달 신호처리를 위한 경량 인공지능 시스템 설계 (Design of Lightweight Artificial Intelligence System for Multimodal Signal Processing)

  • 김병수;이재학;황태호;김동순
    • 한국전자통신학회논문지
    • /
    • 제13권5호
    • /
    • pp.1037-1042
    • /
    • 2018
  • 최근 인간의 뇌를 모방하여 정보를 학습하고 처리하는 뉴로모픽 기술에 대한 연구는 꾸준히 진행되고 있다. 뉴로모픽 시스템의 하드웨어 구현은 다수의 간단한 연산절차와 고도의 병렬처리 구조로 구성이 가능하여, 처리속도, 전력소비, 저 복잡도 구현 측면에서 상당한 이점을 가진다. 또한 저 전력, 소형 임베디드 시스템에 적용 가능한 뉴로모픽 기술에 대한 연구가 급증하고 있으며, 정확도 손실 없이 저 복잡도 구현을 위해서는 입력데이터의 차원축소 기술이 필수적이다. 본 논문은 멀티모달 센서 데이터를 처리하기 위해 멀티모달 센서 시스템, 다수의 뉴론 엔진, 뉴론 엔진 컨트롤러 등으로 구성된 경량 인공지능 엔진과 특징추출기를 설계 하였으며, 이를 위한 병렬 뉴론 엔진 구조를 제안하였다. 설계한 인공지능 엔진, 특징 추출기, Micro Controller Unit(MCU)를 연동하여 제안한 경량 인공지능 엔진의 성능 검증을 진행하였다.

이미지와 PPG 데이터를 사용한 멀티모달 딥 러닝 기반의 운전자 졸음 감지 모델 (Driver Drowsiness Detection Model using Image and PPG data Based on Multimodal Deep Learning)

  • 최형탁;백문기;강재식;윤승원;이규철
    • 데이타베이스연구회지:데이타베이스연구
    • /
    • 제34권3호
    • /
    • pp.45-57
    • /
    • 2018
  • 주행 중에 발생하는 졸음은 큰 사고로 직결될 수 있는 매우 위험한 운전자 상태이다. 졸음을 방지하기 위하여 운전자의 상태를 파악하는 전통적인 졸음 감지 방법들이 존재하지만 운전자들이 가지는 개개인의 특성을 모두 반영한 일반화 된 운전자 상태 인식에는 한계가 있다. 최근에는 운전자의 상태를 인식하기 위한 딥 러닝기반의 상태인식 연구들이 제안되었다. 딥 러닝은 인간이 아닌 기계가 특징을 추출하여 보다 일반화된 인식모델을 도출할 수 있는 장점이 있다. 본 연구에서는 운전자의 상태를 파악하기 위해 이미지와 PPG를 동시에 학습하여 기존 딥 러닝 방식보다 정확한 상태 인식 모델을 제안한다. 본 논문은 운전자의 이미지와 PPG 데이터가 졸음 감지에 어떤 영향을 미치는지, 함께 사용되었을 때 학습 모델의 성능을 향상시키는지 실험을 통해 확인하였다. 이미지만을 사용했을 때 보다 이미지와 PPG를 함께 사용하였을 때 3%내외의 정확도 향상을 확인했다. 또한, 운전자의 상태를 세 가지로 분류하는 멀티모달 딥 러닝 기반의 모델을 96%의 분류 정확도를 보였다.

Multimodal Data Fusion for Alzheimers Patients Using Dempster-Shafer Theory of Evidence

  • Majumder, Dwijesh Dutta;Bhattacharya, Nahua
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 1998년도 The Third Asian Fuzzy Systems Symposium
    • /
    • pp.713-718
    • /
    • 1998
  • The paper is part of an investigation by the authors on development of a knowledge based frame work for multimodal medical image in collaboration with the All India Institute of Medical Science, new Delhi. After presenting the key aspects of the Dempster-Shafer Evidence theory we have presented implementation of registration and fusion of T₁and T₂ weighted MR images and CT images of the brain of an Alzheimer's patient for minimising the uncertainty and increasing the reliability for dianostics and therapeutic planning.

  • PDF

뇌기능 양전자방출단층촬영영상 분석 기법의 방법론적 고찰 (Methodological Review on Functional Neuroimaging Using Positron Emission Tomography)

  • 박해정
    • Nuclear Medicine and Molecular Imaging
    • /
    • 제41권2호
    • /
    • pp.71-77
    • /
    • 2007
  • Advance of neuroimaging technique has greatly influenced recent brain research field. Among various neuroimaging modalities, positron emission tomography has played a key role in molecular neuroimaging though functional MRI has taken over its role in the cognitive neuroscience. As the analysis technique for PET data is more sophisticated, the complexity of the method is more increasing. Despite the wide usage of the neuroimaging techniques, the assumption and limitation of procedures have not often been dealt with for the clinician and researchers, which might be critical for reliability and interpretation of the results. In the current paper, steps of voxel-based statistical analysis of PET including preprocessing, intensity normalization, spatial normalization, and partial volume correction will be revisited in terms of the principles and limitations. Additionally, new image analysis techniques such as surface-based PET analysis, correlational analysis and multimodal imaging by combining PET and DTI, PET and TMS or EEG will also be discussed.

MOSAICFUSION: MERGING MODALITIES WITH PARTIAL DIFFERENTIAL EQUATION AND DISCRETE COSINE TRANSFORMATION

  • GARGI TRIVEDI;RAJESH SANGHAVI
    • Journal of Applied and Pure Mathematics
    • /
    • 제5권5_6호
    • /
    • pp.389-406
    • /
    • 2023
  • In the pursuit of enhancing image fusion techniques, this research presents a novel approach for fusing multimodal images, specifically infrared (IR) and visible (VIS) images, utilizing a combination of partial differential equations (PDE) and discrete cosine transformation (DCT). The proposed method seeks to leverage the thermal and structural information provided by IR imaging and the fine-grained details offered by VIS imaging create composite images that are superior in quality and informativeness. Through a meticulous fusion process, which involves PDE-guided fusion, DCT component selection, and weighted combination, the methodology aims to strike a balance that optimally preserves essential features and minimizes artifacts. Rigorous evaluations, both objective and subjective, are conducted to validate the effectiveness of the approach. This research contributes to the ongoing advancement of multimodal image fusion, addressing applications in fields like medical imaging, surveillance, and remote sensing, where the marriage of IR and VIS data is of paramount importance.

Modelling on Multi-modal Circular Data using von Mises Mixture Distribution

  • Jang, Young-Mi;Yang, Dong-Yoon;Lee, Jin-Young;Na, Jong-Hwa
    • Communications for Statistical Applications and Methods
    • /
    • 제14권3호
    • /
    • pp.517-530
    • /
    • 2007
  • We studied a modelling process for unimodal and multimodal circular data by using von Mises and its mixture distribution. In particular we suggested EM algorithm to find ML estimates of the mixture model. Simulation results showed the suggested methods are very accurate. Applications to two kinds of real data sets are also included.

과학적 글쓰기를 활용한 논의-기반 모델링 전략의 개발 (The Development of Argument-based Modeling Strategy Using Scientific Writing)

  • 조혜숙;남정희;이동원
    • 한국과학교육학회지
    • /
    • 제34권5호
    • /
    • pp.479-490
    • /
    • 2014
  • 이 연구는 과학교육에서 의사소통을 위해 글쓰기와 논의를 활용한 논의-기반 모델링 전략의 개발을 목적으로 하였다. 논의-기반 모델링 전략은 모델링의 목적인 의사소통을 위해 자신이 만든 모델을 논의와 글쓰기를 통해 과학적 언어를 사용하여 스스로 정리하거나 표현하고, 다른 사람의 의견을 듣고 교환하는 과정을 통해 모델을 평가하고 수정하는 일련의 과정을 의미한다. 이 전략은 과학교육에서 모델링에 어려움을 느끼는 학생과 교사를 지원하기 위한 것으로 다음 네 가지 요소의 발달에 초점을 맞추었다. 첫째 여러 문제 상황을 관찰하여 문제를 연관지어 인식하는 문제인식이다. 둘째는 과학적 설명을 위해 충분한 과학개념을 구조화하여 제시하는 과학개념 구조화이며, 셋째는 주장에 대해 적절한 표상을 증거로 제시하는 주장-증거 적절성이다. 마지막은 증거제시에서 다양한 표상의 사용과 이 표상들을 전환하고 통합하는 다중표상 지수이다. 이 네 가지 요소의 발달을 위해 세 가지 stage를 구성하였다. '인지 과정'은 다중표상에 대한 이해를 위한 것이고, '해석 과정'은 다중표상 활동을 통해 증거 제시의 중요성을 인식하는 것이며, '적용 과정'은 학생들이 논의-기반 모델링을 직접 접해보는 것이다. 이 적용 과정에서는 질문 또는 문제 만들기-실험 설계 및 수행하기-관찰 통한 조사하기-자료의 분석 및 해석하기-임시 모델 설계하기-논의하기-되돌아보기-모델 평가하기-모델 수정하기의 아홉 개의 단계로 이루어진다. 논의-기반 모델링 전략은 학생들이 자신이 설계한 임시모델을 다른 사람과 공유하기 위해 증거를 바탕으로 발표하고 반박하는 논의과정을 통해 증거 제시의 필요성을 인식할 수 있다. 논의과정 후 학생들은 주장과 증거를 다중표상으로 나타내는 것에 대해 되돌아보는 과정을 거치면서 주장-증거 적절성을 높이게 된다. 또한 모델을 평가하기 위한 기준을 만들고, 이를 바탕으로 자신의 모둠이나 다른 모둠의 모델을 평가하고 그 결과를 피드백 받으면서 수정하게 된다. 이러한 일련의 과정을 거치면서 관찰한 자연세계의 현상에 대한 자신의 설명체계를 만듦으로써 과학적 지식을 형성할 수 있는 기회를 제공받을 수 있다.

논의가 강조된 일반화학실험이 대학생들의 글쓰기에서 나타난 다중 표상 및 다중 표상의 내재성에 미치는 영향 (The Impact of Argumentation-based General Chemistry Laboratory Programs on Multimodal Representation and Embeddedness in University Students' Science Writing)

  • 남정희;이동원;조혜숙
    • 한국과학교육학회지
    • /
    • 제31권6호
    • /
    • pp.931-941
    • /
    • 2011
  • 이 연구의 목적은 논의가 강조된 일반화학실험이 학생들의 글쓰기에서 나타난 다중 표상 및 다중 표상의 내재성에 미치는 영향을 알아보기 위한 것이다. 이를 위해 탐구적 과학 글쓰기 전략을 바탕으로 일반화학실험 프로그램을 개발하였고, 이 프로그램을 적용한 후, 학생들의 글쓰기에서 나타나는 다중 표상의 양식과 내재성을 비교하였다. 이 연구는 일반화학실험을 수강하는 학생들을 대상으로 화학교육과 1학년 23명을 실험집단으로, 물리교육과 1학년 16명을 비교집단으로 선정하여 총 5개의 주제를 적용하였다. 학생들이 작성한 Summary Writing에서 나타난 다중 표상의 양식과 내재성을 공변량 분석으로 비교한 결과, 양식과 내재성 모두에서 실험집단의 평균이 비교집단에 비해 통계적으로 유의미하게 높은 것으로 나타났다. 이러한 결과로부터 논의가 강조된 일반화학실험은 다중 표상 및 다중 표상의 내재성의 발달에 있어서 전통적인 실험방식에 비해 더 효과적임을 알 수 있었다. 또한 논의와 글쓰기를 지속적으로 수행하는 과정이 학생들의 과학적 개념에 대한 이해에 도움이 될 것이라 보이며, 연구 결과가 대학생을 대상으로도 효과가 있다는 것에서 프로그램의 적용 범위의 확대 측면에서 의미가 있다고 본다.

Environmental IoT-Enabled Multimodal Mashup Service for Smart Forest Fires Monitoring

  • Elmisery, Ahmed M.;Sertovic, Mirela
    • Journal of Multimedia Information System
    • /
    • 제4권4호
    • /
    • pp.163-170
    • /
    • 2017
  • Internet of things (IoT) is a new paradigm for collecting, processing and analyzing various contents in order to detect anomalies and to monitor particular patterns in a specific environment. The collected data can be used to discover new patterns and to offer new insights. IoT-enabled data mashup is a new technology to combine various types of information from multiple sources into a single web service. Mashup services create a new horizon for different applications. Environmental monitoring is a serious tool for the state and private organizations, which are located in regions with environmental hazards and seek to gain insights to detect hazards and locate them clearly. These organizations may utilize IoT - enabled data mashup service to merge different types of datasets from different IoT sensor networks in order to leverage their data analytics performance and the accuracy of the predictions. This paper presents an IoT - enabled data mashup service, where the multimedia data is collected from the various IoT platforms, then fed into an environmental cognition service which executes different image processing techniques such as noise removal, segmentation, and feature extraction, in order to detect interesting patterns in hazardous areas. The noise present in the captured images is eliminated with the help of a noise removal and background subtraction processes. Markov based approach was utilized to segment the possible regions of interest. The viable features within each region were extracted using a multiresolution wavelet transform, then fed into a discriminative classifier to extract various patterns. Experimental results have shown an accurate detection performance and adequate processing time for the proposed approach. We also provide a data mashup scenario for an IoT-enabled environmental hazard detection service and experimentation results.

다중모드 센서를 이용한 자세 및 공간인지 시스템 (Posture and Space Recognition System Using Multimodal Sensors)

  • 차주헌;김시철
    • 대한기계학회논문집A
    • /
    • 제39권6호
    • /
    • pp.603-610
    • /
    • 2015
  • 본 논문에서는 기울기 센서와 고도계 센서로 구성된 다중모드 센서를 통하여 일정 공간내의 거주자의 자세 및 행동 패턴을 수집, 분석하여 거주자의 위치를 추론함으로써, 현재 거주자가 위치한 공간을 인지하는 시스템을 제안한다. 여기에서 제안된 센서 시스템의 하드웨어 구성과 소프트웨어 알고리즘에 대하여 설명하고, 다중모드 센서를 통하여 획득한 데이터로부터 거주자의 자세 및 행동을 분석한 후에 거주자가 존재하는 공간을 추론하는 프로세스에 대하여 설명한다. 마지막으로 거주자의 자세 및 행동 분석과 공간인지 기능을 검증하기 위하여 실제 환경 실험을 통하여 본 논문에서 제안한 시스템의 효용성과 타당성을 검토한다.