• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.739-740
• /
• 2024

본 연구에서는 음성과 텍스트라는 두 가지 모달리티의 데이터를 효과적으로 결합함으로써, 감정 분류의 정확도를 향상시키는 새로운 멀티모달 모델 학습 방법을 제안한다. 이를 위해 음성 데이터로부터 HuBERT 및 MFCC(Mel-Frequency Cepstral Coefficients)기법을 통해 추출한 특징 벡터와 텍스트 데이터로부터 RoBERTa를 통해 추출한 특징 벡터를 결합하여 감정을 분류한다. 실험 결과, 제안한 멀티모달 모델은 F1-Score 92.30으로 유니모달 접근 방식에 비해 우수한 성능 향상을 보였다.

• 한국해안·해양공학회논문집
• /
• 제28권3호
• /
• pp.171-176
• /
• 2016

기온과 수온의 분포형태는 발생빈도의 양상을 결정하는 기본적이고 필수적인 정보이다. 또한 기후변화에 의한 기온과 수온의 장기변화 양상 파악에 유용하다. 기온과 수온의 전형적인 분포형태는 다수의 첨두(mode)를 가지는 형태로 일반적으로 널리 사용되는 정규분포로 표현하기에는 한계가 있다. 본 연구에서는 Gaussian 혼합함수와 Kernel 분포함수를 보다 기온과 수온의 보다 적합한 분포함수 형태로 제안한다. 제안된 분포함수를 우리나라 연안 기온과 수온자료를 이용하여 추정-평가한 결과, 관측 자료의 분포는 꼬리 영역에서 크게 차이를 보이고 있는 것으로 파악되었다. 높은 수온영역과 낮은 기온 영역에서 꼬리 영역이 길게 나타나고 있다. 또한 본 연구에서 제안한 분포함수 추정 및 비교는 기온과 수온의 상호 변동관계 및 장기적인 변동양상을 파악할 수 있다. 그러나 평균 기온 및 수온 그리고 정규분포 함수 형태로는 이러한 변화 양상의 파악은 크게 제한되고 있다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권6호
• /
• pp.418-423
• /
• 2015

기술 발전에 따른 착용형 단말의 기능들은 더 다양하고 복잡해지고 있다. 복잡한 기능 때문에 일반 사용자들도 기능을 사용하기 힘든 경우가 있다. 본 논문에서는 사용자에게 편리하고 간단한 인터페이스 방식을 제공하자는데 목적을 두고 있다. 음성 인식의 경우 사용자 입장에서 직관적이고 사용하기 편리할 뿐만 아니라 다양한 명령어를 입력할 수 있다. 하지만 음성 인식을 착용형 단말에서 사용할 경우 컴퓨팅 파워라든지 소모전력 등 하드웨어적인 제약이 있다. 또한 착용형 단말은 언제 사용자가 음성으로 명령을 내릴지 그 시점을 알 수가 없다. 따라서 명령을 입력 받기 위해서는 음성 인식이 항상 동작하여야 한다. 하지만 소모전력 문제 때문에 이와 같은 방법을 사용하기에는 무리가 있다. 음성 인식이 가지고 있는 문제점을 보완하기 위해 제스처 인식을 사용한다. 본 논문에서는 음성과 제스처를 혼합한 멀티 모달 인터페이스로 사용자에게 어떻게 편리한 인터페이스를 제공할 것인지에 대해 설명하고 있다.

• 융합정보논문지
• /
• 제7권6호
• /
• pp.113-121
• /
• 2017

IT 기술의 발달로 유해 멀티미디어가 무분별하게 유포되고 있다. 또한 선정적, 폭력적 유해 콘텐츠는 청소년에게 약 영향을 끼친다. 따라서 본 논문에서는 선정성, 폭력성이 드러나는 영상 콘텐츠 차단을 위한 다중 기법을 제안한다. 다중 기법 내에는 선정성, 폭력성을 검출하는 두 가지 모듈이 있다. 선정성 검출 모듈 내에는 성인 점수와 외설점수를 기반으로 선정성을 검출하는 모델이 있다. 폭력성 검출을 위한 모듈 내에는 RGB 영역을 이용한 피 검출 모델과 폭력적인 움직임은 방향과 크기 변화가 크다는 것에 착안한 움직임 추출 모델 두 가지가 있다. 이와 같은 총 세가지 모델의 검출 결과에 따라 해당 콘텐츠의 유해 여부를 판단한다. 본 논문의 유해 콘텐츠 차단 다중 기법은 무분별하게 유포되는 선정적, 폭력적 유해 콘텐츠를 차단한다.

• Physical Therapy Rehabilitation Science
• /
• 제7권4호
• /
• pp.197-203
• /
• 2018

Objective: Independent walking is the most essential prerequisite to maintain quality of life in older persons. The purpose of this review was to investigate the effect of fall prevention strategies on fall risk for type 2 diabetes mellitus (T2DM) within community-dwelling older adults aged 65 and over. Design: A systematic review and meta-analysis. Methods: PubMed and three other databases were searched up to October 31st, 2018 and randomized controlled trials (RCTs) evaluating fall prevention strategies for fall risk in persons who were 65 years of age or above with T2DM were included. The review extracted the following information from each study selected: first author's surname, published year, country, study population, type of intervention, intensity of intervention, comparison, measurement variables, additional therapy, summary of results, and mean and standard deviation from selected studies. Results: This review selected fourteen RCTs with 460 older adults with diabetes mellitus. Of the 14 studies, the types of intervention used to improve the risk of falls were strengthening (5), aerobic exercises (2), multimodal exercises (4), one virtual reality exercise (1), whole body vibration with balance exercise (1), and Tai Chi exercise (1). Seven RCTs were eligible for the meta-analysis. Therapeutic interventions were more effective than the control group for the Timed Up-and-Go test (-1.11; 95% CI, -1.82 to -0.41) and the 6-minute Walk Test (-1.89; 95% CI, -8.33 to 4.54). Conclusions: The results of the review suggest that interventions to prevent fall risk in older adults with T2DM should focus on strengthening, balance, aerobic, and multimodal exercises.

• 디자인융복합연구
• /
• 제16권6호
• /
• pp.137-152
• /
• 2017

본 연구는 실버세대를 위한 컴패니언 로봇의 인터랙션 경험 디자인을 위해 사용자 태스크- 로봇 기능 적합도 매핑에 기반한 로봇 유형 분석과 멀티모달 대화 인터랙션에서의 로봇 감정표현 연구를 수행하였다. 노인의 니즈 분석을 위해 노인과 자원 봉사자를 대상으로 FGI, 에스노그래피를 진행하였으며 로봇 지원 기능과 엑추에이터 매칭을 통해 로봇 기능 조합 유형에 대한 분석을 하였다. 도출된 4가지 유형의 로봇 중 표정 기반 대화형 로봇 유형으로 프로토타이핑을 하였으며 에크만의 얼굴 움직임 부호화 시스템(Facial Action Coding System: FACS)을 기반으로 6가지 기본 감정에 대한 표정을 시각화하였다. 사용자 실험에서는 로봇이 전달하는 정보의 정서코드에 맞게 로봇의 표정이 변화할 때와 로봇이 인터랙션 사이클을 자발적으로 시작할 때 사용자의 인지와 정서에 미치는 영향을 이야기 회상 검사(Story Recall Test: STR)와 표정 감정 분석 소프트웨어 Emotion API로 검증하였다. 실험 결과, 정보의 정서코드에 맞는 로봇의 표정 변화 그룹이 회상 검사에서 상대적으로 높은 기억 회상률을 보였다. 한편 피험자의 표정 분석에서는 로봇의 감정 표현과 자발적인 인터랙션 시작이 피험자들에게 정서적으로 긍정적 영향을 주고 선호되는 것을 확인하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권3호
• /
• pp.962-975
• /
• 2020

The accurate segmentation of infant brain MR image into white matter (WM), gray matter (GM), and cerebrospinal fluid (CSF) is very important for early studying of brain growing patterns and morphological changes in neurodevelopmental disorders. Because of inherent myelination and maturation process, the WM and GM of babies (between 6 and 9 months of age) exhibit similar intensity levels in both T1-weighted (T1w) and T2-weighted (T2w) MR images in the isointense phase, which makes brain tissue segmentation very difficult. We propose a deep network architecture based on U-Net, called Triple Residual Multiscale Fully Convolutional Network (TRMFCN), whose structure exists three gates of input and inserts two blocks: residual multiscale block and concatenate block. We solved some difficulties and completed the segmentation task with the model. Our model outperforms the U-Net and some cutting-edge deep networks based on U-Net in evaluation of WM, GM and CSF. The data set we used for training and testing comes from iSeg-2017 challenge (http://iseg2017.web.unc.edu).

• Journal of Information Processing Systems
• /
• 제12권1호
• /
• pp.129-148
• /
• 2016

Acute myocardial infarction (AMI) is one of the three emergency diseases that require urgent diagnosis and treatment in the golden hour. It is important to identify the status of the coronary artery in AMI due to the nature of disease. Therefore, multi-modal medical images, which can effectively show the status of the coronary artery, have been widely used to diagnose AMI. However, the legacy system has provided multi-modal medical images with flat and unstructured data. It has a lack of semantic information between multi-modal images, which are distributed and stored individually. If we can see the status of the coronary artery all at once by integrating the core information extracted from multi-modal medical images, the time for diagnosis and treatment will be reduced. In this paper, we analyze semantic relations between multi-modal medical images based on coronary anatomy for AMI. First, we selected a coronary arteriogram, coronary angiography, and echocardiography as the representative medical images for AMI and extracted semantic features from them, respectively. We then analyzed the semantic relations between them and defined the convergence data model for AMI. As a result, we show that the data model can present core information from multi-modal medical images and enable to diagnose through the united view of AMI intuitively.

• Applied Microscopy
• /
• 제46권4호
• /
• pp.184-187
• /
• 2016

Neuronal connectivity determines brain function. Therefore, understanding the full map of brain connectivity with functional annotations is one of the most desirable but challenging tasks in science. Current methods to achieve this goal are limited by the resolution of imaging tools and the field of view. Macroscale imaging tools (e.g., magnetic resonance imaging, diffusion tensor images, and positron emission tomography) are suitable for large-volume analysis, and the resolution of these methodologies is being improved by developing hardware and software systems. Microscale tools (e.g., serial electron microscopy and array tomography), on the other hand, are evolving to efficiently stack small volumes to expand the dimension of analysis. The advent of mesoscale tools (e.g., tissue clearing and single plane ilumination microscopy super-resolution imaging) has greatly contributed to filling in the gaps between macroscale and microscale data. To achieve anatomical maps with gene expression and neural connection tags as multimodal information hubs, much work on information analysis and processing is yet required. Once images are obtained, digitized, and cumulated, these large amounts of information should be analyzed with information processing tools. With this in mind, post-imaging processing with the aid of many advanced information processing tools (e.g., artificial intelligence-based image processing) is set to explode in the near future, and with that, anatomic problems will be transformed into informatics problems.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제6권4호
• /
• pp.203-210
• /
• 2017

본 논문에서는 이미지 캡션 생성과 모델 전이에 효과적인 심층 신경망 모델을 제시한다. 본 모델은 멀티 모달 순환 신경망 모델의 하나로서, 이미지로부터 시각 정보를 추출하는 컨볼루션 신경망 층, 각 단어를 저차원의 특징으로 변환하는 임베딩 층, 캡션 문장 구조를 학습하는 순환 신경망 층, 시각 정보와 언어 정보를 결합하는 멀티 모달 층 등 총 5 개의 계층들로 구성된다. 특히 본 모델에서는 시퀀스 패턴 학습과 모델 전이에 우수한 LSTM 유닛을 이용하여 순환 신경망 층을 구성하며, 캡션 문장 생성을 위한 매 순환 단계마다 이미지의 시각 정보를 이용할 수 있도록 컨볼루션 신경망 층의 출력을 순환 신경망 층의 초기 상태뿐만 아니라 멀티 모달 층의 입력에도 연결하는 구조를 가진다. Flickr8k, Flickr30k, MSCOCO 등의 공개 데이터 집합들을 이용한 다양한 비교 실험들을 통해, 캡션의 정확도와 모델 전이의 효과 면에서 본 논문에서 제시한 멀티 모달 순환 신경망 모델의 높은 성능을 확인할 수 있었다.