• Journal of Computing Science and Engineering
• /
• 제7권2호
• /
• pp.132-138
• /
• 2013

Multi-modal techniques have received increasing interest in the neuroscientific and brain computer interface (BCI) communities in recent times. Two aspects of multi-modal imaging for BCI will be reviewed. First, the use of recordings of multiple subjects to help find subject-independent BCI classifiers is considered. Then, multi-modal neuroimaging methods involving combined electroencephalogram and near-infrared spectroscopy measurements are discussed, which can help achieve enhanced and robust BCI performance.

• International Journal of Internet, Broadcasting and Communication
• /
• 제16권1호
• /
• pp.80-85
• /
• 2024

The concept of single-modal digital art originated in the 20th century and has evolved through three key stages. Over time, digital art has transformed into multi-modal interaction, representing a new era in art forms. Based on multi-modal theory, this paper aims to explore the characteristics of interactive digital art in innovative art forms and its impact on user experience. Through an analysis of practical application of multi-modal interactive digital art, this study summarises the impact of creative models of digital art on the physical and mental aspects of user experience. In creating audio-visual-based art, multi-modal digital art should seamlessly incorporate sensory elements and leverage computer image processing technology. Focusing on user perception, emotional expression, and cultural communication, it strives to establish an immersive environment with user experience at its core. Future research, particularly with emerging technologies like Artificial Intelligence(AR) and Virtual Reality(VR), should not merely prioritize technology but aim for meaningful interaction. Through multi-modal interaction, digital art is poised to continually innovate, offering new possibilities and expanding the realm of interactive digital art.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권2호
• /
• pp.104-109
• /
• 2017

본고에서는 다중 웨어러블 센서 데이터로부터 사용자의 일상 생활 행동 패턴을 분석할 수 있는 새로운 기계학습 모델을 제안한다. 제안하는 모델은 다중 웨어러블 센서 데이터를 효과적으로 학습하기 위하여 사람이 다중 센서 정보를 처리하는 방법을 적용한 새로운 신경망 모델이다. 제안하는 Gated multi-modal neural netoworks는 계층적 신경망 구조를 가지고 있으며 Gate 모듈을 통해 각 센서 데이터를 선택적으로 결합하여 처리하는 특징을 가진다. 실험을 위해 다중 웨어러블 장치를 착용하고 일상 생활 중 한 가지인 레스토랑에서의 행동 센서 데이터를 수집하였다. 실험 결과로서, 제시하는 모델을 이용하여 실제 웨어러블 센서 데이터를 분석하였을 때 분류 정확도가 비교적 정확하고 빠르게 처리할 수 있음을 확인하였다. 또한 모델의 중간 계층에서의 노드의 활성화 패턴 분석을 통해 자동으로 일상생활 패턴을 추출할 수 있고 이를 이용하여 지식 스키마를 생성할 수 있음을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제13권6호
• /
• pp.924-932
• /
• 2010

This paper proposes a multi-modal complex motion authoring tool for creating robot contents. The proposed tool is user-friendly and allows general users without much knowledge about robots, including children, women and the elderly, to easily edit and modify robot contents. Furthermore, the tool uses multi-modal data including graphic motion, voice and music to simulate user-created robot contents in the 3D virtual environment. This allows the user to not only view the authoring process in real time but also transmit the final authored contents to control the robot. The validity of the proposed tool was examined based on simulations using the authored multi-modal complex motion robot contents as well as experiments of actual robot motions.

• Journal of Information Processing Systems
• /
• 제12권1호
• /
• pp.129-148
• /
• 2016

Acute myocardial infarction (AMI) is one of the three emergency diseases that require urgent diagnosis and treatment in the golden hour. It is important to identify the status of the coronary artery in AMI due to the nature of disease. Therefore, multi-modal medical images, which can effectively show the status of the coronary artery, have been widely used to diagnose AMI. However, the legacy system has provided multi-modal medical images with flat and unstructured data. It has a lack of semantic information between multi-modal images, which are distributed and stored individually. If we can see the status of the coronary artery all at once by integrating the core information extracted from multi-modal medical images, the time for diagnosis and treatment will be reduced. In this paper, we analyze semantic relations between multi-modal medical images based on coronary anatomy for AMI. First, we selected a coronary arteriogram, coronary angiography, and echocardiography as the representative medical images for AMI and extracted semantic features from them, respectively. We then analyzed the semantic relations between them and defined the convergence data model for AMI. As a result, we show that the data model can present core information from multi-modal medical images and enable to diagnose through the united view of AMI intuitively.

• 인터넷정보학회논문지
• /
• 제6권1호
• /
• pp.95-103
• /
• 2005

최근 단일 정보기기 시스템에서 다양한 채널을 동시에 접근할 수 있도록 하는 멀티-모달 시스템에 관한 연구가 많이 진행되고 있다. 이와 같은 멀티-모달 시스템은 정보 제공 및 e-비즈니스 어플리케이션에 유비쿼터스적인 접근이 가능하게 하며 HCI(Human-computer Interaction)의 실현 가능성을 높일 수 있다. 향후 더욱 발달되고 안정화 된 멀티-모달 브라우징 시스템을 구현할 수 있다면 사용자는 hands-free, eyes-fee의 환경에서 정보기기와의 상호작용을 최대화할 수 있을 것이다. 본 연구에서는 표준 입출력 모드(키보드, 마우스, 디스플레이)를 지원하는 웹 브라우저와 음성인식 및 음성합성을 지원하는 보이스 브라우저를 통합하는 멀티-모달 브라우징 시스템의 구조를 제시하였고, 이러한 시스템의 예로 영영 사전 검색 어플리케이션을 구현하였다.

• 대한인간공학회지
• /
• 제33권3호
• /
• pp.241-253
• /
• 2014

Objective: The objective of this study was to examine multi-modal interaction effects of input-mode switching on the use of smart phones. Background: Multi-modal is considered as an efficient alternative for input and output of information in mobile environments. However, there are various limitations in current mobile UI (User Interface) system that overlooks the transition between different modes or the usability of a combination of multi modal uses. Method: A pre-survey determined five representative tasks from smart phone tasks by their functions. The first experiment involved the use of a uni-mode for five single tasks; the second experiment involved the use of a multi-mode for three dual tasks. The dependent variables were user preference and task completion time. The independent variable in the first experiment was the type of modes (i.e., Touch, Pen, or Voice) while the variable in the second experiment was the type of tasks (i.e., internet searching, subway map, memo, gallery, and application store). Results: In the first experiment, there was no difference between the uses of pen and touch devices. However, a specific mode type was preferred depending on the functional characteristics of the tasks. In the second experiment, analysis of results showed that user preference depended on the order and combination of modes. Even with the transition of modes, users preferred the use of multi-modes including voice. Conclusion: The order of combination of modes may affect the usability of multi-modes. Therefore, when designing a multi-modal system, the fact that there are frequent transitions between various mobile contents in different modes should be properly considered. Application: It may be utilized as a user-centered design guideline for mobile multi modal UI system.

• 한국가스학회지
• /
• 제1권1호
• /
• pp.33-40
• /
• 1997

다극 및 다목적함수 최적화 문제를 해결하기 위해서 유전 알고리듬을 이용한 일반적인 최적화 도구인 APROGA II가 개발되었다. 우선 다극 최적화를 위해서는 다중선택집합탐색 알고리듬을 이용하였다. 두 번째로 다목적함수의 최적화를 위해서는 파레토 우성 토너먼트와 공유개념을 이용한 선택방법과 선택집합을 이용한 연속적인 세대교체법을 이용하여 새로운 알고리듬을 제안하였다. 이들 알고리듬을 이용하여 3개의 탐색엔진(APROGA 탐색엔진, 다극 탐색엔진 그리고 다목적함수 탐색엔진)을 가지고, 이진 및 이산 변수를 다룰 수 있는 APROGA II 시스템이 개발되었다. 그리고 여러 가지 검토함수들과 사례연구들을 적용시켜서 다극 탐색엔진의 성공적인 적용성을 확인하였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2005년도 제36회 하계학술대회 논문집 B
• /
• pp.1026-1028
• /
• 2005

본 논문에서는 PSO(Particle Swarm Optimization)에 기초하여 multi-modal 최적화를 위한 다중 그룹 Particle Swarm 최적화 알고리즘(MGPSO)을 제안하였다. 제안된 알고리즘은 PSO의 기본 특성을 유지하기 때문에 기존의 혼합형 타입의 최적화 방식에 비하여 빠른 수렴 시간을 가지며 구성방식이 간단하다. 여러 개의 피크를 가지는 테스트 함수를 통해 본 논문에서 제시한 알고리즘의 타당성을 입증하였으며, 영구자석 매입형 전동기의 최적 설계에 적용하여 그 유용성을 확인하였다.

• 대한교통학회지
• /
• 제26권1호
• /
• pp.127-135
• /
• 2008

교통망에서 출발지와 도착지를 연결하는 최적경로탐색(Optimum Shortest Path)의 기준은 통행시간, 통행비용, 통행요금, 통행거리 등 복수의 기준에서 단일기준(Single Attribute Objective)을 선정하여 선정된 기준에 대하여 최소화되는 경로를 탐색하는 것을 의미하며 최적경로 탐색기법으로 탐색이 가능하다. 다목적 경로탐색(Multi-Objective Shortest Paths)에서는 이들 복수의 기준 (Multi-Objective)을 고려하여 경로를 탐색한다. 최근까지 다목적경로탐색에 대한 연구는 대부분 단일의 교통수단만으로 구성된 교통망에 대한 가정을 기반으로 이루어졌으며, 다수의 교통수단이 혼재된 교통망(Multi-Modal Transportation Network)에서 다목적경로탐색에 대한 연구는 환승에 대한 문제를 최적해법 차원에서 고려하지 않았으며, 교통정보 분야에서 일반적으로 적용되는 동적계획법(Dynamic Programming)에 기반한 알고리즘에 대한 연구는 다수단교통망에서 다목적경로탐색 문제에서 검토되지 않았다. 본 연구는 다수단교통망에서 다목적경로탐색 문제에서 최적 해를 도출하기 위한 동적계획법 알고리즘을 제안한다. 제안된 알고리즘은 Skriver & Andersen (2000)이 제시한 2기준 노드표지갱신 알고리즘을 기반으로 네트워크의 확장없이 수단 간의 환승이 반영되도록 2기준 이상의 다기준 링크표지갱신 알고리즘으로 개발하는 방안으로 확대한다. 본 연구는 다기준 링크표지가 다수단 교통망에 적용했다는 점 이외에, 출발지에서 모든 링크까지 비지배경로를 탐색하는 과정이 효율적으로 이루어지도록 출발지에서 개별 링크까지의 비지배경로/트리(Path/Tree) 집합을 표지처럼 활용하였다. 다수단교통망에서 다목적경로탐색문제에 적합한 도시부의 대중교통망에 한정하여 경로탐색속성을 환승과 링크주행속성으로 구분하였다. 본 연구에서 제안된 알고리즘의 계산과정을 소규모 복합대중교통망을 통해 검증하였다.