• Journal of Information Processing Systems
• /
• 제13권1호
• /
• pp.8-25
• /
• 2017

This survey paper explores the application of multimodal feedback in automated systems for motor learning. In this paper, we review the findings shown in recent studies in this field using rehabilitation and various motor training scenarios as context. We discuss popular feedback delivery and sensing mechanisms for motion capture and processing in terms of requirements, benefits, and limitations. The selection of modalities is presented via our having reviewed the best-practice approaches for each modality relative to motor task complexity with example implementations in recent work. We summarize the advantages and disadvantages of several approaches for integrating modalities in terms of fusion and frequency of feedback during motor tasks. Finally, we review the limitations of perceptual bandwidth and provide an evaluation of the information transfer for each modality.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 2011년도 추계학술대회
• /
• pp.68-69
• /
• 2011

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.579-586
• /
• 2006

모바일 환경에서 휴대폰을 사용하다 보면 무의식적으로 전화를 받지 못하는(Missing call) 상황이 빈번하게 일어난다. 휴대폰에서는 기본적으로 시각 청각 촉각의 다중양식 피드백(Multimodal feedback)을 제공하고 있음에도 불구하고, 이렇게 Missing call 이 발생하는 현상에는 여러 가지 다양한 원인이 존재할 것이다. 본 연구에서는 이러한 원인을 찾기 위해 모바일 환경 내 휴대폰 사용자 행동연구를 실시하여 일반적인 휴대패턴을 분석하고, Missing call과 관련하여 주로 설정하는 수신모드와 휴대패턴의 상호영향을 연구하고자 하였다. 본 연구결과, 모바일 환경에서 휴대폰 수신 탐지능력에는 인지심리학적(감각과 주의관련), 환경적, 행동학적 요인이 영향을 미칠 수 있는 것으로 나타났다. 또한 모바일 환경에서 주로 사용하는 수신모드인 진동모드 설정시, 휴대폰 사용자가 속한 환경에 다른 요인들이 복합적으로 존재할 경우 휴대폰 수신에 대한 탐지만족도가 감소함을 확인할 수 있었다.

• 한국콘텐츠학회논문지
• /
• 제10권8호
• /
• pp.1-10
• /
• 2010

가상교육 환경에 있어서 보다 효과적인 지식 전달을 위해서는 시청각적 정보에만 의존하는 기존의 학습 매체에서 탈피하여 상황에 맞는 촉각 피드백이 포함된 '실감형 교과서'의 도입이 필요하다. 그러나 저작 및 재생 환경상의 제약으로 인해 실감형 교과서를 위한 학습 콘텐츠의 확보와 활용은 아직 요원한 실정이다. 우리는 이러한 문제점에 착안하여 실감형 교과서를 위한 접근성 높은 멀티모달 학습 콘텐츠 저작 및 재생 프레임워크를 제안하였다. 본 프레임워크는 직관적인 콘텐츠 저작을 위한 스크립트 포맷과 이를 재생하기 위한 콘텐츠 재생부로 구성되어 있다. 스크립트 규격 정의 단계에서는 학습 콘텐츠에 요구되는 요소들을 규명하고 이를 반영한 XML 기반의 메타언어를 정의하였다. 그리고 콘텐츠 재생부는 작성된 콘텐츠를 해석하고 사용자로부터의 입력에 대응하여 시각 및 촉각 렌더링 루프를 통해 사용자에게 멀티모달피드백을 제공하도록 설계되었다. 이렇게 제안된 내용을 바탕으로 프로토타입을 구현하고 사용자 평가를 수행하여 본 프레임워크의 효용성을 검증하는 한편 앞으로의 개선 방향에 대해 논의하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 2부
• /
• pp.118-123
• /
• 2007

본 논문에서는 증강현실 기반 제품 디자인 시, 논문 [1]에서 제안된 몰입감 향상 기법들에 대한 사용성 평가를 통해, 사용자에게 다차원 피드백(multimodal feedback)을 제공하는 것이 몰입감 향상에 어떠한 영향을 미치는가에 대해 알아본다. 우선 기존의 데스크톱 기반의 디자인 환경과 다차원 피드백을 가능하게 하는 증강현실 기반 디자인 환경과의 비교 후, 시각 피드백에 대한 사용성 평가로써 증강된 가상객체에 의해 가려진 손을 다시 보이게 함으로 얻게 되는 실재감 향상 정도와 사용자의 입력에 따른 컨텐츠의 시각적 맵핑의 적절성을 평가한다. 또한 청각 피드백에 대한 평가 기준으로써 시나리오 상의 상황에 따른 배경음/효과음 맵핑의 몰입감과 적절성을 평가한다. 마지막으로 촉각 피드백에 대한 평가로써, 물리적인 감각형 객체에 가상객체를 정합함으로써 얻게 되는 촉감과 시나리오 상의 이벤트에 따라 제시되는 진동-촉각 피드백에 의한 몰입감 향상 정도를 평가한다. 제시된 사용성 평가의 결과는 기존의 증강현실 기반 디자인 시스템의 몰입감을 향상 시키기 위한 구현에 있어, 고려될 수 있는 사항으로써 의미가 있다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제9권4호
• /
• pp.420-430
• /
• 2003

본 논문에서는 멀티모달(multi-modal) 인터페이스를 통해 지능적 가상검객과 체감형 검도게임을 할 수 있는 시스템을 제안한다. 제안된 검도게임 시스템은 멀티모달 인터페이스(시각과 청각), 인공지능(AI), 피드백(스크린과 사운드) 등 크게 세 가지 모듈로 구성된다. 첫 번째로, 멀티모달 인터페이스는 시각기반, 3차원 인터페이스를 이용하여 사용자가 자유롭게 3차원 공간에서 움직일 수 있도록 하고, 음성기반 인터페이스를 이용하여 사용자가 현실감 있는 검도게임을 즐길 수 있도록 한다. 두 번째, 인공지능은 가상검객에게 멀티모달 인터페이스에서 입력되는 시각과 음성을 인식하여 가상검객의 반응을 유도한다. 마지막으로, 대형 스크린과 스피커를 통한 시청각 피드백은 체감형 상호작용을 통하여 사용자가 몰입감을 느끼며 검도게임을 경험할 수 있도록 한다. 따라서 제안된 시스템은 전신의 움직임으로 사용자에게 몰입감의 검도게임을 제공한다. 제안된 시스템은 오락 외에 교육, 운동, 예술행위 등 다양한 분야에 적용될 수 있다.

• 한국콘텐츠학회논문지
• /
• 제18권8호
• /
• pp.92-101
• /
• 2018

대화형 AI 스피커가 보편화되면서 음성인식은 자율주행 상황에서의 중요한 차량-운전자 인터랙션 방식으로 인식되고 있다. 이 연구의 목적은 반자율주행 상황에서 음성뿐만 아니라 AI 캐릭터의 시각적 피드백을 함께 전달하는 멀티모달 인터랙션이 음성 단일 모드 인터랙션보다 사용자 경험 최적화에 효과적인지를 확인하는 것이다. 실험 참가자에게 주행 중 AI 스피커와 캐릭터를 통해 음악 선곡과 조정을 위한 인터랙션 태스크를 수행하게 하고, 정보 및 시스템 품질, 실재감, 지각된 유용성과 용이성, 그리고 지속 사용 의도를 측정하였다. 평균차이 분석 결과, 대부분의 사용자 경험 요인에서 시각적 캐릭터의 멀티모달 효과는 나타나지 않았으며, 지속사용 의도에서도 효과는 나타나지 않았다. 오히려, 정보품질 요인에서 음성 단일 모드가 멀티모달보다 효과적인 것으로 나타났다. 운전자의 인지적 노력이 필요한 반자율주행 단계에서는 멀티모달 인터랙션이 단일 모드 인터랙션에 비해 사용자 경험 최적화에 효과적이지 않았다.

• 정보통신설비학회논문지
• /
• 제10권4호
• /
• pp.143-147
• /
• 2011

The system using augmented reality can save the time and cost. It is verified in various fields under the possibility of a technology by solving unrealistic feeling in the virtual space. Therefore, augmented reality has a variety of the potential to be used. Generally, multimodal senses such as visual/auditory/tactile feed back are well known as a method for enhancing the immersion in case of interaction with virtual object. By adapting tangible object we can provide touch sensation to users. a 3D model of the same scale overlays the whole area of the tangible object; thus, the marker area is invisible. This contributes to enhancing immersive and natural images to users. Finally, multimodal feedback also creates better immersion. In this paper, sound feedback is considered. By further improving immersion learning augmented reality for children with the initial step learning content is presented. Augmented reality is in the intermediate stages between future world and real world as well as its adaptability is estimated more than virtual reality.

• 한국실천공학교육학회논문지
• /
• 제5권1호
• /
• pp.40-44
• /
• 2013

본 연구에서는 학습자가 가상공간 내에서 교육 컨텐츠를 자연스럽게 조작할 수 있는 멀티모달 인터페이스 제어모듈을 제시한다. 제안하는 모듈은 사용자가 가상공간과 인터랙션을 할 때 사용자의 모션을 인식하고 인식된 정보를 무선통신을 통하여 가상공간으로 전달한다. 제안하는 입력장치는 햅틱 액츄에이터를 탑재하고 있어 교육 컨텐츠와 사용자의 인터랙션에 따른 햅틱 감각을 생성하여 사용자가 교육용 컨텐츠들을 쉽게 조작할 수 있게 해 준다.

• 대한물리의학회지
• /
• 제16권4호
• /
• pp.125-137
• /
• 2021

PURPOSE: The growing number of people exposed to a static sitting posture has resulted in an increase in people with a poor posture out of the optimally aligned posture because of the low awareness of a correct sitting posture. Learning the correct sitting posture by applying sensory feedback is essential because a poor posture has negative consequences for the spine. Therefore, this study examined the effects of the sensory feedback types on learning correct sitting posture. METHODS: Thirty-six healthy adult males were assigned to a visual feedback group, a tactile feedback group, and a visuotactile feedback group to learn the correct sitting posture by applying sensory feedback. The spine angle, muscle activity, and muscle thickness were measured in the sitting position using retro-reflexive markers, electromyography, and ultrasound immediately after, five minutes, and 10 minutes after intervention. RESULTS: The intervention time was significantly shorter in the visuotactile feedback group than the visual feedback group (p < .05). Compared to the pre-intervention, the repositioning error angles of the thoracic and lumbar vertebrae of all groups were reduced significantly immediately after intervention and after five minutes. After 10 minutes, there was a significant difference in the thoracic and lumbar repositioning error angles of the tactile feedback group and the visuotactile feedback group (p < .05). No significant difference was noted at any time compared to the pre-intervention in all groups (p > .05). CONCLUSION: The use of tactile and visuotactile feedback in intervention to correct the sitting posture is proposed.