• Transactions on Control, Automation and Systems Engineering
• /
• 제2권4호
• /
• pp.285-297
• /
• 2000

One of the research objectives in the area of multimedia human-computer interaction is the application of artificial intelligence and robotics technologies to the development of computer interfaces. This involves utilizing many forms of media, integrating speed input, natural language, graphics, hand pointing gestures, and other methods for interactive dialogues. Although current human-computer communication methods include computer keyboards, mice, and other traditional devices, the two basic ways by which people communicate with each other are voice and gesture. This paper reports on research focusing on the development of an intelligent multimedia interface system modeled based on the manner in which people communicate. This work explores the interaction between humans and computers based only on the processing of speech(Work uttered by the person) and processing of images(hand pointing gestures). The purpose of the interface is to control a pan/tilt camera to point it to a location specified by the user through utterance of words and pointing of the hand, The systems utilizes another stationary camera to capture images of the users hand and a microphone to capture the users words. Upon processing of the images and sounds, the systems responds by pointing the camera. Initially, the interface uses hand pointing to locate the general position which user is referring to and then the interface uses voice command provided by user to fine-the location, and change the zooming of the camera, if requested. The image of the location is captured by the pan/tilt camera and sent to a color TV monitor to be displayed. This type of system has applications in tele-conferencing and other rmote operations, where the system must respond to users command, in a manner similar to how the user would communicate with another person. The advantage of this approach is the elimination of the traditional input devices that the user must utilize in order to control a pan/tillt camera, replacing them with more "natural" means of interaction. A number of experiments were performed to evaluate the interface system with respect to its accuracy, efficiency, reliability, and limitation.

• 한국멀티미디어학회논문지
• /
• 제25권8호
• /
• pp.1175-1187
• /
• 2022

3D interaction between humans and computers has been possible with the popularization of virtual reality, and it is important to study natural and efficient virtual reality user interfaces. In user interface development, it is essential to analyze and evaluate user factors. In order to analyze the influence of factors on users who use the virtual reality color picker, this paper divides the user groups based on whether they major in art or design, whether they have experience in virtual reality, and whether they have prior knowledge about 3D color space. The color selection error and color selection time of all user groups were compared and analyzed. Although there were statistically significant differences according to the user groups, all user groups used the virtual reality color picker accurately and effectively without any difficulties.

• Educational Technology International
• /
• 제18권1호
• /
• pp.49-71
• /
• 2017

The purpose of the study was to identify key design features of virtual reality with head-mounted displays (HMD) and touchless interface for the hearing-impaired and hard-of-hearing learners. The virtual reality based training program was aimed to help hearing-impaired learners in machine operating learning, which requires spatial understanding to operate. We developed an immersive virtual learning environment prototype with an HMD (Oculus Rift) and a touchless natural user interface (Leap Motion) to identify the key design features required to enhance virtual reality for the hearing-impaired and hard-of-hearing learners. Two usability tests of the prototype were conducted, which revealed that several features in the system need revision and that the technology presents an enormous potential to help hearing-impaired learners by providing realistic and immersive learning experiences. After the usability tests of hearing-impaired students' exploring the 3D virtual space, interviews were conducted, which also established that further revision of the system is needed, which would take into account the learners' physical as well as cognitive characteristics.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.348-353
• /
• 2008

인간의 자연스러운 터치 행동에서 사실적 정보를 인식하고 감정적 정보를 이해하는 터치 인터페이스 장치를 제안하고 사용자의 자연스러운 터치인식 성능을 검증하였다. 우선적으로 물리적인 터치의 종류를 구분하기 위하여 현 시스템에서 분류 가능한 터치를 분석하였고 실시간 터치 인식이 가능하도록 알고리즘을 설계하였다. 또한 앞으로 사람의 자연스러운 터치를 통해 사용자의 의도뿐 아니라 감정 상대도 이해할 수 있는 아이디어를 제안한다.

• 인터넷정보학회논문지
• /
• 제16권6호
• /
• pp.11-21
• /
• 2015

Human-Computer Interaction(HCI)에 대한 관심도가 높이지면서, HCI에 대한 연구도 활발히 진행되고 있다. 이와 더불어 사용자의 몸짓이나 음성을 이용하는 Natural User Interface/Natural User eXperience(NUI/NUX)에 대한 연구도 활발히 진행되고 있다. NUI/NUX의 경우, 제스처 인식이나 음성 인식 등의 인식 알고리즘이 필요하다. 하지만 이러한 인식 알고리즘은 전처리, 정규화, 특징 추출과 같은 단계를 거쳐야하기 때문에 구현이 복잡하고, 트레이닝에 많은 시간을 투자해야 한다는 단점이 있다. 최근에는 NUI/NUX 개발 도구로 Microsoft 사의 Kinect가 개발되어 개발자와 일반인들에게 많은 관심을 받고 있고, 이를 이용한 다양한 연구가 진행 중에 있다. 본 저자들의 이전 연구에서도 사용자의 신체적 특징을 이용하여 뛰어난 직관성을 가진 핸드 마우스를 구현하였다. 하지만 마우스의 움직임이 부자연스럽고 정확도가 낮아 사용자가 사용하기 다소 어려웠다는 단점이 있다. 본 연구에서는 Kinect를 통해 사용자의 신체적 특징을 실시간으로 추출하고, 이를 이용해 가상 모니터라는 새로운 개념을 추가한 핸드 마우스 인터페이스를 설계하고 구현하였다. 가상 모니터는 사용자의 손으로 마우스를 제어할 수 있는 가상의 공간을 의미한다. 이를 통해 가상 모니터 상의 손의 좌표를 실제 모니터 상의 좌표로 정확하게 매핑(mapping)이 가능하다. 가상 모니터를 사용함으로써 이전 연구의 장점인 직관성을 유지하고, 단점인 정확도를 높일 수 있다. 추가적으로 뇌파 집중 지표를 이용해 사용자의 불필요한 행동을 인식하여 핸드 마우스 인터페이스의 정확도를 높였다. 제안하는 핸드 마우스의 직관성과 정확성을 평가하기 위하여 10대부터 50대까지 50명에게 실험을 하였다. 직관성 실험 결과로 84%가 1분 이내에 사용방법을 터득하였다. 또한 동일한 피실험자에게 일반적인 마우스 기능(드래그, 클릭, 더블클릭)에 대해 정확성 실험을 한 결과로 드래그 80.9%, 클릭 80%, 더블 클릭 76.7%의 정확성을 보였다. 실험 결과를 통해 제안하는 핸드 마우스 인터페이스의 직관성과 정확성을 확인하였으며, 미래에 손으로 시스템이나 소프트웨어를 제어하는 인터페이스의 좋은 예시가 될 것으로 기대된다.

• 디지털콘텐츠학회 논문지
• /
• 제15권4호
• /
• pp.473-480
• /
• 2014

오늘날 컴퓨터의 사용이 대중화 되면서 키보드나 마우스와 같은 기존의 사용자 인터페이스에 비해 보다 편리하고 자연스러운 인터페이스에 대한 연구가 활발히 진행되면서, 최근 마이크로소프트의 동작 인식 모듈인 키넥트에 대한 관심이 높아지고 있다. 키넥트는 내장된 센서를 통해 신체의 주요 관절의 움직임 및 깊이 정보를 인식할 수 있으며 내장 마이크를 통해 간단한 음성인식도 가능하다. 본 논문에서는 OpenCV 라이브러리를 키넥트에 접목하여, 키넥트의 깊이 데이터, skeleton tracking, labeling 알고리즘으로 손 영역 추출 및 움직임의 정보를 인식하여 가상 마우스와 가상 키보드를 구현하고, 음성인식을 통해 기존 입력 장치의 기능을 구현하는 것을 목표로 한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.406-410
• /
• 2009

사람과 로봇간 인터페이스 연구가 활발히 진행되어감에 따라 원격으로 로봇을 조종하고 그 로봇을 통해 환경정보를 제공받는 텔레프레전스 시스템에 관심이 증가하고 있다. 로봇이 움직임 따라 자연스러운 텔레프레전스 서비스를 제공하기 위해서는 사용자 행동인식이 매우 중요하다. 이전에 제안되었던 텔레프레전스의 사용자의 이동 인식 시스템은 개발이 어려우며 많은 비용이 요구되고 사용자와 로봇간의 상호작용에 많은 한계를 보여왔다. 본논문에서는 닌텐도의 게임기 WII 의 적외선 리모콘을 이용하여 사용자의 이동 및 시선을 파악하고 그 정보를 바탕으로 원거리의 로봇(Sony 의 AIBO)을 움직여 사용자가 원하는 정보를 HMD를 통해 수신할 수 있는 시스템을 제안한다.

• 한국HCI학회논문지
• /
• 제3권1호
• /
• pp.27-32
• /
• 2008

사람과 로봇간 인터페이스 연구가 활발히 진행되어감에 따라 원격으로 로봇을 조종하고 그 로봇을 통해 환경 정보를 제공받는 텔레프레전스 시스템에 관심이 증가하고 있다. 로봇이 움직임 따라 자연스러운 텔레프레전스 서비스를 제공하기 위해서는 사용자 행동인식이 매우 중요하다. 이전에 제안되었던 텔레프레전스의 사용자의 이동 인식시스템은 개발이 어려우며 많은 비용이 요구되고 사용자와 로봇간의 상호작용에 많은 한계를 보여왔다. 본논문에서는 닌텐도의 게임기 WII의 적외선 리모콘을 이용하여 사용자의 이동 및 시선을 파악하고 그 정보를 바탕으로 원거리의 로봇(Sony의 AIBO)을 움직여 사용자가 원하는 정보를 HMD를 통해 수신할 수 있는 시스템을 제안한다.

• International Journal of Contents
• /
• 제7권1호
• /
• pp.29-36
• /
• 2011

Gestures have been employed for human computer interaction to build more natural interface in new computational environments. In this paper, we describe our approach to develop a gesture interface using spatial context information. The proposed gesture interface recognizes a system action (e.g. commands) by integrating gesture information with spatial context information within a probabilistic framework. Two ontologies of spatial contexts are introduced based on the spatial information of gestures: gesture volume and gesture target. Prototype applications are developed using a smart environment scenario that a user can interact with digital information embedded to physical objects using gestures.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제16권2호
• /
• pp.144-156
• /
• 2010

복합 웹 서비스를 이용하고자 하는 사용자의 요구가 늘어나고 있지만 유비쿼터스 환경에서 일반 사용자들이 쉽게 복합 웹 서비스를 사용할 수 있는 환경은 마련되지 않고 있다. 본 논문에서는 웹 서비스에 대한 기술적인 지식이 없는 일반인들도 쉽게 자신의 요구사항을 표현 가능한 자연어 기반의 사용자 친화적인 인터페이스를 제안한다. 특히 사용자의 표현을 효율적으로 분석하기 위해 사용자의 문장으로부터 정교한 수준의 복합적인 워크플로우를 추출하고, 문장 분석을 통해 적합한 서비스를 찾는 방법을 제안한다. 특히 많은 제어 구문과 구절로 이루어진 복잡한 문장으로부터 정교한 수준의 추상 워크플로우를 추출한다.