• 한국생산제조학회지
• /
• 제26권1호
• /
• pp.20-29
• /
• 2017

Motion synchronization between developed real and virtual robots for object recognition and target tracking is introduced. ASUS's XTION PRO Live is implemented as a sensor and configured to recognize walls and obstacles, and perceive objects. In order to create virtual reality, Unity 3D is adopted to be associated with the real robot, and the virtual object is controlled by using an input device. A Bluetooth serial communication module is used for wireless communication between the PC and the real robot. The motion information of a virtual object controlled by the user is sent to the robot. Then, the robot moves in the same way as the virtual object according to the motion information. Through motion synchronization, two scenarios, which map the real space and current object information with virtual objects and space, were demonstrated, yielding good agreement between the two spaces.

• 산업기술연구
• /
• 제19권
• /
• pp.415-421
• /
• 1999

In this paper, a 2D X-Y table, two axes of which are symmetrical, and a force sensing device are constructed, which comprise a 2D haptic interfacing apparatus. Two DC motors are used for actuating the two axes of the table and two precision encoders for sensing the position of each axis. Four PZTs are used for sensing the direction and the magnitude of the 2D force applied to the force sensing device by the user. The performance of the 2D haptic interface device is tested by 2D virtual object recognition experiments.

• 한국컴퓨터그래픽스학회논문지
• /
• 제25권3호
• /
• pp.115-122
• /
• 2019

본 연구에서는 사용자 참여를 유도하는 가상공간 스토리 북을 기획하고 구현하여 연구 실험 하였다. 구현한 스토리북은 시나리오를 진행하기 위해서 사용자가 적극적으로 시나리오상의 미션을 수행해야 시나리오가 진행이 되는 것이다. 가상공간 스토리 북의 시나리오를 진행하는 절차는 다음과 같다. 첫 번째, 프로젝션으로 가상공간을 구현한다. 두 번째, 시나리오에 맞추어 사용자는 실제 물체를 가져와 가상의 공간에 실제 물체를 삽입한다. 세 번째, 실제 물체와 대응되는 3D모델이 증강한다. 마지막으로 사용자는 증강된 이미지와 실제 물체를 자유롭게 제어함으로 가상공간에서 이루어지는 시나리오를 체험한다. 구현한 결과물은 3명의 5살 어린이들에게 유저 스터디를 진행하였다. 실험에 참여한 어린이는 가상공간 스토리북을 매우 잘 이해하는 모습을 보였으며 실제 물체를 가상의 공간에 집어넣는 과정을 이해하는 모습이 관찰되었다. 또한 어린이는 현실과 가상을 혼돈하지 않고 실제 물체와 가상 이미지를 구분하는 모습을 확인할 수 있었다. 결과적으로 가상공간 스토리 북을 통해 가상의 공간위에 실제 물체를 증강시키는, 방식을 가진 가상공간 스토리북의 가능성을 확인 할 수 있었다.

• 스마트미디어저널
• /
• 제10권4호
• /
• pp.80-90
• /
• 2021

딥러닝에 기반한 광학 음악 인식 기술(Optical Music Recognition, OMR)을 사용하여 도출된 결과를 가상현실 (Virtual Reality, VR) 게임에 적용시킨 것을 제안한다. 딥러닝 모델은 YOLO v5를 사용했으며 검출되지 않은 객체를 검출하기 위해 Hough transform 사용, 보표 크기 수정 등을 수행한다. 출력된 결과 파일을 사용하여 VR 게임에서 BPM, 최대 콤보 수, 음정과 박자를 분석하여 사용하고 리소스 관리를 위한 Object Pooling 기술을 통해 노트가 밀리는 현상을 방지한다. 광학 음악 인식 기술을 통해 나온 음악 요소로 VR 게임을 제작하여 VR 콘텐츠 제공과 함께 광학 음악 인식의 활용성을 넓히는 것을 확인하였다.

• ETRI Journal
• /
• 제35권6호
• /
• pp.1038-1047
• /
• 2013

Augmented reality (AR) is currently being applied actively to commercial products, and various types of intelligent AR systems combining both the Global Positioning System and computer-vision technologies are being developed and commercialized. This paper suggests an in-vehicle head-up display (HUD) system that is combined with AR technology. The proposed system recognizes driving-safety information and offers it to the driver. Unlike existing HUD systems, the system displays information registered to the driver's view and is developed for the robust recognition of obstacles under bad weather conditions. The system is composed of four modules: a ground obstacle detection module, an object decision module, an object recognition module, and a display module. The recognition ratio of the driving-safety information obtained by the proposed AR-HUD system is about 73%, and the system has a recognition speed of about 15 fps for both vehicles and pedestrians.

• 한국멀티미디어학회논문지
• /
• 제25권3호
• /
• pp.546-557
• /
• 2022

Recently, the demand to interpret image data with artificial intelligence in various fields is rapidly increasing. Object recognition and detection techniques using deep learning are mainly used, and video integration analysis to determine unstructured object recognition is a particularly important problem. In the case of natural disasters or social disasters, there is a limit to the object recognition structure alone because it has an unstructured shape. In this paper, we propose intelligent video integration analysis system that can recognize unstructured objects based on video turning point and object detection. We also introduce a method to apply and evaluate object recognition using virtual augmented images from 2D to 3D through GAN.

• 한국게임학회 논문지
• /
• 제17권6호
• /
• pp.113-120
• /
• 2017

최근 가상현실 기술의 발전으로 가상의 3D 객체와 자연스러운 상호작용이 가능하도록 하는 사용자 친화적인 손 제스처 인터페이스에 대한 연구가 활발히 진행되고 있다. 그러나 대부분의 연구는 단순하고 적은 종류의 손 제스처만 지원되고 있는 실정이다. 본 논문은 가상환경에서 3D 객체와 보다 직관적인 방식의 손 제스처 인터페이스 방법을 제안한다. 손 제스처 인식을 위하여 먼저 전처리 과정을 거친 다양한 손 데이터를 이진 결정트리로 1차 분류를 한다. 분류된 데이터는 리샘플링을 한 다음 체인코드를 생성하고 이에 대한 히스토그램으로 특징 데이터를 구성한다. 이를 기반으로 학습된 MCSVM을 통해 2차 분류를 수행하여 제스처를 인식한다. 본 방법의 검증을 위하여 3D 블록을 손 제스처를 통하여 조작하는 'Virtual Block'이라는 게임을 구현하여 실험한 결과 16개의 제스처에 대해 99.2%의 인식률을 보였으며 기존의 인터페이스보다 직관적이고 사용자 친화적임을 알 수 있었다.

• 한국산업정보학회논문지
• /
• 제21권1호
• /
• pp.27-34
• /
• 2016

본 논문에서는 가상 터치방식에서 다중 터치를 인식하는 방법에 대해 제안한다. 가상 터치는 물리적 터치 방법에 비교하여 간단한 깊이 카메라만을 설치하고, 객체 깊이값과 배경의 깊이값의 차이만으로 정확하게 객체를 추출하는 방법으로 저비용으로 구현할 수 있는 장점이 있다. 하지만 다중 터치를 구현함에는 정확도가 떨어지는 문제점이 있다. 본 논문에서는 다중 객체 인식을 위한 이진화, 라벨링, 객체 추적의 알고리즘을 통하여 다중 터치의 정확도를 높이는 방법을 제안한다. 모의실험을 바탕으로 다양한 다중 터치 이벤트를 제공함을 보여준다.

• 한국콘텐츠학회논문지
• /
• 제18권3호
• /
• pp.11-18
• /
• 2018

몰입 가상현실 환경에서 가상 객체들을 선택하고 조작하기 위해서는 사용자가 원하는 가상 객체를 빠르고 정확하게 선택할 수 있어야 한다. 가상현실에서 객체 선택을 위한 가장 알려진 접근 방법은 Ray-casting 방법이다. Ray-casting은 가상현실 환경에서 사용자의 손이나 시야 방향에서 직선으로 이동하는 가상의 선을 발사하고, 이 가상의 선이 발사되는 과정에서 충돌되는 가상 객체를 사용자가 선택할 수 있게 해주는 방법이다. 하지만, 가상 객체들이 겹쳐져 있는 상황에서는 사용자가 원하는 객체가 아닌 다른 객체들이 선택 될 수 있는 모호성 문제가 발생하게 된다. 이러한 방법을 해결하기 위해서 본 논문에서는 겹쳐진 가상 객체들 중 사용자가 원하는 객체를 선택하고자 하는 경우, 사용자가 겹쳐진 객체들의 그룹을 먼저 선택하게 한 후에 이 겹쳐진 객체들이 가지고 있는 기하학적인 연관관계를 계산하고 이를 사용자의 시점에서 겹쳐지지 않게 펼쳐서 시각화를 하는 Explosion-casting 방법을 제안한다. 제안한 방법의 평가를 위해서 기존의 Ray-casting 방법과 비교를 하였을 때, 겹쳐져 있는 가상 객체를 선택할 때 걸리는 속도와 정확도가 증가하는 결과를 보여주었다.

• 전자공학회논문지CI
• /
• 제39권3호
• /
• pp.62-78
• /
• 2002

본 논문에서는 인간의 행동을 컴퓨터에게 인식시켜 가상의 공간에 존재하는 에이전트(agent)들과 상호 작용이 가능한 시스템을 구현하였다. 이 시스템은 크게 행동을 인식하는 인식 시스템과 인식 정보를 통해 미리 구성한 가상 공간에 존재하는 여러 에이전트간의 상호 작용을 하는 시스템으로 구성되어있다. 인식 시스템은 동작자의 연속적인 행동을 CCD카메라로부터 입력받아 각각의 프레임에 대해 머리와 손의 특징을 추출한다. 그리고, 추출된 정보를 연속적인 시간의 흐름에 대해 해석을 한 후, 동작을 인식한다. 상호 작용 시스템을 위해 동작자의 분신인 아바타(avatar), 자율적으로 행동하는 퍼피(puppy), 그리고 비자율적인 객체인 탁자, 문, 창문, 공과 같은 이동이 가능한 오브젝트(object)들이 존재하는 가상 공간을 구현하였다. 인식된 동작은 상호 작용 시스템을 통해 가상 공간의 아바타에게 전달이 된다. 아바타의 동작 천이는 상태 천이도를 바탕으로 이루어진다. 상태 천이도는 각각의 동작이 노드로 정의되고, 그 노드들을 종속적으로 연결한 그래프로 구성된다. 아바타는 문과 창문을 여닫고, 오브젝트를 잡거나 이동할 수 있다. 또 퍼피에게 명령을 내리거나 퍼피의 동작에 대한 응답을 할 수 있다.