• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.686-689
• /
• 2018

3D 손 포즈 추정(Hand Pose Estimation, HPE)은 스마트 인간 컴퓨터 인터페이스를 위해서 중요한 기술이다. 이 연구에서는 딥러닝 방법을 기반으로 하여 단일 RGB-Depth 카메라로 촬영한 양손의 3D 손 자세를 실시간으로 인식하는 손 포즈 추정 시스템을 제시한다. 손 포즈 추정 시스템은 4단계로 구성된다. 첫째, Skin Detection 및 Depth cutting 알고리즘을 사용하여 양손을 RGB와 깊이 영상에서 감지하고 추출한다. 둘째, Convolutional Neural Network(CNN) Classifier는 오른손과 왼손을 구별하는데 사용된다. CNN Classifier 는 3개의 convolution layer와 2개의 Fully-Connected Layer로 구성되어 있으며, 추출된 깊이 영상을 입력으로 사용한다. 셋째, 학습된 CNN regressor는 추출된 왼쪽 및 오른쪽 손의 깊이 영상에서 손 관절을 추정하기 위해 다수의 Convolutional Layers, Pooling Layers, Fully Connected Layers로 구성된다. CNN classifier와 regressor는 22,000개 깊이 영상 데이터셋으로 학습된다. 마지막으로, 각 손의 3D 손 자세는 추정된 손 관절 정보로부터 재구성된다. 테스트 결과, CNN classifier는 오른쪽 손과 왼쪽 손을 96.9%의 정확도로 구별할 수 있으며, CNN regressor는 형균 8.48mm의 오차 범위로 3D 손 관절 정보를 추정할 수 있다. 본 연구에서 제안하는 손 포즈 추정 시스템은 가상 현실(virtual reality, VR), 증강 현실(Augmented Reality, AR) 및 융합 현실 (Mixed Reality, MR) 응용 프로그램을 포함한 다양한 응용 분야에서 사용할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.1137-1140
• /
• 2019

가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR) 분야에 유용한 인간 컴퓨터 인터페이스 기술은 필수적이다. 특히 휴먼 손동작 인식 기술은 직관적인 상호작용을 가능하게 하여, 다양한 분야에서 편리한 컨트롤러로 사용할 수 있다. 본 연구에서는 뎁스 영상 기반의 1 인칭 시점 손동작 인식을 위하여 손동작 데이터베이스 생성 시스템을 구축하여, 손동작 인식기 학습에 필요한 1 인칭(Egocentric View Point) 데이터베이스를 촬영하여 제작한다. 그리고 모바일 Head Mounted Device(HMD) VR 을 위한 뎁스 영상 기반 1 인칭 시점 손동작 인식(Hand Pose Recognition, HPR) 딥러닝 Deep Residual Network 를 구현한다. 최종적으로, 안드로이드 모바일 디바이스에 학습된 Residual Network Regressor 를 이식하고 모바일 VR 에 실시간 손동작 인식 시스템을 구동하여, 모바일 VR 상 실시간 3D 손동작 인식을 가상 물체와의 상호작용을 통하여 확인 한다.

• 한국시뮬레이션학회논문지
• /
• 제31권2호
• /
• pp.21-32
• /
• 2022

해군은 대한민국의 해양안보를 책임지기 위해서 항공모함 확보를 추진하고 있다. 항모가 주어진 임무를 완수하기 위해서는 운용요원들이 항모를 완벽하게 운용할 수 있어야 하며, 이를 위한 항모 운용요원들의 완벽한 항모 운용술은 끊임없는 훈련에서 비롯된다. 이에 본고에서는 함정에서도 항상 최고의 훈련을 시행할 수 있도록 함정 탑재형 훈련체계(OBTS)를 제안한다. 항모를 위한 OBTS는 함정에 최적으로 적용되고 운용요원들에게 최고의 교육훈련 환경을 제공하는 것이 가능하도록 합성훈련환경(STE) 기반의 철저한 시뮬레이터 형태로 구축되어야 한다. 그리고 항모의 다양한 훈련소요와 시행 조건을 만족시킬 수 있도록, 내장 훈련체계(ETS), VR 훈련체계, AR 정비체계, MR 훈련체계, MR Metaverse 훈련체계, 실감 시뮬레이터(Realistic Simulator) 훈련체계로 구성하는 방안을 제안한다.

• 한국융합학회논문지
• /
• 제6권3호
• /
• pp.103-109
• /
• 2015

기존 이러닝 시스템의 실감형 교육 및 교육적 체감문제를 해결하기 위하여 투명 디스플레이 기반 디바이스에 증강현실 기술을 적용한 실감형 에듀테인먼트 시스템이 연구되었다. 그러나 투명디스플레이를 이용한 에듀테인먼트 시스템의 경우 다중 마커 배열 및 회전 마커 배열의 미검출에 대한 문제점과 투명디스플레이를 투영한 현실 공간과 가상 객체간의 조명환경 차로 인한 부조화 현상에 대한 문제점과 다양한 디바이스를 통해 서비스를 제공받지 못하는 문제점을 가지고 있다. 따라서 본 논문에서는 회전 마커 검출이 가능한 향상된 마커 검출 기법을 통해 다수의 마커 배열과 회전 마커 배열을 인식하고 중첩 블록 레이어를 통해 현실 공간과 가상공간의 조명 환경을 통일하여 현실감 있는 융합형 에듀테인먼트 콘텐츠를 제공하는 시스템을 설계하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.557-560
• /
• 2020

최근, 광소자에서 공간 변조되는 wavefront profile 특성을 광소자의 표면 단차 변화 없이 단일 두께 박막 상에서 자유로이 구현할 수 있는 기하위상 홀로그램 (geometric phase hologram) 기반의 optical component에 대한 관심이 증대되고 있다. 특히 이를 이용해 제작된 기하위상 렌즈 (geometric phase lens)는 dynamic phase의 공간적 차이에 의해 구현되던 기존 bulk optics 기반의 lens 대비 초박형으로 제작이 가능한 파장 선택적 flat optics 기술로써, 다초점 및 경량화를 요구하는 차세대 디스플레이 기술 (augmented reality 또는 AR, mixed reality 또는 MR) 및 광파변조 및 제어를 요구하는 홀로그래픽 카메라 분야에 대한 응용처로 많은 주목을 받고 있다. 이에 본 논문에서는 해당 기하 위상렌즈에 대한 원리 및 이에 따른 개발이슈 및 해결법에 대해 연구 하였으며, 이에 대한 응용처로 기하위상 렌즈의 편광에 따른 이중초점특성을 이용해, 기존 단일 초점 형성이 가능한 AR기기 대비, 다초점 형성이 가능한 switchable dual-depth 3D AR device를 compact한 모듈과 함께 구현하였다. 또한, 기하위상렌즈의 광파 변조 및 분리특성을 이용한 기하위상 렌즈기반의 자가간섭 홀로그래픽 시스템(GP-self-interference incoherent digital holographic, GP-SIDH)에 편광 이미지센서 적용과 함께 맞춤형 설계/제작된 기하 위상렌즈를 적용함으로써, 기존 GP-SIDH 시스템대비 안정적으로 실시간 복소 홀로그램 획득이 가능한 실시간 공간영상정보 획득용 GP-SIDH을 동영상 프레임으로 구현하였다.

• 디지털콘텐츠학회 논문지
• /
• 제19권2호
• /
• pp.309-318
• /
• 2018

본 연구에서는 실감콘텐츠(VR AR MR)를 활용한 공연장 마케팅 방안을 제안하였다. 공연장은 관객이 직접 체감할 수 있는 공간이며, 공연장 마케팅 방안은 다음과 같다. 첫째, 공연장 좌석의 배치를 활용한 마케팅전략이다. 이는 가상현실(VR)을 통해 관객에게 원하는 관람석에서 공연이 어떤 각도와 시야로 관람되는지에 대한 예상이 가능하며 몰입감이 높은 좌석을 예매하도록 유도한다. 둘째, 혼합현실(MR)을 통해 공연 홍보 및 광고물을 활용한 콘텐츠 마케팅이다. 기존의 정적인 홍보수단에 비해 공연예술의 현장감을 살린 동적 홍보가 가능하다. 셋째, 등장 캐릭터를 활용한 마케팅전략이다. 공연은 1회성 예술이다. 이를 보완하도록 등장캐릭터가 공연의 한 장면을 증강현실(AR)콘텐츠로 사전에 제공하여 공연에 대한 흥미를 유발하도록 한다. 넷째, VR 소셜 네트워크를 구축하여 고객과 직접 소통하는 방법이다. 이를 통해 공연장 활성화를 위한 관객 유치에 도움이 되고자 한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제24권4호
• /
• pp.11-20
• /
• 2018

최근 센서와 가상공간의 융합 어플리케이션 개발이 증가함에 따라 실제 공간에서의 물리적 센서를 3 차원 가상공간에서 표현하고 직접 제어, 관리할 수 있는 방법에 대한 요구도 증가하고 있다. 본 연구에서는 물리적 센서와 가상공간의 디지털 객체가 공존하며 시각화를 생성하는 가상세계와 현실세계를 혼합한 증강 현실을 이용하여, 3D 가상공간에서의 물리적 센서 장치를 표현하는 기법을 정의한다. 이것은 이기종 컴퓨팅 환경에서 증강 혼합현실 응용프로그램에서의 데이터 공유와 상호 교환을 통하여 네트워크상의 다양한 물리 센서들을 관리 제어하는 것을 목적으로 한다. 현실 세계에 존재하는 수많은 센서들을 구분하기 위하여 대표적인 센서 타입을 분류하고 센서별 기능을 3D 가상공간에 표현하기 위한 센서 장면 그래프를 정의하고 데이터 모델을 정의하였다. 이를 기반으로 3D 가상공간에서 센서 장치들의 기능을 시뮬레이션 할 수 있는 물리적 센서 뷰어를 개발하였다.