• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 춘계학술발표대회
• /
• pp.702-703
• /
• 2019

본 논문에서는 임의의 2차원 프로젝션 맵핑 공간을 인터랙티브 공간으로 구축할 수 있도록 하는 인터랙티브 프로젝션 맵핑 프레임워크를 제안하고, 제안 프레임워크를 활용한 "애니마블" 게임 구현 사례를 소개한다. 제안 프레임워크는 프로그래밍 스킬이 전혀 없는 창작자들이 물체 감지 기술을 이용하여 인터랙티브 미디어 콘텐츠를 쉽게 제작할 수 있도록 하기 위하여 설계 구현되었다. 콘텐츠 창작자는 인터랙션이 발생될 위치를 카메라 영상상에서 지정하고, 미리 지정된 파일 디렉토리에 정해진 룰에 따라 이름 지어진 미디어 콘텐츠 파일들을 가져다 놓는 것만으로 인터랙티브 프로젝션 맵핑 콘텐츠를 완성할 수 있다. 제안 프레임워크를 이용한 "애니마블" 게임은 아날로그적 보드게임과 미디어 콘텐츠를 결합한 아동용 인터랙티브 미디어 보드게임으로 구현되었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제9권3호
• /
• pp.109-122
• /
• 2020

최근 실감 미디어 콘텐츠에서 높은 관심을 모으고 있는 프로젝션 맵핑은 사용자의 몰입감을 높이는 기술로 손꼽히고 있다. 최근 관객의 참여를 유도하기 위하여 제스처 인식 기술과 결합된 프로젝션 맵핑 콘텐츠들이 선보이고 있다. 그러나 대부분의 기존 방법들은 정적인 물체를 대상으로 프로젝션 맵핑을 수행하고 있다. 이에 본 논문에서는 사용자의 움직임을 추적하여 사용자의 신체상에 미디어 콘텐츠를 동적으로 프로젝션 맵핑시키는 기술을 개발하였다. 프로젝션 되는 미디어 콘텐츠는 미리 정의된 사용자의 제스처를 인식하여 사용자가 맨손으로 제작할 수 있도록 하였다. 이러한 동적 프로젝션 맵핑 기술과 제스처 기반 드로잉 기술을 통합하여 인터랙티브한 실감미디어 시스템을 구현하였다. 제안된 실감 미디어 시스템에서는 사용자의 양손의 움직임과 개폐 상태를 인식하여 그림을 그리는데 필요한 기능을 선택하고, 임의의 물체 색상을 붓의 색으로 설정하는 등의 기능을 통해 자유롭게 그림을 그릴 수 있게 해준다. 또한 사용자가 그린 그림을 사용자의 몸에 동적으로 투사해 사용자가 실시간으로 자신의 티셔츠를 디자인하고 이를 착용해 보는 효과를 가질 수 있도록 하였다.

• 예술인문사회 융합 멀티미디어 논문지
• /
• 제7권6호
• /
• pp.897-906
• /
• 2017

프로젝션 맵핑(공간증강현실)은 현실세계에서 다양한 가상의 환영(幻影)을 만들어내는 것으로 최근에 많은 분야에 사용되고 있다. 기존의 프로젝션 맵핑에서는 사용자와의 자연스러운 상호작용으로서 접히거나 구부러지는 것 과 같은 유연한 물체의 기하학적인 변형 속성(예: 용지)의 움직임을 고려하지 않았다. 또한, 정적 물체에 대한 프로젝션 맵핑에 대한 많은 연구가 있었지만, 유연한 타깃의 움직임을 추적하고 사용자와의 상호작용 측면에서 모양이 변형된 물체에 맵핑을 정확히 하는 다이내믹 프로젝션 맵핑은 여전히 도전해야할 연구 분야이다. 따라서 본 논문에서는 Unity3D와 ARToolkit을 이용한 실험을 통해 단단하지 않은 물체에 대한 견실한 추적과 정확한 맵핑 방법을 제안한다. 제안하는 방법은 큐빅 베지어 곡면 형성, 움직임 변형 값 렌더링 과정, 멀티플 마커 인식과 트래킹 과정, 실시간 웹캠 지속 촬영의 4가지 실험 단계로 구성된다. 사용자는 물체에 변형을 주기 위해 직접 접고, 휘고, 구부리고 비틀 수 있다. 제안 방법은 세 가지 긍정적인 결과를 도출할 수 있다. 첫째, 물체의 형태가 강하게 변형되어 있어도 감지 가능하다. 둘째, 사용자가 직접 물체에 변형을 주는 과정에서 물체의 일부분을 차단하고 있을 때의 Occlusion오류를 줄일 수 있어 정확한 트래킹을 할 수 있다. 셋째, 제안 방법의 견실하고 정확함은 빠른 속도로 물체의 움직임을 감지하게 하므로 실시간으로 결과 값을 물체에 투영할 수 있다.

• 문화기술의 융합
• /
• 제5권1호
• /
• pp.243-248
• /
• 2019

디지털 미디어 기술이 지속적으로 발전하면서 새로운 기술을 활용한 미디어 아트의 창출이 거듭되고 있다. 그 중 인터랙티브 미디어는 관객을 작품 안에 참여시킴으로써 비로소 완성된다는 점에서 관객에게 새로운 경험과 흥미를 제공한다. 이러한 특성을 마케팅 전략으로 활용하면서 매출 증가와 기업의 긍정적 이미지 제고를 유도하는 사례들이 증가하고 있다. 영화 산업의 마케팅의 요소로써 인터랙티브 미디어가 활용 될 수 있는 방안을 모색하고 전략적인 마케팅 요소로 사용될 수 있는 인터랙티브 미디어 콘텐츠의 프로토타입을 제안한다. 이로써 관객들에게 지속적이고 새로운 몰입감을 제공하는 인터랙티브 미디어의 발전 방향을 제시하고, 영화 마케팅뿐만 아니라 산업의 전반적인 효과적인 활용에 대한 후속 연구를 제안한다.

• 방송공학회논문지
• /
• 제25권4호
• /
• pp.545-559
• /
• 2020

본 논문에서는 사용자의 제스처에 따라 반응하는 인터랙티브 미디어 콘텐츠를 프로그래밍 경험이 없는 사용자가 쉽게 제작할 수 있도록 하는 콘텐츠 제작 프레임워크를 제안한다. 제안 프레임워크에서 사용자는 사용하는 제스처와 이에 반응하는 미디어의 효과를 번호로 정의하고, 텍스트 기반의 구성 파일에서 이를 연결한다. 제안 프레임워크에서는 사용자의 제스처에 따라 반응하는 인터랙티브 미디어 콘텐츠를 사용자의 위치를 추적하여 프로젝션 시키기 위하여 동적 프로젝션 맵핑 모듈과 연결하였다. 또한, 제스처 인식을 위한 처리 속도와 메모리 부담을 줄이기 위하여 사용자의 움직임을 그레이 스케일(gray scale)의 모션 히스토리 이미지(Motion history image)로 표현하고, 이를 입력 데이터로 사용하는 제스처 인식을 위한 합성곱 신경망(Convolutional Neural Network) 모델을 설계하였다. 5가지 제스처를 인식하는 실험을 통하여 합성곱 신경망 모델의 계층수와 하이퍼파라미터를 결정하고 이를 제안 프레임워크에 적용하였다. 제스처 인식 실험에서 97.96%의 인식률과 12.04 FPS의 처리속도를 획득하였고, 3가지 파티클 효과와 연결한 실험에서 사용자의 움직임에 따라 의도하는 적절한 미디어 효과가 실시간으로 보임을 확인하였다.