• 한국멀티미디어학회논문지
• /
• 제9권4호
• /
• pp.421-433
• /
• 2006

본 논문에서는 비디오에서 비보정 3차원 좌표의 복원과 카메라의 움직임 추정을 통하여 가상 객체를 비디오에 자연스럽게 합성하는 방법을 제안한다. 비디오의 장면에 부합되도록 가상 객체를 삽입하기 위해서는 장면의 상대적인 구조를 얻어야 하고 비디오 프레임의 흐름에 따른 카메라 움직임의 변화도 추정해야 한다. 먼저 특장점을 추적하고 비보정 절차를 수행하여 카메라 파라메터와 3차원 구조를 복원한다. 각 프레임에서 카메라 파라메터들을 고정시켜 촬영하고 이들 카메라 파라메터는 일정 프레임 동안 불변으로 가정하였다. 제안된 방법으로 세 프레임 이상에서 작은 수의 특징점 만으로도 올바른 3차원 구조를 얻을 수 있었다. 가상객체의 삽입 위치는 초기 프레임에서 특정 면의 모서리점의 대응점을 지정하여 결정한다. 가상 객체의 투사 영역을 계산하고 이 영역에 이음새가 없도록 텍스처를 혼합하여 가상객체와 비디오의 부자연스러운 합성 문제를 해결하였다. 제안 방법은 비보정 절차를 선형으로만 구현하여 기존의 방법에 비해서 안정성과 수행속도의 면에서 우수하다. 실제 비디오 스트림에 대한 다양한 실험을 수행한 결과 여러 증강현실 응용 시스템에 유용하게 사용될 수 있음을 입증하였다.

• 인터넷정보학회논문지
• /
• 제4권1호
• /
• pp.27-37
• /
• 2003

본 논문에서는 가상공간과 데이터베이스 처리를 필요로 하는 웹 서비스 생성 시스템 개발을 기술한다. 본 시스템의 주요 특성은 가상공간의 변화와, 가상공간내 객체들의 속성을 포함하는 데이터베이스 내용이 상호 연동되며, 일반사용자가 가상공간상의 각 객체의 속성을 직접 변화시킬 수 있도록 VRML 노드 정보를 시각화해서 객체 정보를 화면상에서 직접 수정할 수 있는 인터페이스를 제공하는 점이다. VRML 파일의 노드들은 트리(Tree)구조로 시각화되었으며 이 인터페이스를 통해 가상공간상의 각 객체에 접근할 수 있도록 구성하였다. 변화된 속성은 데이터베이스에 자동 기록되며, 이에 따라 가상공간을 사용하는 웹 서비스의 내용을 자동 변동시키는 구조로 되어있다. 또한, 일반 사진을 이용하여 텍스춰매핑을 실행시킬 때 각 장면 구성을 위해 사진 3장을 이용한 가중치 적용 보간 방법을 정의한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2004년도 춘계학술발표대회
• /
• pp.819-822
• /
• 2004

본 논문에서는 가상환경에서의 바둑 게임을 위하여 CyberGlove와 트랙킹 장비를 이용한 사용자 인터페이스를 구축하고 이의 사용성을 평가하였다. 먼저 바둑 게임을 위한 3차원 객체들을 생성한 후, WorldTookit을 이용하여 가상환경을 구축하였다. 그리고 트래킹 리시버가 부착된 CyberGlove를 끼고 바둑함으로부터 "바둑알 집기"와 바둑판 위의 화점에 "바둑알 두기"를 통해 가상환경에 익숙치 않은 사용자들을 대상으로 인터페이스의 사용성을 평가하였다. 실험 결과 현실 세계와 같이 손과 손가락을 움직여 바둑을 두는데 매우 흥미로와 했고, 사용자의 2가지 뷰에 따라 실험한 결과 직교 top 뷰에서의 정확도가 대각 원근 뷰 보다 높게 나타났다. 또한 주변 화점에 바둑알을 둘때의 정확도가 현저히 저하됨을 알 수 있었다. 장기간 사용시 불편함 호소 등 해결해야할 문제가 있음에도 불구하고 가상현실 인터페이스는 보다 몰입적이고 현실감 있는 게임을 위해 필요한 요소임을 확인할 수 있었다.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2009년도 춘계 종합학술대회 논문집
• /
• pp.765-769
• /
• 2009

기존의 증강현실은 객체와 배경과의 원활한 상호작용을 위하여 데이터 글러브나 마커 등을 이용하였다. 이는 사용에 불편함과 몰입감 저하의 결과를 발생한다. 증강현실에서 몰입감을 강화하기 위해서는 부가적인 입력장치의 제거가 필요하다. 이를 위해 마커가 부착되지 않은 상태에서도 정확한 공간좌표의 인식을 필요로 한다. 본 논문에서는 증강현실에서의 몰입감 향상을 위해 부가적인 입력장치의 착용없이 상호 작용을 하기 위한 가상의 공간좌표 생성 기법을 제안한다. 제안된 방법은 획득한 영상을 2차원 공간상에 투영하고 특징선을 추출하여 투영된 가상공간좌표를 계산하여 가상의 객체를 투영하였다. 이는 Markerless 증강과 모바일 증강 등에 응용이 가능하다.

• 디지털융복합연구
• /
• 제10권8호
• /
• pp.239-247
• /
• 2012

본 논문은 시점 벡터 추정과 명도 차분 맵에 기반하여 직물 텍스쳐 매핑을 수행하는 객체 VR 기반 가상 직물 착용 시스템에 관한 것이다. 제안된 시스템은 객체 VR 용도의 다시점 2D 의류 모델 영상들에서 의류 형상 영역을 분할하여 사용자가 선택한 새로운 직물 패턴을 가상적으로 착용시킨 후, 이러한 가상 착용 상태를 다시점에서 입체적으로 관측할 수 있도록 한 것이 특징이다. 제안된 시스템은 모델 의류의 컬러나 명도에 관계없이 선택된 의류 형상 영역의 특성을 유지하면서 직물 패턴을 가상적으로 변경시킬 수 있다. 또한 각기 다른 스타일 혹은 전체적인 차림새를 위한 다양한 직물 패턴 조합을 신속하고 용이하게 시뮬레이션하고 비교 선택할 수 있다. 제안된 시스템은 다양한 디지털 환경에서 실시간 처리가 가능하고 비교적 자연스럽고 입체적인 가상 착용 스타일을 제공할 뿐만 아니라 수작업을 줄인 반자동화 처리가 가능하기 때문에 높은 실용성과 편리한 사용자 인터페이스를 제공할 수 있다.

• 스마트미디어저널
• /
• 제10권4호
• /
• pp.80-90
• /
• 2021

딥러닝에 기반한 광학 음악 인식 기술(Optical Music Recognition, OMR)을 사용하여 도출된 결과를 가상현실 (Virtual Reality, VR) 게임에 적용시킨 것을 제안한다. 딥러닝 모델은 YOLO v5를 사용했으며 검출되지 않은 객체를 검출하기 위해 Hough transform 사용, 보표 크기 수정 등을 수행한다. 출력된 결과 파일을 사용하여 VR 게임에서 BPM, 최대 콤보 수, 음정과 박자를 분석하여 사용하고 리소스 관리를 위한 Object Pooling 기술을 통해 노트가 밀리는 현상을 방지한다. 광학 음악 인식 기술을 통해 나온 음악 요소로 VR 게임을 제작하여 VR 콘텐츠 제공과 함께 광학 음악 인식의 활용성을 넓히는 것을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.737-739
• /
• 2023

몰입형 가상현실 시스템은 더 나은 3차원 시각정보를 제공할 수 있어, 의료계에서 해부학에 대한 이해를 높이는 데 사용되고 있다. 우리는 몰입형 가상현실에서 다중 사용자가 함께 MRI 영상으로부터 생성된 볼륨 렌더링 된 객체를 관찰하고 수술을 계획할 수 있는 시스템을 개발하여 소개하고자 한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제30권1호
• /
• pp.1-10
• /
• 2024

본 연구는 혼합현실과 가상현실을 포함하는 몰입형 가상환경에서 OpenAI의 ChatGPT를 활용한 가상 보조 에이전트의 인터페이스 응용에 관한 새로운 방법을 제안한다. 제안하는 응용 방법은 사용자의 질의에 응답하는 정보 에이전트와 사용자의 요구에 맞춰 가상 객체, 환경 등을 제어하는 제어 에이전트로 구성된다. 이를 위해, Unity 3D 엔진, OpenAI, 그리고 가상현실과 혼합현실 사용자 참여를 위한 패키지 및 개발 도구를 통합하는 개발환경을 설정한다. 그리고 음성 입력으로부터 질문 쿼리에서 답변 쿼리, 또는 제어 요구 쿼리에서 제어 스크립트로 생성으로 연결되는 작업 흐름을 설정한다. 이를 기반으로 혼합현실, 가상현실 체험 환경을 직접 제작하고 에이전트의 성능 확인을 위한 실험을 정보 에이전트의 반응 시간, 제어 에이전트의 정확도로 나누어 진행하였다. 결과적으로 제안하는 인터페이스 응용을 통해 사용자 친화적이고 단순하고 반복적인 작업에서의 효율을 높이는데 유용할 수 있음을 확인하였다. 우리는 새롭게 제안하는 인터페이스를 통해 몰입형 가상환경에서 인터페이스로의 응용에 관한 새로운 방향성을 제시하고 발견된 문제점과 현재까지의 한계점을 분명히 밝힌다.

• 사물인터넷융복합논문지
• /
• 제7권1호
• /
• pp.21-25
• /
• 2021

증강현실 시스템이 엔터테인먼트, 쇼핑, 교육 및 훈련 등의 영역에서 널리 사용되고 있으며, 증강현실 기술의 점차 중요성이 커지고 있다. 증강현실 기술을 교육이나 훈련에 사용할 때 동일한 마커에 대해서도 작업 단계에 따라 다른 가상 객체를 표현할 수 있어야 한다. 또한 훈련 내용은 상황에 따라 달라지기 때문에 훈련 시나리오를 이용해서 기술할 필요가 있다. 이러한 문제를 해결하기 위해서 훈련 내용을 시나리오를 기반으로 작성할 수 있으며, 이를 증강현실 시스템과 연계할 수 있는 증강현실 시스템을 위한 시나리오 마크업 언어를 제안한다. 증강현실을 위한 시나리오 마크업 언어는 장면, 마커와 가상 객체를 연결하는 방법, 장비의 상태 혹은 센서 값을 파악하기 위한 방법, 조건에 따른 장면 이동 방법 등의 기능을 제공한다. 증강현실 시나리오 마크업 언어는 유연하게 증강현실 시스템의 사용 방법과 콘텐츠 사용의 유용성과 확장성을 높일 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.147-150
• /
• 2021

최근 컴퓨터 그래픽 기술이 발전함에 따라 가상으로 만들어낸 객체와 현실 객체 사이의 분간이 어려워지고 있으며, AR/VR/XR 등의 서비스를 위해 현실 객체를 컴퓨터 그래픽으로 표현하는 기술의 연구가 활발히 진행되고 있다. 포인트 클라우드는 현실 객체를 표현하는 기술 중의 하나로 객체의 표면을 수많은 3차원의 점으로 표현하며, 2차원 영상보다 더욱 거대한 데이터 크기를 가지게 된다. 이를 다양한 서비스에 응용하기 위해서는 3차원 데이터의 특징에 맞는 고효율의 압축 기술이 필요하며, 국제표준기구인 MPEG에서는 연속적인 움직임을 가지는 동적 포인트 클라우드를 2차원 평면으로 투영하여 비디오 코덱을 사용해 압축하는 Video-based Point Cloud Compression (V-PCC) 기술이 연구되고 있다. 포인트 클라우드를 2차원 평면에 투영하는 방식은 점유 맵 (Occupancy Map), 기하 영상 (Geometry Image), 속성 영상 (Attribute Image) 등의 2차원 정보와 보조 정보를 사용해 압축을 진행하고, 부호화 과정에서는 보조 정보와 2차원 영상들의 정보를 사용해 3차원 포인트 클라우드를 재구성한다. 2차원 영상을 사용해 포인트 클라우드를 생성하는 특징 때문에 압축 과정에서 발생하는 영상 정보의 열화는 포인트 클라우드의 품질에 영향을 미친다. 이와 마찬가지로 추가적인 기술을 사용한 2차원 영상 정보의 향상으로 포인트 클라우드의 품질을 향상할 수 있을 것으로 예상된다. 이에 본 논문은 V-PCC 기술에서 생성되는 영상 정보에 2차원 보간 (Interpolation) 기술을 적용하여 기존의 영상 정보에 포함되지 않은 추가적인 포인트를 생성하는 것으로 재구성되는 포인트 클라우드의 밀도를 증가시키고 그 영향을 분석하고자 한다.