Layout Based Multimodal Contents Aughoring Tool for Digilog Book

디지로그 북을 위한 레이아웃 기반 다감각 콘텐츠 저작 도구

In this paper, we propose layout based multimodal contents authoring tool for Digilog Book. In authoring step, users create a virtual area using mouse or pen-type device and select property of the area repetitively. After finishing authoring step, system recognizes printed page number and generate page layout including areas and property information. Page layout is represented as a scene graph and stored as XML format. Digilog Book viewer loads stored page layout and analyze properties then augment virtual contents or execute functions based on area. Users can author visual and auditory contents easily by using hybrid interface. In AR environment, system provides area templates in order to help creating area. In addition, proposed authoring tool separates page recognition module from page tracking module. So, it is possible to author many pages using only single marker. As a result of experiment, we showed proposed authoring tool has reasonable performance time in AR environment. We expect that proposed authoring tool would be applicable to many fields such as education and publication.

본 논문에서는 디지로그 북 (Digilog Book) 저작 환경에서 레이아웃 기반 다감각 콘텐츠 저작 도구를 제안한다. 저작 과정에 사용자는 마우스나 펜 타입 장치를 통해 종이책 위에 반복적으로 가상 영역을 생성하고, 해당 영역에 증강될 콘텐츠의 위치, 사이즈, 파일 선택, 이벤트 처리 등의 속성을 지정한다. 저작이 완료되면 시스템은 기존에 인쇄된 페이지 번호를 인식하고, 해당 페이지에 생성된 영역과 속성 정보를 포함하는 레이아웃을 생성한다. 페이지 레이아웃은 증강현실 환경에서 렌더링 하기 적합한 씬 그래프 (Scene Graph) 형태로 표현 되고 XML 형태로 저장된다. 디지로그 북 뷰어는 저장된 레이아웃을 로딩하고 저작된 속성을 분석하여 해당 페이지에 영역별로 증강 및 기능을 실행한다. 제안된 저작 도구를 통해 사용자는 혼합 인터페이스를 통해 디지로그 북 환경에서 관심영역에 시각, 청각적인 다감각 콘텐츠를 손쉽게 저작할 수 있다. 증강현실 환경에서 사용자가 레이아웃을 보다 쉽게 생성하기 위하여 영역 템플릿을 제공한다. 또한, 제안된 저작 도구는 페이지 인식부와 페이지 추적부를 독립적으로 구성함에 따라 단일 마커만으로 다수 페이지 저작이 가능하다. 실험 결과, 제안된 저작도구는 증강현실 환경에서 적절한 수행시간을 나타냄을 보였다. 제안된 저작 도구는 교육, 출판 업계 등 여러 응용분야에서 널리 활용될 수 있을 것이다.