• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.417-419
• /
• 2000

본 논문은 실시간 운영체제 기반의 ITV 시스템에서 MPEG-4 멀티미디어 장면을 실시간으로 랜더링하는 방법을 제시한다. MPEG-4 멀티미디어 스트림의 랜더링을 위한 장면 구성은 ITV 시스템에서 네트워크를 통해 전송되는 멀티미디어 스트림을 파싱 및 해석하여 장면그래프를 구성하고, 장면 랜더러가 이 장면 그래프를 이용하여 화면에 실시간으로 랜더링한다. MPEG-4 장면 랜더링 화면에서 사용자의 객체 교체나 객체 속성 변환 랜더링 이벤트가 발생하면, MPEG-4 장면 그래프를 실시간으로 갱신시켜 사용자 인터페이스에 랜더링한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.742-745
• /
• 2018

장면 그래프는 영상 내 물체들의 정보를 나타내는 지식 그래프이다. 본 논문에서는 3차원 공간에서 에이전트의 탐색을 통해, 장면 그래프를 생성하는 모델을 제안한다. 3차원 공간에 대한 장면 그래프는 물체들의 위치, 종류, 속성뿐만 아니라 물체들 간의 관계 정보를 포함한다. 이에 따라 장면 그래프는 다양한 문제 해결에 기초 데이터로써 활용될 수 있다. 본 논문은 장면 그래프를 생성하기 위해 필요한 기능들을 정의하고, 기능에 따라 4가지 부분 네트워크들을 제안한다. 또한 각 부분 네트워크들의 학습 및 성능 평가를 위해, 3차원 실내 가상환경인 AI2-THOR에서 데이터들을 수집하였고, 다양한 실험을 통해 각 부분 네트워크들의 성능을 검증하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.10a
• /
• pp.217-220
• /
• 2001

본 논문에서는 MPEG-4 컨텐츠 개발에 있어서 장면 그래프 표현에 소비되는 노력을 절감하기 위해 사용자에게는 기존 멀티미디어 저작도구의 직관적인 저작 환경을 제공하고, 내부적으로 MPEG-4 장면 그래프로 변환하는 방법을 제시한다. 직관적인 저작 환경은 현재 가장 널리 사용되는 매크로미디어의 디렉터와 플래쉬로부터 도입했으며, 저작 환경은 시청각 작업 공간, 시간 작업 공간, 애니메이션 작업 공간으로 구성된다. 작업 공간에 저작된 내용은 MPEG-4 장면 그래프 생성 계층과 장면 그래프 구성 규칙을 통해 BIFS 코드로 생성된다.

• KIPS Transactions on Software and Data Engineering
• /
• v.8 no.5
• /
• pp.205-212
• /
• 2019

Scene graph is a kind of knowledge graph that represents both objects and their relationships found in a image. This paper proposes a 3D scene graph generation model for three-dimensional indoor environments. An 3D scene graph includes not only object types, their positions and attributes, but also three-dimensional spatial relationships between them, An 3D scene graph can be viewed as a prior knowledge base describing the given environment within that the agent will be deployed later. Therefore, 3D scene graphs can be used in many useful applications, such as visual question answering (VQA) and service robots. This proposed 3D scene graph generation model consists of four sub-networks: object detection network (ObjNet), attribute prediction network (AttNet), transfer network (TransNet), relationship prediction network (RelNet). Conducting several experiments with 3D simulated indoor environments provided by AI2-THOR, we confirmed that the proposed model shows high performance.

• Journal of Korea Multimedia Society
• /
• v.13 no.5
• /
• pp.792-801
• /
• 2010

In this paper, we introduce a novel scene graph library for mobile platforms, called the 'Mobile OpenSceneGraph (Mobile OSG)', as a mobile graphics middleware. Our mobile scene graph library supports several nice properties, including platform-independence, extensibility, touch-based UI supports, and compatibility, by carefully adapting the OpenSceneGraph library, one of the most widely used graphics middlewares for desktop platforms, to mobile platforms. We validate the usefulness of the proposed library for mobiles with the several experimental results including real-time rendering, camera manipulations with a touch-based UI, and animations with switching geometric nodes.

• Journal of KIISE:Software and Applications
• /
• v.31 no.12
• /
• pp.1611-1620
• /
• 2004

MPEG-4 supports dynamic scene composition through add/delete/replace of object or change of object's properties. Other existing MPEG-4 players focus on transmitting and playing the multimedia data according to MPEG-4 standard. It is insufficient for MPEG-4's characteristic such as playback of various objects and playback of dynamic scene composition. In this paper, we propose an effective scene compositor which is the core component of MPEG-4 player The scene compositor is an optimized processor that searches efficiently the scene graph, creates the data structure for independent management of object information and improves processing ability of user interaction. The scene compositor supports sufficiently scene description information, and is managed independently in player for component extension and application of mobile environment.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.24 no.2
• /
• pp.166-172
• /
• 2014

Image classification is an important problem in computer vision. However, it is a very challenging problem due to the variability, ambiguity and scale change that exists in images. In this paper, we propose a method of a hypergraph based modeling can consider the higher-order relationships of semantic attributes of a scene image and apply it to a scene image classification. In order to generate the hypergraph optimized for specific scene category, we propose a novel search method based on a probabilistic subspace method and also propose a method to aggregate the expression values of the member semantic attributes that belongs to the searched subsets based on a linear transformation method via likelihood based estimation. To verify the superiority of the proposed method, we showed that the discrimination power of the feature vector generated by the proposed method is better than existing methods through experiments. And also, in a scene classification experiment, the proposed method shows a competitive classification performance compared with the conventional methods.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.01a
• /
• pp.347-348
• /
• 2016

스토리에 의해서 콘텐츠 산업의 경쟁력이 결정되고 콘텐츠에 대한 흥행과 보급에 핵심 요소가 된다. 현재까지의 스토리에 대한 연구는 대부분 인문학의 분야에서 이루어지고 있다. 인문학에서는 스토리를 창작하는 방법과 스토리에 대한 해석에 주로 초점이 맞추어져서 연구가 이루어지고 있다. 콘텐츠 산업의 핵심요소인 스토리를 창작하거나 해석하기 위해서는 스토리를 한눈에 보고 이해하거나 설명하기 위한 다양한 해석 방법과 시각화 방법이 필요하다. 따라서 본 논문에서는 스토리의 무대가 되는 공간 정보와 인물 정보가 함게 고려된 장면 그래프에 대한 연구를 제시하고 설명한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.555-558
• /
• 2020

본 논문에서는 입력 영상에 담긴 다양한 물체들과 그들 간의 관계를 효과적으로 탐지하여, 하나의 장면 그래프로 표현해내는 새로운 심층 신경망 모델을 제안한다. 제안 모델에서는 물체와 관계의 효과적인 탐지를 위해, 합성 곱 신경망 기반의 시각 맥락 특징들뿐만 아니라 언어 맥락 특징들을 포함하는 다양한 멀티 모달 맥락 정보들을 활용한다. 또한, 제안 모델에서는 관계를 맺는 두 물체 간의 상호 의존성이 그래프 노드 특징값들에 충분히 반영되도록, 그래프 신경망을 이용해 맥락 정보를 임베딩한다. 본 논문에서는 Visual Genome 벤치마크 데이터 집합을 이용한 비교 실험들을 통해, 제안 모델의 효과와 성능을 입증한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04b
• /
• pp.565-567
• /
• 2002

본 논문은 PDA(Personal Digital Assistants)에서의 MPEG-4 BIFS(Binary Format (or Scenes) 파서를 구현한다. 일반 데스크탑 환경의 MPEG-4 재생기에서 장면 구성은 BIFS 파싱 결과로 생긴 장면 그래프의 각 객체정보를 모두 렌더링 한다 그러나, 이동 단말기인 PDA는 메모리 및 디스플레이 자인이 제한되어 있어 기존의 데스크탑 환경에서 구현된 모듈들을 그대로 적용하기가 어렵다. 따라서, 본 논문에서는 BIFS 파싱 결과로 나온 장면 그래프에서 생성된 드로어블 노드 리스트 중 제한된 자원의 PDA에서 디스플레이 가능한 노트들만을 추출하는 새로운 기술을 제안한다. 추출된 드로어블 노드 리스트는 MPEG-4 재생기의 렌더링 모듈에서 검색하여 장면구성 및 비디오/오디오 스트림이 재생된다. 이러할 과정을 내장형 리눅스가 탑재된 PDA에서 구현하고, 기타 이동장치에서도 이용 가능하다.