• KIPS Transactions on Software and Data Engineering
• /
• v.12 no.9
• /
• pp.407-418
• /
• 2023

The Multi-Object Goal Visual Navigation(MultiOn) is a visual navigation task in which an agent must visit to multiple object goals in an unknown indoor environment in a given order. Existing models for the MultiOn task suffer from the limitation that they cannot utilize an integrated view of multimodal context because use only a unimodal context map. To overcome this limitation, in this paper, we propose a novel deep neural network-based agent model for MultiOn task. The proposed model, MCFMO, uses a multimodal context map, containing visual appearance features, semantic features of environmental objects, and goal object features. Moreover, the proposed model effectively fuses these three heterogeneous features into a global multimodal context map by using a point-wise convolutional neural network module. Lastly, the proposed model adopts an auxiliary task learning module to predict the observation status, goal direction and the goal distance, which can guide to learn the navigational policy efficiently. Conducting various quantitative and qualitative experiments using the Habitat-Matterport3D simulation environment and scene dataset, we demonstrate the superiority of the proposed model.

• Journal of KIISE
• /
• v.43 no.2
• /
• pp.135-142
• /
• 2016

Visual analysis of spatiotemporal data has focused on a variety of techniques for analyzing and exploring the data. The goal of these techniques is to explore the spatiotemporal data using time information, discover patterns in the data, and analyze spatiotemporal data. The overall trend flow patterns help users analyze geo-referenced temporal events. However, it is difficult to extract and visualize overall trend flow patterns using data that has no trajectory information for movements. In order to visualize overall trend flow patterns, in this paper, we estimate continuous distributions of discrete events over time using KDE, and we extract vector fields from the continuous distributions using the gravity model. We then apply our technique on twitter data to validate techniques.

• KIPS Transactions on Software and Data Engineering
• /
• v.3 no.8
• /
• pp.299-308
• /
• 2014

Various literatures related computing of information processing have been recently shown the researches inspired from the remarkably excellent human capabilities which recognize and categorize very complex visual patterns such as body motions and facial expressions. Applied from human's outstanding ability of perception, the classification function of visual sequences without context information is specially crucial task for computer vision to understand both the coding and the retrieval of spatio-temporal patterns. This paper presents a biological process based action recognition model of computer vision, which is inspired from visual information processing of human brain for action recognition of visual sequences. Proposed model employs the structure of neural fields of bio-inspired visual perception on detecting motion sequences and discriminating visual patterns in human brain. Experimental results show that proposed recognition model takes not only into account several biological properties of visual information processing, but also is tolerant of time-warping. Furthermore, the model allows robust temporal evolution of classification compared to researches of action recognition. Presented model contributes to implement bio-inspired visual processing system such as intelligent robot agent, etc.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10a
• /
• pp.27-29
• /
• 1999

가상현실 시스템에 대한 연구들은 대부분 현실세계 데이터를 컴퓨팅 세계의 데이터로 변환하기 위한 효율적인 방법론에 대한 연구가 주를 이루고 있다. 지리정보시스템(GIS)의 경우 정확한 실사를 통한 지리정보의 확보와 그래픽 시각화를 통한 신뢰성 있는 데이터의 제공을 주요 목적으로 삼는다. 본 논문은 지리정보시스템의 데이터모델을 기반으로 3차원 시각화를 위한 지형 데이터 모델과 가상 이미징 객체모델을 소개한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2004.11a
• /
• pp.975-978
• /
• 2004

본 논문에서 우리는 가상현실 시스템의 구축에 있어서, 사용자의 직접 상호작용 (direct interaction)을 기본으로 하는 근신 공간(near-body space) 작업에서 사용자의 존재감 (Presence) 향상과 작업 성능 향상을 위하여, 사용자와 공간적 및 감각적으로 일치된 가상 인체 모델의 구현을 중심으로 현재의 기술 현황 및 연구 개발 방향에 대하여 기술한다. 이상적인 가상현실 시스템을 구현하기 위해서 고려되어야 할 요소를 멀티모달 상호작용과 실감 일치형 인터페이스 개발 방법론의 관점에서 보면, 사용자가 접하는 가상 공간의 시각적 모델(visual perception)과 자기 동작 감각적(proprioceptive) 모델의 일치가 중요하다. 그러므로, 시각적으로 사용자의 움직임과 일치된 자신의 신체가 가시화 되어야 하고, 자연스러운 근신 공간 직접 상호작용을 지원하기 위해서는 사실적인 햅틱 피드백 요소가 중요하며, 공간적 정보를 표현 함에 있어서 동기화 된 사실적 청각 피드백 요소의 지원이 중요하다. 앞의 주요 3 가지 감각 인터페이스 방법(sensory channel, modality)는 현재의 불완전한 인터페이스 기술의 한계를 고려하여 상호 보완적인 관계로 응용 환경에 최적화된 적용 방법이 연구되어야 한다.

• Journal of the Korea Computer Graphics Society
• /
• v.20 no.4
• /
• pp.1-7
• /
• 2014

The volume rendering has become an important technique in many applications along with hardware development. Understanding and perception of volume visualization benefit from visual cues which are available from shading. Better visual cues can be obtained from global illumination models but it's huge amount of computation and extra GPU memory need cause a lack of interactivity. In this paper, in order to improve visual cues on volume rendering, we propose an image space occlusion shading model which requires no additional resources.

• Archives of design research
• /
• v.15 no.2
• /
• pp.27-36
• /
• 2002

As interpretation of descriptive illustrations without caption differs from each viewer, it is deemed that the effect of attention is represented differently and the acceptance level of any advertisements will be ultimately different according to the visualization method of concept in the creative. The purpose of this research is to recognize the reality and status of visualization for real estate ads in newspapers via visualization analysis through Otto Kleppner's visualization model and to reasonably and efficiently conduct creative of real estate ads by representing problems and their solutions based on the surrey. These activities are to more efficiently produce real estate ads, which occupy a relatively important portion in newspaper ads.

• The KIPS Transactions:PartB
• /
• v.18B no.5
• /
• pp.305-314
• /
• 2011

Research into the visual perception of human emotion to recognize an intention has traditionally focused on emotions of facial expression. Recently researchers have turned to the more challenging field of emotional expressions through body posture or activity. Proposed work approaches recognition of basic emotional categories from body postures using neural model applied visual perception of neurophysiology. In keeping with information processing models of the visual cortex, this work constructs a biologically plausible hierarchy of neural detectors, which can discriminate 6 basic emotional states from static views of associated body postures of activity. The proposed model, which is tolerant to parameter variations, presents its possibility by evaluating against human test subjects on a set of body postures of activities.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.559-562
• /
• 2020

시각-언어 이동 문제는 시각 이해와 언어 이해 능력을 함께 요구하는 복합 지능 문제이다. 본 논문에서는 시각-언어 이동 에이전트를 위한 새로운 학습 모델을 제안한다. 이 모델은 데모 데이터에 기초한 모방 학습과 행동 보상에 기초한 강화 학습을 함께 결합한 복합 학습을 채택하고 있다. 따라서 이 모델은 데모 데이타에 편향될 수 있는 모방 학습의 문제와 상대적으로 낮은 데이터 효율성을 갖는 강화 학습의 문제를 상호 보완적으로 해소할 수 있다. 또한, 제안 모델은 서로 다른 두 학습 간에 발생 가능한 학습 불균형도 고려하여 손실 정규화를 포함하고 있다. 또, 제안 모델에서는 기존 연구들에서 사용되어온 목적지 기반 보상 함수의 문제점을 발견하고, 이를 해결하기 위해 설계된 새로은 최적 경로 기반 보상 함수를 이용한다. 본 논문에서는 Matterport3D 시뮬레이션 환경과 R2R 벤치마크 데이터 집합을 이용한 다양한 실들을 통해, 제안 모델의 높은 성능을 입증하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.215-219
• /
• 2016

본 논문에서는 인간의 시각적 특성을 반영한 Just Noticeable Difference (JND) 모델을 사용한 움직임 예측을 통한 프레임율 향상 기법을 제안한다. 기존의 다중 프레임 기반 움직임 예측을 통한 프레임율 향상 기법은 움직임 벡터의 정확성을 높이기 위해 다중 프레임을 사용하며, 전체 영역에 대해 같은 블록 크기와 탐색 영역으로 움직임 예측을 수행함으로써 불필요한 계산량이 많아지고 움직임 벡터의 부정확한 예측이 수행된다는 단점이 있다. 제안하는 알고리듬은 인간의 시각적 특성을 고려한 Free Energy-based Just Noticeable Difference (FEJND) 모델을 사용하여 이전 프레임과 현재 프레임만을 사용하여 영역 특성에 따른 적응적 움직임 예측을 수행하여 정확성을 높인다. 실험 결과에 따라 제안하는 알고리듬의 성능이 향상되었음을 알 수 있다.