• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권11호
• /
• pp.5555-5567
• /
• 2018

State-of-art instance segmentation networks are successful at generating 2D segmentation mask for region proposals with highest classification score, yet 3D object segmentation task is limited to geocentric embedding or detector of Sliding Shapes. To this end, we propose an amodal 3D instance segmentation network called A3IS-CNN, which extends the detector of Deep Sliding Shapes to amodal 3D instance segmentation by adding a new branch of 3D ConvNet called A3IS-branch. The A3IS-branch which takes 3D amodal ROI as input and 3D semantic instances as output is a fully convolution network(FCN) sharing convolutional layers with existing 3d RPN which takes 3D scene as input and 3D amodal proposals as output. For two branches share computation with each other, our 3D instance segmentation network adds only a small overhead of 0.25 fps to Deep Sliding Shapes, trading off accurate detection and point-to-point segmentation of instances. Experiments show that our 3D instance segmentation network achieves at least 10% to 50% improvement over the state-of-art network in running time, and outperforms the state-of-art 3D detectors by at least 16.1 AP.

• 스마트미디어저널
• /
• 제9권1호
• /
• pp.23-29
• /
• 2020

This paper presents an approach for dynamic hand gesture recognition by using algorithm based on 3D Convolutional Neural Network (3D_CNN), which is later extended to 3D Residual Networks (3D_ResNet), and the neural network based key frame selection. Typically, 3D deep neural network is used to classify gestures from the input of image frames, randomly sampled from a video data. In this work, to improve the classification performance, we employ key frames which represent the overall video, as the input of the classification network. The key frames are extracted by SegNet instead of conventional clustering algorithms for video summarization (VSUMM) which require heavy computation. By using a deep neural network, key frame selection can be performed in a real-time system. Experiments are conducted using 3D convolutional kernels such as 3D_CNN, Inflated 3D_CNN (I3D) and 3D_ResNet for gesture classification. Our algorithm achieved up to 97.8% of classification accuracy on the Cambridge gesture dataset. The experimental results show that the proposed approach is efficient and outperforms existing methods.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제4권6호
• /
• pp.1209-1221
• /
• 2010

Three dimensional (3D) video is expected to be an important application for broadcast and IP streaming services. One of the main limitations for the transmission of 3D video over IP networks is network bandwidth mismatch due to the large size of 3D data, which causes fatal decoding errors and mosaic-like damage. This paper presents a novel selective frame discard method to address the problem. The main idea of the proposed method is the symmetrical discard of the two dimensional (2D) video frame and the depth map frame. Also, the frames to be discarded are selected after additional consideration of the playback deadline, the network bandwidth, and the inter-frame dependency relationship within a group of pictures (GOP). It enables the efficient utilization of the network bandwidth and high quality 3D IPTV service. The simulation results demonstrate that the proposed method enhances the media quality of 3D video streaming even in the case of bad network conditions.

• 산업경영시스템학회지
• /
• 제43권3호
• /
• pp.87-94
• /
• 2020

In this study, the factors affecting the efficiency of 48 projects of private R&D institutes were analyzed using the Tobit model. Influencing factors were selected as open R&D network size, IT industry, interaction between R&D network size and IT industry, and type of R&D network cooperation. As a result of Tobit analysis, the R&D network size, the IT industry, and the type of R&D network cooperation were found to be significant. The larger the open R&D network size, the lower the efficiency, and the IT industry showed lower R&D efficiency than other industries. In addition, cooperation with universities and research institutes showed lower R&D efficiency than cooperation with companies. As a result of these studies, companies will be able to select and focus on cooperation with the outside in relations and investment allocation.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권3호
• /
• pp.1450-1463
• /
• 2019

The problem towards crowd behavior recognition in a serious clustered scene is extremely challenged on account of variable scales with non-uniformity. This paper aims to propose a crowed behavior classification framework based on a transferring hybrid network blending 3D res-net with inception-v3. First, the 3D res-inception network is presented so as to learn the augmented visual feature of UCF 101. Then the target dataset is applied to fine-tune the network parameters in an attempt to classify the behavior of densely crowded scenes. Finally, a transferred entropy function is used to calculate the probability of multiple labels in accordance with these features. Experimental results show that the proposed method could greatly improve the accuracy of crowd behavior recognition and enhance the accuracy of multiple label classification.

• 한국산업정보학회논문지
• /
• 제2권1호
• /
• pp.73-87
• /
• 1997

Multilayer neural network using a modified beackpropagation learning algorithm was introduced to achieve automatic identification of different types of aircraft in a variety of 3-D orientations. A 3-D shape of an aircraft can be described by a library of 2-D images corresponding to the projected views of an aircraft. From each 2-D binary aircraft image we extracted 2-D invariant (L, Φ) feature vector to be used for training neural network aircraft classifier. Simulations concerning the neural network classification rate was compared using nearest-neighbor classfier (NNC) which has been widely served as a performance benchmark. And we also introduced reliability measure of the designed neural network classifier.

• 한국게임학회 논문지
• /
• 제6권1호
• /
• pp.21-28
• /
• 2006

본 논문에서는 OpenGL-ES 기반의 모바일 3D 블루투스 엔진을 설계 및 구현하였다. 기존 모바일 3D 네트워크 게임에서는 Wap(Wireless Application Protocol)과 VM 방식(Network)를 이용한 무선인터넷 게임이 주류를 이루고 있다. 그러나, 이들 모바일 네트워크 게임의 단점으로 지적되는 무선 네트워크 접속에 따른 지나친 통신 요금의 부담으로 인해 VM 형태를 기반으로 하는 다운로드형 게임 즉, 단독 실행형 게임이 인기를 끌고 있다. 본 논문에서는 이러한 모바일 네트워크 게임의 단점을 해결하기 위해 모바일 3D표준(C언어 기반)인 OpenGL-ES로 근거리에 있는 사람들이 무선 인터넷에 접속하지 않고, 모바일 3D 네트워크 게임을 즐길 수 있는 모바일 3D 블루투스 엔진을 제작하였다.

• 한국통신학회논문지
• /
• 제40권3호
• /
• pp.602-612
• /
• 2015

현재 표준 차량 통신 프로토콜인 IEEE 802.11p는 차량 간 한 홉 전송을 수행하기 때문에 차량 환경에서 효율적인 정보 전달을 수행하는데 한계가 있다. 본 논문은 차량 환경에서 효율적인 정보 전달을 위해 무선 근거리 통신 중 하나인 LTE-D2D 기술을 사용한 차량 네트워크를 제안한다. 이때 전송 메시지 형태는 IP 패킷 옵션을 지닌 이름 기반 정보 메시지를 사용하고 일반 차량 노드는 요청하는 메시지를 중간 매개 노드인 대형 차량 노드로 전송하여 정보를 전송 받는다. 성능 분석을 통해 셀룰러 네트워크와 제안된 LTE-D2D 차량 네트워크에서의 패킷전달 시간에 따른 데이터 처리율을 비교하였다.

• 스마트미디어저널
• /
• 제10권2호
• /
• pp.30-37
• /
• 2021

최근 웹툰이나 애니메이션을 3D 콘텐츠로 제작하는 사례가 증가하고 있다. 3D 콘텐츠 제작에서 모델링은 반드시 필요하지만 시간이 오래 걸리는 작업이다. 드로잉 기반 모델링을 사용하여 2D 카툰 원화에서 3D 모델을 생성하기 위해서는 라인 드로잉이 필요하다. 하지만 2D 카툰원화는 3D 모델의 기하학적 특성이 표현되지 않고 카툰원화의 제작 기법이 다양하여 일관성 있게 라인 드로잉 추출이 힘들다. 본 연구에서는 generative adversarial network (GAN) 모델을 사용하여 2D 카툰 원화에서 3D 모델의 기하학적 특성을 나타내는 라인 드로잉을 추출하는 방법을 제안하고 이를 실험한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제8권5호
• /
• pp.205-212
• /
• 2019

장면 그래프는 영상 내 물체들과 각 물체 간의 관계를 나타내는 지식 그래프를 의미한다. 본 논문에서는 3차원 실내 환경을 위한 3차원 장면 그래프를 생성하는 모델을 제안한다. 3차원 장면 그래프는 물체들의 종류와 위치, 그리고 속성들뿐만 아니라, 물체들 간의 3차원 공간 관계들도 포함한다. 따라서 3차원 장면 그래프는 에이전트가 활동할 실내 환경을 묘사하는 하나의 사전 지식 베이스로 볼 수 있다. 이러한 3차원 장면 그래프는 영상 기반의 질문과 응답, 서비스 로봇 등과 같은 다양한 분야에서 유용하게 활용될 수 있다. 본 논문에서 제안하는 3차원 장면 그래프 생성 모델은 크게 물체 탐지 네트워크(ObjNet), 속성 예측 네트워크(AttNet), 변환 네트워크(TransNet), 관계 예측 네트워크(RelNet) 등 총 4가지 부분 네트워크들로 구성된다. AI2-THOR가 제공하는 3차원 실내 가상환경들을 이용한 다양한 실험들을 통해, 본 논문에서 제안한 모델의 높은 성능을 확인할 수 있었다.