• Journal of Information Processing Systems
• /
• 제15권5호
• /
• pp.1179-1191
• /
• 2019

We design an ingenious view-pooling method named learning-based multiple pooling fusion (LMPF), and apply it to multi-view convolutional neural network (MVCNN) for 3D model classification or retrieval. By this means, multi-view feature maps projected from a 3D model can be compiled as a simple and effective feature descriptor. The LMPF method fuses the max pooling method and the mean pooling method by learning a set of optimal weights. Compared with the hand-crafted approaches such as max pooling and mean pooling, the LMPF method can decrease the information loss effectively because of its "learning" ability. Experiments on ModelNet40 dataset and McGill dataset are presented and the results verify that LMPF can outperform those previous methods to a great extent.

• 방송공학회논문지
• /
• 제23권5호
• /
• pp.614-621
• /
• 2018

본 논문에서는 generative adversarial network (GAN)을 이용한 비감독 학습을 통해 깊이 카메라로 깊이 영상을 취득할 때 발생한 손실된 부분을 복원하는 기법을 제안한다. 제안하는 기법은 3D morphable model convolutional neural network (3DMM CNN)와 large-scale CelebFaces Attribute (CelebA) 데이터 셋 그리고 FaceWarehouse 데이터 셋을 이용하여 학습용 얼굴 깊이 영상을 생성하고 deep convolutional GAN (DCGAN)의 생성자(generator)와 Wasserstein distance를 손실함수로 적용한 구별자(discriminator)를 미니맥스 게임기법을 통해 학습시킨다. 이후 학습된 생성자와 손실 부분을 복원해주기 위한 새로운 손실함수를 이용하여 또 다른 학습을 통해 최종적으로 깊이 카메라로 취득된 얼굴 깊이 영상의 손실 부분을 복원한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권3호
• /
• pp.85-90
• /
• 2021

본 논문에서는 고령자를 위한 개별 웨어러블(Wearable) 기기를 이용한 낙상 감지에 대해 논한다. 신뢰할 수 있는 낙상 감지를 위한 저비용 웨어러블 기기를 설계하기 위해서 대표적인 두 가지 모델을 종합적으로 분석하여 제시한다. 기계 학습 모델인 의사결정 나무(Decision Tree), 랜덤 포래스트(Random Forest), SVM(Support Vector Machine)과 심층 학습 모델인 일차원(One-Dimensional) 합성곱 신경망(Convolutional Neural Network)을 사용하여 낙상 감지 학습 능력을 정량화하였다. 또한 입력 데이터에 적용하기 위한 데이터 분할, 전처리, 특징 추출 방법 등을 고려하여 검토된 모델의 유효성을 평가한다. 실험 결과는 전반적인 성능 향상을 보여주며 심층학습 모델의 유효성을 검증한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권11호
• /
• pp.2924-2944
• /
• 2023

Alzheimer's disease (AD) is a neurological condition that is recognized as one of the primary causes of memory loss. AD currently has no cure. Therefore, the need to develop an efficient model with high precision for timely detection of the disease is very essential. When AD is detected early, treatment would be most likely successful. The most often utilized indicators for AD identification are the Mini-mental state examination (MMSE), and the clinical dementia. However, the use of these indicators as ground truth marking could be imprecise for AD detection. Researchers have proposed several computer-aided frameworks and lately, the supervised model is mostly used. In this study, we propose a novel 3D Convolutional Neural Network Multilayer Perceptron (3D CNN-MLP) based model for AD classification. The model uses Attention Mechanism to automatically extract relevant features from Magnetic Resonance Images (MRI) to generate probability maps which serves as input for the MLP classifier. Three MRI scan categories were considered, thus AD dementia patients, Mild Cognitive Impairment patients (MCI), and Normal Control (NC) or healthy patients. The performance of the model is assessed by comparing basic CNN, VGG16, DenseNet models, and other state of the art works. The models were adjusted to fit the 3D images before the comparison was done. Our model exhibited excellent classification performance, with an accuracy of 91.27% for AD and NC, 80.85% for MCI and NC, and 87.34% for AD and MCI.

• 융합신호처리학회논문지
• /
• 제23권4호
• /
• pp.234-240
• /
• 2022

본 논문은 직종별 근무 환경에 따른 상대적 운동량을 고려한 맞춤형 AI 운동 추천 서비스 방법을 제안한다. 가속도 및 자이로 센서를 활용하여 수집된 데이터를 18가지 일상생활의 신체활동으로 분류한 WISDM 데이터베이스를 기반으로 전신, 하체, 상체의 3가지 활동으로 분류한 후 인식된 활동 지표를 통해 적절한 운동을 추천한다. 본 논문에서 신체활동 분류를 위해서 사용하는 1차원 합성곱 신경망(1D CNN; 1 Dimensional Convolutional Neural Network) 모델은 커널 크기가 다른 다수의 1D 컨볼루션(Convolution) 계층을 병렬적으로 연결한 컨볼루션 블록을 사용한다. 컨볼루션 블록은 하나의 입력 데이터에 다층 1D 컨볼루션을 적용함으로써 심층 신경망 모델로 추출할 수 있는 입력 패턴의 세부 지역 특징을 보다 얇은 계층으로도 효과적으로 추출 할 수 있다. 제안한 신경망 모델의 성능 평가를 위해서 기존 순환 신경망(RNN; Recurrent Neural Network) 모델과 비교 실험한 결과 98.4%의 현저한 정확도를 보였다.

• 로봇학회논문지
• /
• 제14권2호
• /
• pp.87-93
• /
• 2019

This paper presents a 6-DOF relocalization using a 3D laser scanner and a monocular camera. A relocalization problem in robotics is to estimate pose of sensor when a robot revisits the area. A deep convolutional neural network (CNN) is designed to regress 6-DOF sensor pose and trained using both RGB image and 3D point cloud information in end-to-end manner. We generate the new input that consists of RGB and range information. After training step, the relocalization system results in the pose of the sensor corresponding to each input when a new input is received. However, most of cases, mobile robot navigation system has successive sensor measurements. In order to improve the localization performance, the output of CNN is used for measurements of the particle filter that smooth the trajectory. We evaluate our relocalization method on real world datasets using a mobile robot platform.

• 한국멀티미디어학회논문지
• /
• 제22권6호
• /
• pp.655-664
• /
• 2019

In this paper, we propose a novel way of combining multiple deep convolutional neural network (DCNN) architectures which work well for accurate video face identification by adopting a serial combination of 3D and 2D DCNNs. The proposed method first divides an input video sequence (to be recognized) into a number of sub-video sequences. The resulting sub-video sequences are used as input to the 3D DCNN so as to obtain the class-confidence scores for a given input video sequence by considering both temporal and spatial face feature characteristics of input video sequence. The class-confidence scores obtained from corresponding sub-video sequences is combined by forming our proposed class-confidence matrix. The resulting class-confidence matrix is then used as an input for learning 2D DCNN learning which is serially linked to 3D DCNN. Finally, fine-tuned, serially combined DCNN framework is applied for recognizing the identity present in a given test video sequence. To verify the effectiveness of our proposed method, extensive and comparative experiments have been conducted to evaluate our method on COX face databases with their standard face identification protocols. Experimental results showed that our method can achieve better or comparable identification rate compared to other state-of-the-art video FR methods.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
• /
• pp.573-576
• /
• 2022

본 논문에서는 삼각형 구조로 구성된 3차원 메쉬(Mesh)에서 합성곱 신경망(Convolutional Neural Network, CNN)의 정확도를 개선시킬 수 있는 새로운 학습 표현 기법을 제시한다. 우리는 메쉬를 구성하고 있는 삼각형의 넓이와 그 로컬 특징을 기반으로 학습을 진행한다. 일반적으로 딥러닝은 인공신경망을 수많은 계층 형태로 연결한 기법을 말하며, 주요 처리 대상은 오디오 파일과 이미지이었다. 인공지능에 대한 연구가 지속되면서 3차원 딥러닝이 도입되었지만, 기존의 학습과는 달리 3차원 학습은 데이터의 확보가 쉽지 않다. 혼합현실과 메타버스 시장으로 인해 3차원 모델링 시장이 증가가 하면서 기술의 발전으로 데이터를 획득할 수 있는 방법이 생겼지만, 3차원 데이터를 직접적으로 학습 표현하는 방식으로 적용하는 것은 쉽지 않다. 그렇기 때문에 본 논문에서는 산업 현장에서 사용되는 데이터인 삼각형 메쉬 구조를 바탕으로 기존 방법보다 정확도가 높은 학습 기법을 제안한다.

• 지적과 국토정보
• /
• 제48권2호
• /
• pp.213-225
• /
• 2018

3차원 공간정보 구축을 위해 건물 텍스처를 촬영하는 과정에서 폐색영역 문제가 발생한다. 이를 해결하기 위해선 폐색영역을 자동 인식하여 이를 검출하고 텍스처를 자동 보완하는 자동화 기법 연구가 필요하다. 현실적으로 매우 다양한 구조물 형상과 폐색을 발생시키는 경우가 있으므로 이를 극복하는 대안들이 고려되고 있다. 본 연구는 최근 대두되고 있는 딥러닝 기반의 알고리즘을 이용하여 폐색지역 패턴화하고, 학습기반 폐색영역 자동 검출하는 접근을 시도한다. 영상 내 객체 추출에서 우수한 성과를 발표하는 Convolutional Neural Network (CNN) 기법의 향상된 알고리즘인 Faster Region-based Convolutional Network (R-CNN)과 Mask R-CNN 2가지를 이용하여, 건물 벽면 촬영 시 폐색을 유발하는 사람, 현수막, 차량, 신호등에 대한 자동 탐지하는 성능을 알아보기 위해 실험하고, Mask R-CNN의 미리 학습된 모델에 현수막을 학습시켜 자동탐지하는 실험을 통해 적용이 높은 결과를 확인할 수 있었다.

• 융합신호처리학회논문지
• /
• 제22권1호
• /
• pp.30-37
• /
• 2021

카메라 영상을 이용한 3차원 객체 추적 기술은 증강현실 응용 분야를 위한 핵심 기술이다. 영상 분류, 객체 검출, 영상 분할과 같은 컴퓨터 비전 작업에서 CNN(Convolutional Neural Network)의 인상적인 성공에 자극 받아, 3D 객체 추적을 위한 최근의 연구는 딥러닝(deep learning)을 활용하는 데 초점을 맞추고 있다. 본 논문은 이러한 딥러닝을 활용한 3차원 객체 추적 방법들을 살펴본다. 딥러닝을 활용한 3차원 객체 추적을 위한 주요 방법들을 설명하고, 향후 연구 방향에 대해 논의한다.