• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권6호
• /
• pp.245-254
• /
• 2022

단백질은 모든 생명 활동의 기본 단위이며, 이를 이해하는 것은 생명 현상을 연구하는 데 필수적이다. 인공신경망을 이용한 기계학습 방법론이 대두된 이후로 많은 연구자들이 단백질 서열만을 사용하여 단백질의 기능을 예측하고자 하였다. 많은 조합의 딥러닝 모델이 학계에 보고되었으나 그 방법은 제각각이며 정형화된 방법론이 없고, 각기 다른 데이터에 맞춰져있어 어떤 알고리즘이 더 단백질 데이터를 다루는 데 적합한지 직접 비교분석 된 적이 없다. 본 논문에서는 단백질의 기능을 예측하는 융합 분야에서 가장 많이 사용되는 대표 알고리즘인 CNN, LSTM, GRU 모델과 이를 이용한 두가지 결합 모델에 동일 데이터를 적용하여 각 알고리즘의 단일 모델 성능과 결합 모델의 성능을 정확도와 속도를 기준으로 비교 평가하였으며 최종 평가 척도를 마이크로 정밀도, 재현율, F1 점수로 나타내었다. 본 연구를 통해 단순 분류 문제에서 단일 모델로 LSTM의 성능이 준수하고, 복잡한 분류 문제에서는 단일 모델로 중첩 CNN이 더 적합하며, 결합 모델로 CNN-LSTM의 연계 모델이 상대적으로 더 우수함을 확인하였다.

• 지구물리와물리탐사
• /
• 제26권2호
• /
• pp.37-51
• /
• 2023

그라운드-롤(ground roll)은 육상 탄성파 탐사 자료에서 가장 흔하게 나타나는 일관성 잡음(coherent noise)이며 탐사를 통해 얻고자 하는 반사 이벤트 신호보다 훨씬 큰 진폭을 가지고 있다. 따라서 탄성파 자료 처리에서 그라운드-롤 제거는 매우 중요하고 필수적인 과정이다. 그라운드-롤 제거를 위해 주파수-파수 필터링, 커브릿(curvelet) 변환 등 여러 제거 기술이 개발되어 왔으나 제거 성능과 효율성을 개선하기 위한 방법에 대한 수요는 여전히 존재한다. 최근에는 영상처리 분야에서 개발된 딥러닝 기법들을 활용하여 탄성파 자료의 그라운드-롤을 제거하고자 하는 연구도 다양하게 수행되고 있다. 이 논문에서는 그라운드-롤 제거를 위해 CNN (convolutional neural network) 또는 cGAN (conditional generative adversarial network)을 기반으로 하는 세가지 모델(DnCNN (De-noiseCNN), pix2pix, CycleGAN)을 적용한 연구들을 소개하고 수치 예제를 통해 상세히 설명하였다. 알고리듬 비교를 위해 동일한 현장에서 취득한 송신원 모음을 훈련 자료와 테스트 자료로 나누어 모델을 학습하고, 모델 성능을 평가하였다. 이러한 딥러닝 모델은 현장자료를 사용하여 훈련할 때, 그라운드-롤이 제거된 자료가 필요하므로 주파수-파수 필터링으로 그라운드-롤을 제거하여 정답자료로 사용하였다. 딥러닝 모델의 성능 평가 및 훈련 결과 비교는 정답 자료와의 유사성을 기본으로 상관계수와 SSIM (structural similarity index measure)과 같은 정량적 지표를 활용하였다. 결과적으로 DnCNN 모델이 가장 좋은 성능을 보였으며, 다른 모델들도 그라운드-롤 제거에 활용될 수 있음을 확인하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권12호
• /
• pp.4345-4363
• /
• 2021

Deep Learning as a Service (DLaaS), utilizing the cloud-based deep neural network models to provide customer prediction services, has been widely deployed on mobile cloud computing (MCC). Such services raise privacy concerns since customers need to send private data to untrusted service providers. In this paper, we devote ourselves to building an efficient protocol to classify users' images using the convolutional neural network (CNN) model trained and held by the server, while keeping both parties' data secure. Most previous solutions commonly employ homomorphic encryption schemes based on Ring Learning with Errors (RLWE) hardness or two-party secure computation protocols to achieve it. However, they have limitations on large communication overheads and costs in MCC. To address this issue, we present LeHE4SCNN, a scalable privacy-preserving and communication-efficient framework for CNN-based DLaaS. Firstly, we design a novel low-expansion rate homomorphic encryption scheme with packing and unpacking methods (LeHE). It supports fast homomorphic operations such as vector-matrix multiplication and addition. Then we propose a secure prediction framework for CNN. It employs the LeHE scheme to compute linear layers while exploiting the data shuffling technique to perform non-linear operations. Finally, we implement and evaluate LeHE4SCNN with various CNN models on a real-world dataset. Experimental results demonstrate the effectiveness and superiority of the LeHE4SCNN framework in terms of response time, usage cost, and communication overhead compared to the state-of-the-art methods in the mobile cloud computing environment.

• Animal Bioscience
• /
• 제37권4호
• /
• pp.622-630
• /
• 2024

Objective: Pig breeders cannot obtain phenotypic information at the time of selection for sow lifetime productivity (SLP). They would benefit from obtaining genetic information of candidate sows. Genomic data interpreted using deep learning (DL) techniques could contribute to the genetic improvement of SLP to maximize farm profitability because DL models capture nonlinear genetic effects such as dominance and epistasis more efficiently than conventional genomic prediction methods based on linear models. This study aimed to investigate the usefulness of DL for the genomic prediction of two SLP-related traits; lifetime number of litters (LNL) and lifetime pig production (LPP). Methods: Two bivariate DL models, convolutional neural network (CNN) and local convolutional neural network (LCNN), were compared with conventional bivariate linear models (i.e., genomic best linear unbiased prediction, Bayesian ridge regression, Bayes A, and Bayes B). Phenotype and pedigree data were collected from 40,011 sows that had husbandry records. Among these, 3,652 pigs were genotyped using the PorcineSNP60K BeadChip. Results: The best predictive correlation for LNL was obtained with CNN (0.28), followed by LCNN (0.26) and conventional linear models (approximately 0.21). For LPP, the best predictive correlation was also obtained with CNN (0.29), followed by LCNN (0.27) and conventional linear models (approximately 0.25). A similar trend was observed with the mean squared error of prediction for the SLP traits. Conclusion: This study provides an example of a CNN that can outperform against the linear model-based genomic prediction approaches when the nonlinear interaction components are important because LNL and LPP exhibited strong epistatic interaction components. Additionally, our results suggest that applying bivariate DL models could also contribute to the prediction accuracy by utilizing the genetic correlation between LNL and LPP.

• 한국의학물리학회지:의학물리
• /
• 제30권2호
• /
• pp.49-58
• /
• 2019

Purpose: Automated analytical systems have begun to emerge as a database system that enables the scanning of medical images to be performed on computers and the construction of big data. Deep-learning artificial intelligence (AI) architectures have been developed and applied to medical images, making high-precision diagnosis possible. Materials and Methods: For diagnosis, the medical images need to be labeled and standardized. After pre-processing the data and entering them into the deep-learning architecture, the final diagnosis results can be obtained quickly and accurately. To solve the problem of overfitting because of an insufficient amount of labeled data, data augmentation is performed through rotation, using left and right flips to artificially increase the amount of data. Because various deep-learning architectures have been developed and publicized over the past few years, the results of the diagnosis can be obtained by entering a medical image. Results: Classification and regression are performed by a supervised machine-learning method and clustering and generation are performed by an unsupervised machine-learning method. When the convolutional neural network (CNN) method is applied to the deep-learning layer, feature extraction can be used to classify diseases very efficiently and thus to diagnose various diseases. Conclusions: AI, using a deep-learning architecture, has expertise in medical image analysis of the nerves, retina, lungs, digital pathology, breast, heart, abdomen, and musculo-skeletal system.

• 천문학회보
• /
• 제46권2호
• /
• pp.46.2-46.2
• /
• 2021

We present solar event auto detection using deep-learning-based object detection algorithms and DeepSDO event dataset. DeepSDO event dataset is a new detection dataset with bounding boxed as ground-truth for three solar event (coronal holes, sunspots and prominences) features using Solar Dynamics Observatory data. To access the reliability of DeepSDO event dataset, we compared to HEK data. We train two representative object detection models, the Single Shot MultiBox Detector (SSD) and the Faster Region-based Convolutional Neural Network (R-CNN) with DeepSDO event dataset. We compared the performance of the two models for three solar events and this study demonstrates that deep learning-based object detection can successfully detect multiple types of solar events. In addition, we provide DeepSDO event dataset for further achievements event detection in solar physics.

• 지능정보연구
• /
• 제23권2호
• /
• pp.1-17
• /
• 2017

딥러닝 프레임워크의 대표적인 기능으로는 '자동미분'과 'GPU의 활용' 등을 들 수 있다. 본 논문은 파이썬의 라이브러리 형태로 사용 가능한 프레임워크 중에서 구글의 텐서플로와 마이크로소프트의 CNTK, 그리고 텐서플로의 원조라고 할 수 있는 티아노를 비교하였다. 본문에서는 자동미분의 개념과 GPU의 활용형태를 간단히 설명하고, 그 다음에 logistic regression을 실행하는 예를 통하여 각 프레임워크의 문법을 알아본 뒤에, 마지막으로 대표적인 딥러닝 응용인 CNN의 예제를 실행시켜보고 코딩의 편의성과 실행속도 등을 확인해 보았다. 그 결과, 편의성의 관점에서 보면 티아노가 가장 코딩 하기가 어렵고, CNTK와 텐서플로는 많은 부분이 비슷하게 추상화 되어 있어서 코딩이 비슷하지만 가중치와 편향을 직접 정의하느냐의 여부에서 차이를 보였다. 그리고 각 프레임워크의 실행속도에 대한 평가는 '큰 차이는 없다'는 것이다. 텐서플로는 티아노에 비하여 속도가 느리다는 평가가 있어왔는데, 본 연구의 실험에 의하면, 비록 CNN 모형에 국한되었지만, 텐서플로가 아주 조금이지만 빠른 것으로 나타났다. CNTK의 경우에도, 비록 실험환경이 달랐지만, 실험환경의 차이에 의한 속도의 차이의 편차범위 이내에 있는 것으로 판단이 되었다. 본 연구에서는 세 종류의 딥러닝 프레임워크만을 살펴보았는데, 위키피디아에 따르면 딥러닝 프레임워크의 종류는 12가지가 있으며, 각 프레임워크의 특징을 15가지 속성으로 구분하여 차이를 특정하고 있다. 그 많은 속성 중에서 사용자의 입장에서 볼 때 중요한 속성은 어떤 언어(파이썬, C++, Java, 등)로 사용가능한지, 어떤 딥러닝 모형에 대한 라이브러리가 잘 구현되어 있는지 등일 것이다. 그리고 사용자가 대규모의 딥러닝 모형을 구축한다면, 다중 GPU 혹은 다중 서버를 지원하는지의 여부도 중요할 것이다. 또한 딥러닝 모형을 처음 학습하는 경우에는 사용설명서가 많은지 예제 프로그램이 많은지 여부도 중요한 기준이 될 것이다.

• Journal of information and communication convergence engineering
• /
• 제21권1호
• /
• pp.9-16
• /
• 2023

The natural language on social network platforms has a certain front-to-back dependency in structure, and the direct conversion of Chinese text into a vector makes the dimensionality very high, thereby resulting in the low accuracy of existing text classification methods. To this end, this study establishes a deep learning model that combines a big data ultra-deep convolutional neural network (UDCNN) and long short-term memory network (LSTM). The deep structure of UDCNN is used to extract the features of text vector classification. The LSTM stores historical information to extract the context dependency of long texts, and word embedding is introduced to convert the text into low-dimensional vectors. Experiments are conducted on the social network platforms Sogou corpus and the University HowNet Chinese corpus. The research results show that compared with CNN + rand, LSTM, and other models, the neural network deep learning hybrid model can effectively improve the accuracy of text classification.

• 지능정보연구
• /
• 제23권1호
• /
• pp.95-108
• /
• 2017

최근 알파고의 등장으로 딥러닝 기술에 대한 관심이 고조되고 있다. 딥러닝은 향후 미래의 핵심 기술이 되어 일상생활의 많은 부분을 개선할 것이라는 기대를 받고 있지만, 주요한 성과들이 이미지 인식과 자연어처리 등에 국한되어 있고 전통적인 비즈니스 애널리틱스 문제에의 활용은 미비한 실정이다. 실제로 딥러닝 기술은 Convolutional Neural Network(CNN), Recurrent Neural Network(RNN), Deep Boltzmann Machine (DBM) 등 알고리즘들의 선택, Dropout 기법의 활용여부, 활성 함수의 선정 등 다양한 네트워크 설계 이슈들을 가지고 있다. 따라서 비즈니스 문제에서의 딥러닝 알고리즘 활용은 아직 탐구가 필요한 영역으로 남아있으며, 특히 딥러닝을 현실에 적용했을 때 발생할 수 있는 여러 가지 문제들은 미지수이다. 이에 따라 본 연구에서는 다이렉트 마케팅 응답모델, 고객이탈분석, 대출 위험 분석 등의 주요한 분류 문제인 이진분류에 딥러닝을 적용할 수 있을 것인지 그 가능성을 실험을 통해 확인하였다. 실험에는 어느 포르투갈 은행의 텔레마케팅 응답여부에 대한 데이터 집합을 사용하였으며, 전통적인 인공신경망인 Multi-Layer Perceptron, 딥러닝 알고리즘인 CNN과 RNN을 변형한 Long Short-Term Memory, 딥러닝 모형에 많이 활용되는 Dropout 기법 등을 이진 분류 문제에 활용했을 때의 성능을 비교하였다. 실험을 수행한 결과 CNN 알고리즘은 비즈니스 데이터의 이진분류 문제에서도 MLP 모형에 비해 향상된 성능을 보였다. 또한 MLP와 CNN 모두 Dropout을 적용한 모형이 적용하지 않은 모형보다 더 좋은 분류 성능을 보여줌에 따라, Dropout을 적용한 CNN 알고리즘이 이진분류 문제에도 활용될 수 있는 가능성을 확인하였다.

• Smart Structures and Systems
• /
• 제29권6호
• /
• pp.757-766
• /
• 2022

To train deep learning algorithms, a sufficient number of data are required. However, in most engineering systems, the acquisition of fault data is difficult or sometimes not feasible, while normal data are secured. The dearth of data is one of the major challenges to developing deep learning models, and fault diagnosis in particular cannot be made in the absence of fault data. With this context, this paper proposes an anomaly detection methodology for rotating machines using only normal data with self-labeling. Since only normal data are used for anomaly detection, a self-labeling method is used to generate a new labeled dataset. The overall procedure includes the following three steps: (1) transformation of normal data to self-labeled data based on a pretext task, (2) training the convolutional neural networks (CNN), and (3) anomaly detection using defined anomaly score based on the softmax output of the trained CNN. The softmax value of the abnormal sample shows different behavior from the normal softmax values. To verify the proposed method, four case studies were conducted, on the Case Western Reserve University (CWRU) bearing dataset, IEEE PHM 2012 data challenge dataset, PHMAP 2021 data challenge dataset, and laboratory bearing testbed; and the results were compared to those of existing machine learning and deep learning methods. The results showed that the proposed algorithm could detect faults in the bearing testbed and compressor with over 99.7% accuracy. In particular, it was possible to detect not only bearing faults but also structural faults such as unbalance and belt looseness with very high accuracy. Compared with the existing GAN, the autoencoder-based anomaly detection algorithm, the proposed method showed high anomaly detection performance.