• Communications for Statistical Applications and Methods
• /
• 제26권6호
• /
• pp.591-610
• /
• 2019

Deep Learning is one of the machine learning methods to find features from a huge data using non-linear transformation. It is now commonly used for supervised learning in many fields. In particular, Convolutional Neural Network (CNN) is the best technique for the image classification since 2012. For users who consider deep learning models for real-world applications, Keras is a popular API for neural networks written in Python and also can be used in R. We try examine the parameter estimation procedures of Deep Neural Network and structures of CNN models from basics to advanced techniques. We also try to figure out some crucial steps in CNN that can improve image classification performance in the CIFAR10 dataset using Keras. We found that several stacks of convolutional layers and batch normalization could improve prediction performance. We also compared image classification performances with other machine learning methods, including K-Nearest Neighbors (K-NN), Random Forest, and XGBoost, in both MNIST and CIFAR10 dataset.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.370-373
• /
• 2022

최근 Tensorflow나 Pytorch, Keras 같은 여러가지의 딥러닝 프레임워크 모델들이 나왔다. 또한 이미지 인식에 Tensorflow, Pytorch, Keras 같은 프레임 워크를 이용하여 CNN(Convolutional Neural Network)을 적용시켜 이미지 분류에서의 최적화 모델을 주로 이용한다. 본 논문에서는 딥러닝 이미지 인식분야에서 가장 많이 사용하고 있는 파이토치와 텐서플로우의 프레임 워크를 CNN모델에 학습을 시킨 결과를 토대로 두 프레임 워크를 비교 분석하여 이미지 분석할 때 최적화 된 프레임워크를 도출하였다.

• 한국인터넷방송통신학회논문지
• /
• 제24권2호
• /
• pp.177-184
• /
• 2024

데이터가 빠른 속도로 증가하고 있는 가운데 가능한 최고의 정확도를 달성하기 위해 모든 종류의 복잡한 앙상블 및 딥 러닝 알고리즘이 사용되고 있다. 그렇지만, 이러한 모델이 알 수 없는 데이터를 예측/분류/인식/추적하는 방법과 관련하여 예측, 분류, 인식, 추적이 항상 신뢰할 수 있는 것은 아니다. 데이터 부족, 불균형 데이터 세트, 편향된 데이터 세트 등과 같은 다양한 이유가 학습 모델에 의해 포착되는 결정에 영향을 미칠 수 있다. 이와 관련하여 현재 모델의 설명 가능성에 관한 연구가 관심을 끌고 있다. 현재 설명 가능성 기법과 관련하여 LIME과 SHAP가 보편적으로 사용되고 있지만, 출력 결과들은 다소 상이한 측면을 나타내고 있다. 이에 본 연구에서는 LIME과 SHAP을 결합하는 방식을 소개하고, 데모와 관련해서 IEEE CIS 데이터 세트에서 거래를 사기로 분류할 때 LightGBM 및 Keras 모델이 내린 결정에 대한 설명 가능성을 분석한다.

• Communications for Statistical Applications and Methods
• /
• 제27권3호
• /
• pp.313-326
• /
• 2020

Deep Learning is the most important key to the development of Artificial Intelligence (AI). There are several distinguishable architectures of neural networks such as MLP, CNN, and RNN. Among them, we try to understand one of the main architectures called Recurrent Neural Network (RNN) that differs from other networks in handling sequential data, including time series and texts. As one of the main tasks recently in Natural Language Processing (NLP), we consider Neural Machine Translation (NMT) using RNNs. We also summarize fundamental structures of the recurrent networks, and some topics of representing natural words to reasonable numeric vectors. We organize topics to understand estimation procedures from representing input source sequences to predict target translated sequences. In addition, we apply multiple translation models with Gated Recurrent Unites (GRUs) in Keras on English-Korean sentences that contain about 26,000 pairwise sequences in total from two different corpora, colloquialism and news. We verified some crucial factors that influence the quality of training. We found that loss decreases with more recurrent dimensions and using bidirectional RNN in the encoder when dealing with short sequences. We also computed BLEU scores which are the main measures of the translation performance, and compared them with the score from Google Translate using the same test sentences. We sum up some difficulties when training a proper translation model as well as dealing with Korean language. The use of Keras in Python for overall tasks from processing raw texts to evaluating the translation model also allows us to include some useful functions and vocabulary libraries as well.

• 융합보안논문지
• /
• 제22권4호
• /
• pp.129-133
• /
• 2022

딥러닝 프레임워크는 현재에도 계속해서 발전되어 가고 있으며, 다양한 프레임워크들이 존재한다. 딥러닝의 대표적인 프레임워크는 TensorFlow, PyTorch, Keras 등이 있다. 딥러님 프레임워크는 이미지 학습을 통해 이미지 분류에서의 최적화 모델을 이용한다. 본 논문에서는 딥러닝 이미지 인식 분야에서 가장 많이 사용하고 있는 TensorFlow와 PyTorch 프레임워크를 활용하여 이미지 학습을 진행하였으며, 이 과정에서 도출한 결과를 비교 분석하여 최적화된 프레임워크을 알 수 있었다.

• International Journal of Computer Science & Network Security
• /
• 제21권8호
• /
• pp.238-246
• /
• 2021

The rapid rise of the Internet and social media has resulted in a large number of text-based reviews being placed on sites such as social media. In the age of social media, utilizing machine learning technologies to analyze the emotional context of comments aids in the understanding of QoS for any product or service. The classification and analysis of user reviews aids in the improvement of QoS. (Quality of Services). Machine Learning algorithms have evolved into a powerful tool for analyzing user sentiment. Unlike traditional categorization models, which are based on a set of rules. In sentiment categorization, Bidirectional Long Short-Term Memory (BiLSTM) has shown significant results, and Convolution Neural Network (CNN) has shown promising results. Using convolutions and pooling layers, CNN can successfully extract local information. BiLSTM uses dual LSTM orientations to increase the amount of background knowledge available to deep learning models. The suggested hybrid model combines the benefits of these two deep learning-based algorithms. The data source for analysis and classification was user reviews of Indian Railway Services on Twitter. The suggested hybrid model uses the Keras Embedding technique as an input source. The suggested model takes in data and generates lower-dimensional characteristics that result in a categorization result. The suggested hybrid model's performance was compared using Keras and Word2Vec, and the proposed model showed a significant improvement in response with an accuracy of 95.19 percent.

• 한국컴퓨터정보학회논문지
• /
• 제27권5호
• /
• pp.21-28
• /
• 2022

심혈관질환은 심장질환과 혈관질환 등 순환기계통에 생기는 모든 질병을 통칭한다. 심혈관질환은 2019년 사망의 1/3을 차지하는 전 세계 사망의 주요 원인이며, 사망자는 계속 증가하고 있다. 이와 같은 질병을 인공지능을 활용해 환자의 데이터로 미리 예측이 가능하다면 질병을 조기에 발견해 치료할 수 있을 것이다. 본 연구에서는 심혈관질환 중 하나인 심장질환을 예측하는 모델들을 생성하였으며 Accuracy, Precision, Recall의 측정값을 지표로 하여 모델들의 성능을 비교한다. 또한 Decision Tree의 성능을 향상시키는 방법에 대해 기술한다. 본 연구에서는 macOS Big Sur환경에서 Jupyter Notebook으로 Python을 사용해 scikit-learn, Keras, TensorFlow 라이브러리를 이용하여 실험을 진행하였다. 연구에 사용된 모델은 Decision Tree, KNN(K-Nearest Neighbor), SVM(Support Vector Machine), DNN(Deep Neural Network)으로 총 4가지 모델을 생성하였다. 모델들의 성능 비교 결과 Decision Tree 성능이 가장 높은 것으로 나타났다. 본 연구에서는 노드의 특성배치를 변경하고 트리의 최대 깊이를 3으로 지정한 Decision Tree를 사용하였을 때 가장 성능이 높은 것으로 나타났으므로 노드의 특성 배치 변경과 트리의 최대 깊이를 설정한 Decision Tree를 사용하는 것을 권장한다.

• International Journal of Computer Science & Network Security
• /
• 제22권4호
• /
• pp.119-130
• /
• 2022

Crime is a common social problem that affects the quality of life. As the number of crimes increases, it is necessary to build a model to predict the number of crimes that may occur in a given period, identify the characteristics of a person who may commit a particular crime, and identify places where a particular crime may occur. Data privacy is the main challenge that organizations face when building this type of predictive models. Federated learning (FL) is a promising approach that overcomes data security and privacy challenges, as it enables organizations to build a machine learning model based on distributed datasets without sharing raw data or violating data privacy. In this paper, a federated long short- term memory (LSTM) model is proposed and compared with a traditional LSTM model. Proposed model is developed using TensorFlow Federated (TFF) and the Keras API to predict the number of crimes. The proposed model is applied on the Boston crime dataset. The proposed model's parameters are fine tuned to obtain minimum loss and maximum accuracy. The proposed federated LSTM model is compared with the traditional LSTM model and found that the federated LSTM model achieved lower loss, better accuracy, and higher training time than the traditional LSTM model.

• 한국인터넷방송통신학회논문지
• /
• 제21권3호
• /
• pp.107-114
• /
• 2021

최근 다양한 분야에 인공지능 기술이 도입되고, 학계 관심이 늘어남에 따라 다양한 기계학습 모델들이 여러 프레임워크에서 운용되고 있다. 하지만 이러한 프레임워크들은 서로 다른 데이터 포맷을 가지고 있어, 상호운용성이 부족하며 이를 극복하기 위해 오픈 신경망 교환 포맷인 ONNX가 제안되었다. 본 논문에서는 여러 기계학습 모델을 ONNX로 변환하는 방법을 설명하고, 통합된 ONNX 포맷에서 기계학습 기법을 판별할 수 있는 알고리즘 및 추론 시스템을 제안한다. 또한, ONNX 변환 전·후 모델의 추론 성능을 비교하여 ONNX 변환 간 학습 결과의 손실이나 성능 저하가 없음을 보인다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
• /
• pp.231-232
• /
• 2021

본 논문에서는 딥러닝 모델 중 Keras 기반 LSTM 모델과 KoGPT-2 모델을 이용하여 학습한 결과를 바탕으로 카테고리 별 키워드 기반의 배달 음식점 리뷰를 생성하는 방법을 제안한다. 데이터는 주로 맛, 양, 배달, 가격으로 구성되어 있으며 이를 카테고리 별로 구분하였다. 또한 새롭게 생성된 텍스트는 의미와 문맥을 판단하여 기존 리뷰 데이터와 비슷하게 구현하였다. 모델마다 성능을 비교하기 위해 정량적, 정성적 평가를 진행하였다.