• 제목/요약/키워드: Unsupervised

검색결과 822건 처리시간 0.025초

약물부작용감시시스템에서 재현성 평가를 통한 마이닝 모델 개발 (Development of Mining model through reproducibility assessment in Adverse drug event surveillance system)

  • 이영호;윤영미;이병문;황희정;강운구
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권3호
    • /
    • pp.183-192
    • /
    • 2009
  • 약물부작용감시시스템 (Adverse drug event surveillance system)은 약물부작용신호를 이용하여 약물의 부작용 여부를 식별하는 시스템이다. 기존의 자발적 보고나 차트리뷰 보다 효율성이 뛰어난 시스템으로 분류할 수 있다. 본 논문에서는 약물부작용감시시스템을 구현하기 위하여 임상데이터마트(GDM)를 구축하였다. 특히, 데이터 품질관리 기법을 적용하여 구축된 CDM에 지식 탐사 기법 중 비교사학습 기법으로 적용하여 모델의 재현성을 평가하여 최적의 약물부작용 군집화 개수(n=4)를 도출하였다. 군집화 개수(n=4)를 이용하여 약물부작용 판별을 위한 K-means, Kohonen, two-step clustering model 알고리즘에 적용하여 분석함으로써 K-means 알고리즘이 가장 우수한 군집 효과를 나타냄을 확인하였다.

생성적 적대 신경망을 활용한 부분 위변조 이미지 생성에 관한 연구 (A Study on Image Creation and Modification Techniques Using Generative Adversarial Neural Networks)

  • 송성헌;최봉준;문미경
    • 한국전자통신학회논문지
    • /
    • 제17권2호
    • /
    • pp.291-298
    • /
    • 2022
  • 생성적 적대 신경망(Generative Adversarial Networks, GAN)은 내부의 두 신경망(생성망, 판별망)이 상호 경쟁하면서 학습하는 네트워크이다. 생성자는 현실과 가까운 이미지를 만들고, 구분자는 생성자의 이미지를 더 잘 감별하도록 프로그래밍 되어있다. 이 기술은 전체 이미지 X를 다른 이미지 Y로 생성, 변환 및 복원하기 위해 다양하게 활용되고 있다. 본 논문에서는 원본 이미지에서 부분 이미지만 추출한 후, 이를 자연스럽게 다른 객체로 위변조할 수 있는 방법에 관해 기술한다. 먼저 원본 이미지에서 부분 이미지만 추출한 후, 기존에 학습시켜놓은 DCGAN 모델을 통해 새로운 이미지를 생성하고, 이를 전체적 스타일 전이(overall style transfer) 기술을 사용하여 원본 이미지의 질감과 크기에 어울리도록 리스타일링(re-styling) 한 후, 원본 이미지에 자연스럽게 결합하는 과정을 거친다. 본 연구를 통해 원본 이미지의 특정 부분에 사용자가 원하는 객체 이미지를 자연스럽게 추가/변형할 수 있음으로써 가짜 이미지 생성의 또 다른 활용 분야로 사용될 수 있을 것이다.

반복적 기법을 사용한 그래프 기반 단어 모호성 해소 (Graph-Based Word Sense Disambiguation Using Iterative Approach)

  • 강상우
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제13권2호
    • /
    • pp.102-110
    • /
    • 2017
  • 최근 자연어 처리 분야에서 단어의 모호성을 해소하기 위해서 다양한 기계 학습 방법이 적용되고 있다. 지도 학습에 사용되는 데이터는 정답을 부착하기 위해 많은 비용과 시간이 필요하므로 최근 연구들은 비지도 학습의 성능을 높이기 위한 노력을 지속적으로 시도하고 있다. 단어 모호성 해소(word sense disambiguation)를 위한 비지도 학습연구는 지식 기반(knowledge base)를 이용한 방법들이 주목받고 있다. 이 방법은 학습 데이터 없이 지식 기반의 정보을 이용하여 문장 내에서 모호성을 가지는 단어의 의미를 결정한다. 지식 기반을 이용한 방법에는 그래프 기반방식과 유사도 기반 방법이 대표적이다. 그래프 기반 방법은 모호성을 가지는 단어와 그 단어가 가지는 다양한 의미들의 집합 간의 모든 경로에 대한 의미 그래프를 구축한다는 장점이 있지만 불필요한 의미 경로가 추가되어 오류를 증가시킨다는 단점이 있다. 이러한 문제를 해결하기 위해 본 논문에서는 그래프 구축을 위해 불필요한 간선들을 배제하면서 반복적으로 그래프를 재구축하는 모델을 제안한다. 또한, 구축된 의미 그래프에서 더욱 정확한 의미를 예측하기 위해 하이브리드 유사도 예측 모델을 적용한다. 또한 제안된 모델은 다국어 어휘 의미망 사전인 BabelNet을 사용하기 때문에 특정 언어뿐만 아니라 다양한 언어에도 적용 가능하다.

머신 러닝을 사용한 이미지 클러스터링: K-means 방법을 사용한 InceptionV3 연구 (Image Clustering Using Machine Learning : Study of InceptionV3 with K-means Methods.)

  • 닌담 솜사우트;이효종
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.681-684
    • /
    • 2021
  • In this paper, we study image clustering without labeling using machine learning techniques. We proposed an unsupervised machine learning technique to design an image clustering model that automatically categorizes images into groups. Our experiment focused on inception convolutional neural networks (inception V3) with k-mean methods to cluster images. For this, we collect the public datasets containing Food-K5, Flowers, Handwritten Digit, Cats-dogs, and our dataset Rice Germination, and the owner dataset Palm print. Our experiment can expand into three-part; First, format all the images to un-label and move to whole datasets. Second, load dataset into the inception V3 extraction image features and transferred to the k-mean cluster group hold on six classes. Lastly, evaluate modeling accuracy using the confusion matrix base on precision, recall, F1 to analyze. In this our methods, we can get the results as 1) Handwritten Digit (precision = 1.000, recall = 1.000, F1 = 1.00), 2) Food-K5 (precision = 0.975, recall = 0.945, F1 = 0.96), 3) Palm print (precision = 1.000, recall = 0.999, F1 = 1.00), 4) Cats-dogs (precision = 0.997, recall = 0.475, F1 = 0.64), 5) Flowers (precision = 0.610, recall = 0.982, F1 = 0.75), and our dataset 6) Rice Germination (precision = 0.997, recall = 0.943, F1 = 0.97). Our experiment showed that modeling could get an accuracy rate of 0.8908; the outcomes state that the proposed model is strongest enough to differentiate the different images and classify them into clusters.

Precision Agriculture using Internet of Thing with Artificial Intelligence: A Systematic Literature Review

  • Noureen Fatima;Kainat Fareed Memon;Zahid Hussain Khand;Sana Gul;Manisha Kumari;Ghulam Mujtaba Sheikh
    • International Journal of Computer Science & Network Security
    • /
    • 제23권7호
    • /
    • pp.155-164
    • /
    • 2023
  • Machine learning with its high precision algorithms, Precision agriculture (PA) is a new emerging concept nowadays. Many researchers have worked on the quality and quantity of PA by using sensors, networking, machine learning (ML) techniques, and big data. However, there has been no attempt to work on trends of artificial intelligence (AI) techniques, dataset and crop type on precision agriculture using internet of things (IoT). This research aims to systematically analyze the domains of AI techniques and datasets that have been used in IoT based prediction in the area of PA. A systematic literature review is performed on AI based techniques and datasets for crop management, weather, irrigation, plant, soil and pest prediction. We took the papers on precision agriculture published in the last six years (2013-2019). We considered 42 primary studies related to the research objectives. After critical analysis of the studies, we found that crop management; soil and temperature areas of PA have been commonly used with the help of IoT devices and AI techniques. Moreover, different artificial intelligence techniques like ANN, CNN, SVM, Decision Tree, RF, etc. have been utilized in different fields of Precision agriculture. Image processing with supervised and unsupervised learning practice for prediction and monitoring the PA are also used. In addition, most of the studies are forfaiting sensory dataset to measure different properties of soil, weather, irrigation and crop. To this end, at the end, we provide future directions for researchers and guidelines for practitioners based on the findings of this review.

비지도 기계학습을 통한 유출 발생 내 이력 현상 구분 (Classification of hysteretic loop feature for runoff generation through a unsupervised machine learning algorithm)

  • 이은형;전항탁;김다홍;배시배시프라이데이;김상현
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.360-360
    • /
    • 2022
  • 토양수분과 유출 간 관계를 정량화하는 것은 수문 기작 및 유출 발생 과정의 이해를 위한 중요한 정보를 제공한다. 특히, 유출과정의 특성화는 수문 사상에 따른 불포화대 내 토양수 및 토사 손실 제어와 산사태 및 비점오염원 발생 예측을 위해 필수적이다. 유출과정과 관련된 비선형성과 복잡성을 확인하기 위해 토양수분과 유출 사이의 이력 거동이 조사되었다. 특히, 수문 과정 내 이력 현상 구체화를 위해 정성적인 시각적 분류 및 정량적 평가를 위한 이력 지수들이 개발되었다. 정성적인 시각적 분류는 시간에 따라 시계 및 반시계방향으로 다중 루프 형상을 나누는 방식으로 진행되었고, 정량적 평가의 경우 이력 고리(Hysteretic loop) 내 상승 고리(Rising limb)와 하강 고리(Falling limb)의 차이를 기준으로 한 지수로 이력 현상을 특성화하였다. 이전에 제안된 방법론들은 연구자의 판단이 들어가기 때문에 보편적이지 않고 이력 현상을 개발된 지수에 맞춤에 따라 자료 손실이 나타나는 한계가 존재한다. 자료의 손실 없이 불포화대 내 발생 가능한 대표 이력 현상을 자동으로 추출하기 위해 적합한 비지도 학습기반 기계학습 방법론의 제안이 필요하다. 우리 연구에서는 국내 산지 사면에서 강우 사상 동안 다중 깊이(10, 30, 60cm)로 56개의 토양수분 측정지점에서 확보된 토양수분 시계열 자료와 산지 사면 내 위어를 통해 확보된 유출 시계열 자료를 사용하였다. 먼저, 기존에 분류 방법을 기반으로 계절 및 공간특성에 따라 지배적으로 발생하는 토양수분-유출 간 이력 현상을 특성화하였다. 다음으로, 토양수분-유출 간 이력 패턴을 자료 손실 없이 형상화하여 자동으로 데이터베이스화하는 알고리즘을 개발하였다. 마지막으로, 비지도 학습방법을 이용하여 데이터베이스화된 실제 발현 이력 현상 내 확률분포를 최대한 가깝게 추정하는 은닉층을 반복적인 재구성 학습을 통해 구현함으로써 대표 이력 현상 패턴을 추출하였다.

  • PDF

레이더 군집화를 위한 반복 K-means 클러스터링 알고리즘 (Repeated K-means Clustering Algorithm For Radar Sorting)

  • 박동현;서동호;백지현;이원진;장동의
    • 한국군사과학기술학회지
    • /
    • 제26권5호
    • /
    • pp.384-391
    • /
    • 2023
  • In modern electronic warfare, a number of radar emitters are in operation, causing radar receivers to receive high-density signal pulses that occur simultaneously. To analyze the radar signals more accurately and identify enemies, the sorting process of high-density radar signals is very important before analysis. Recently, machine learning algorithms, specifically K-means clustering, are the subject of research aimed at improving the accuracy of radar signal sorting. One of the challenges faced by these studies is that the clustering results can vary depending on how the initial points are selected and how many clusters number are set. This paper introduces a repeated K-means clustering algorithm that aims to accurately cluster all data by identifying and addressing false clusters in the radar sorting problem. To verify the performance of the proposed algorithm, experiments are conducted by applying it to simulated signals that are generated by a signal generator.

오토인코더 기반 IoT 디바이스 트래픽 이상징후 탐지 방법 연구 (Autoencoder-Based Anomaly Detection Method for IoT Device Traffics)

  • 박승아;장예진;김다슬;한미란
    • 정보보호학회논문지
    • /
    • 제34권2호
    • /
    • pp.281-288
    • /
    • 2024
  • 6세대(6G) 이동통신 기술은 초고속과 초대역, 그리고 초연결성을 중심으로 발전하고 있다. 통신 기술의 발전으로 사물 인터넷(IoT) 기술에서 만물 인터넷(IoE) 기술로 확장되며 초연결 사회의 형성이 급속화되고 있다. 하지만 그와 동시에 IoT 디바이스를 대상으로 하는 보안 위협이 광범위해지고 무단 액세스나 정보 유출 등 침해사고에 대한 우려가 커지며 보안 강화 솔루션의 필요성이 증가하고 있다. 이에 따라, 본 논문에서는 IoT 보안 위협에 대응하기 위해 실시간으로 수집한 네트워크 트래픽을 활용하여 오토인코더 기반의 이상징후 탐지 모델을 구현한다. 실제 IoT 환경에서 각종 공격에 대한 IoT 디바이스 트래픽 데이터를 수집하기 어려운 점을 고려하여 비지도 학습 기반의 오토인코더 신경망을 사용하며, 학습 데이터의 노이즈 적용과 잠재 공간의 차원에 따라 서로 다른 6가지 오토인코더 모델을 구현한다. 실험을 통해 모델 성능을 비교하여 비정상적인 네트워크 트래픽을 탐지하는 이상징후 탐지 모델에 대한 성능 평가를 제공한다.

그래프 기반 이기종 위협정보 분석기술 연구 (A Study on Graph-Based Heterogeneous Threat Intelligence Analysis Technology)

  • 이예은;이태진
    • 정보보호학회논문지
    • /
    • 제34권3호
    • /
    • pp.417-430
    • /
    • 2024
  • 현대 기술의 발전과 인터넷의 보급이 확대되면서 사이버 위협도 증가하고 있다. 이러한 위협에 효과적으로 대응하기 위해 CTI(Cyber Threat Intelligence)의 활용에 대한 중요성이 커지고 있다. 이러한 CTI는 과거의 사이버 위협 데이터에 기반하여 새로운 위협에 대한 정보를 제공하지만, 데이터의 복잡성과 공격 패턴의 변화 등 다양한 요인으로 인해 분석의 어려움을 겪고 있다. 이러한 문제를 해결하기 위해, 본 연구는 다차원적 관계를 포괄적으로 나타낼 수 있는 그래프 데이터의 활용하고자 한다. 구체적으로는 악성코드 데이터를 대상으로 이기종 그래프를 구축하고, metapath2vec의 노드 임베딩 방법을 활용하여 사이버 공격 그룹을 더 효과적으로 식별하고자 한다. 결론적으로 토폴로지 정보를 기존 악성코드 데이터에 추가로 활용하였을 때 탐지성능에 미치는 영향을 분석함으로써, 사이버 보안 분야에 새로운 실질적 적용 가능성을 제시하며, CTI 분석의 한계를 극복하는 데 기여하고자 한다.

Arabic Stock News Sentiments Using the Bidirectional Encoder Representations from Transformers Model

  • Eman Alasmari;Mohamed Hamdy;Khaled H. Alyoubi;Fahd Saleh Alotaibi
    • International Journal of Computer Science & Network Security
    • /
    • 제24권2호
    • /
    • pp.113-123
    • /
    • 2024
  • Stock market news sentiment analysis (SA) aims to identify the attitudes of the news of the stock on the official platforms toward companies' stocks. It supports making the right decision in investing or analysts' evaluation. However, the research on Arabic SA is limited compared to that on English SA due to the complexity and limited corpora of the Arabic language. This paper develops a model of sentiment classification to predict the polarity of Arabic stock news in microblogs. Also, it aims to extract the reasons which lead to polarity categorization as the main economic causes or aspects based on semantic unity. Therefore, this paper presents an Arabic SA approach based on the logistic regression model and the Bidirectional Encoder Representations from Transformers (BERT) model. The proposed model is used to classify articles as positive, negative, or neutral. It was trained on the basis of data collected from an official Saudi stock market article platform that was later preprocessed and labeled. Moreover, the economic reasons for the articles based on semantic unit, divided into seven economic aspects to highlight the polarity of the articles, were investigated. The supervised BERT model obtained 88% article classification accuracy based on SA, and the unsupervised mean Word2Vec encoder obtained 80% economic-aspect clustering accuracy. Predicting polarity classification on the Arabic stock market news and their economic reasons would provide valuable benefits to the stock SA field.