• Title/Summary/Keyword: 전처리 시스템

Search Result 1,240, Processing Time 0.041 seconds

An Efficient Parallelization Mechanism for Preprocessing of Genome Sequence Data on HPC environment (고성능 클러스터와 분산 병렬 파일 시스템을 이용한 유전체데이터 전처리 작업의 효율적인 병렬화 기법)

  • Byun, Eun-Kyu;Mun, Ji-hyeob;Kwak, Jae-Hyuck
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.10a
    • /
    • pp.50-53
    • /
    • 2018
  • 차세대 염기서열 분석법이 생성한 유전체 원시 데이터를 기존의 방식대로 하나의 서버에서 분석하기 위해서는 수십 시간이 필요할 수 있고 이러한 시간을 최대한 줄여야 하는 응급 상황도 존재한다. 따라서 본 연구에서는 고속의 네트워크로 연결되고 병렬 파일 시스템을 공유하는 서버 클러스터를 활용하여 분석 시간을 크게 단축 시킬 수 있는 유전체 데이터 분석의 전처리 프로세스의 병렬화 방법을 제안한다. 기존의 검증된 분석도구를 기반으로 프로세스의 병렬화, 데이터의 분배 및 병렬 병합 기법을 개발하였고 실험을 통해 성능을 향상 시킬 수 있음을 증명하였다.

A Prediction System of Sentence using Deep Learning (답러닝을 활용한 문장 예측 시스템)

  • Jung, Jin-mo;Ji, Soo-jin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.05a
    • /
    • pp.402-404
    • /
    • 2018
  • 본 논문은 기존에 주어진 문장 다음에 올 수 있는 문장에 대해 딥러닝을 활용하여 예측하는 시스템이며, 데이터 전처리, 문장 목적 파악, 문맥 파악의 세가지 파트로 구성되어 있다. 전처리 과정에서는 문장에 쓰인 단어에 대한 품사 정보를 Input Feature 로 추가한다. 이어서 문장 목적 파악을 위해서는 상황별로 문장을 표현하는 방법이나 단어들의 순서가 다르기 때문에 단어의 순서보다는 문장의 특징점을 학습한다. 마지막으로 문맥 파악을 위해서 이전 단계에서 학습된 문장별 목적 데이터를 기반으로 데이터의 시간적 흐름에 대한 학습을 진행함으로써 이후에 나올 수 있는 문장을 예측한다.

A study on data preprocessing method for conversational query-based fashion recommendation system (대화질의 기반 패션 추천시스템을 위한 데이터 전처리 방법에 관한 연구)

  • Choi, Chul-woong;Yeom, Sung-woong;Kim, Kyung-baek
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.815-818
    • /
    • 2021
  • 현재 대부분의 패션 추천시스템은 프로필 또는 설문조사를 통해 수집 된 사용자의 정적 정보를 활용하고 있다. 사용자의 정적 정보는 매우 한정적이며 이를 활용하여 다양한 환경에 적합한 패션 코디셋을 추천하기란 매우 어렵다. AI코디네이터와 사용자간의 지속적인 대화가 담긴 대화질의 데이터셋을 사용하면 사용자의 상황과 환경을 고려하여 개인에게 최적화 된 패션 코디셋을 추천할 수 있다. 본 논문에서는 한국전자통신연구원(ETRI)에서 제공하는 AI 패션 코디네이터와 사용자의 대화 정보가 담긴 FASCODE 데이터셋을 사용하여 사용자의 발화에 따라 의상을 추천하는 인공지능 모델을 위한 대화질의 데이터 전처리 방법을 제안한다.

Designing a 3D-CNN for Non-Contact PPG Signal Acquisition Based on Video Imaging (영상기반 비접촉식 PPG 신호 취득을 위한 3D-CNN 설계)

  • Tae-Wan Kim;Chan-Uk ,Yeom;Keun-Chang Kawk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.627-629
    • /
    • 2023
  • 생체 신호를 분석하여 사용자의 건강과 정신 상태를 예측하고, 관련 질병에 관해 예방하는 연구가 늘어나고 있다. 생체 신호 중 심박은 사람의 육체, 정신적인 상태를 반영하는 대표적인 신호이지만 기존의 접촉 패드를 통한 ECG나 광학 센서를 통한 PPG로 심박을 예측할 때는 구속적인 환경이 필요하여 일상적인 상황 속에 적용하기 어려웠다. 이러한 단점을 해결하고자 본 논문은 UBFC-RPPG 데이터셋의 동영상 프레임을 RGB 채널마다 다른 가중치를 적용하는 전처리를 하여 학습 데이터의 크기를 줄이면서 정확도를 높이고, 3D-CNN을 활용한 딥러닝으로 순간적인 영상에서도 PPG 신호를 예측할 수 있도록 1초 전처리 영상을 학습한 후, 신호를 예측하는 것을 목표로 한다. 이렇게 비접촉식으로 취득된 신호는 더 다양한 환경에서의 감정분류, 우울증 진단, 질병 감지 등 다양한 분야에 활용될 수 있다.

Diabetic Retinopathy Classification with ResNet50 Model Based Multi-Preprocessing (당뇨병성 망막증 분류를 위한 ResNet50 모델 기반 다중 전처리 기법)

  • Da HyunMok;Gyurin Byun;Juchan Kim;Hyunseung Choo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.621-623
    • /
    • 2023
  • 본 연구는 당뇨병성 망막증의 자동 분류를 위해 딥러닝 모델을 활용한다. CLAHE 를 사용한 전처리로 이미지의 대비를 향상시켰으며, ResNet50 모델을 기반으로 한 전이학습을 통해 모델의 성능을 향상했다. 또한, 데이터의 불균형을 고려하여 정확도 뿐만 아니라 민감도와 특이도를 평가함으로써 모델의 분류 성능을 종합적으로 평가하였다. 실험 결과, 제안한 방법은 당뇨병성 망막증 분류 작업에서 높은 정확도를 달성하였으나, 양성 클래스의 식별에서 일부 한계가 있었다. 이에 데이터의 품질 개선과 불균형 데이터 처리에 초점을 맞춘 향후 연구 방향을 제시하였다.

Dynamic Analytic Data Preprocessing Techniques for Malware Detection (악성코드 탐지를 위한 동적 분석 데이터 전처리 기법)

  • Hae-Soo Kim;Mi-Hui Kim
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.230-231
    • /
    • 2023
  • 악성코드를 탐지하는 기법 중 동적 분석데이터와 같은 시계열 데이터는 프로그램마다 호출되는 API의 수가 모두 다르다. 하지만 딥러닝 모델을 통해 분석할 때는 모델의 입력이 되는 데이터의 크기가 모두 같아야 한다. 이에 본 논문은 TF-IDF(Term Frequency-Inverse Document Frequency)와 슬라이딩 윈도우 기법을 이용해 프로그램의 동적 특성을 유지하면서 데이터의 길이를 일정하게 만들 수 있는 전처리 기법과 LSTM(Long Short-Term Memory) 모델을 통해 정확도(Accuracy) 95.89%, 재현율(Recall) 97.08%, 정밀도(Precision) 95.9%, F1-score 96.48%를 달성했다.

Dynamic Threshold Value Decision in Image Binarization using Neural Network and Vi sion System (신경망과 비젼 시스템을 이용한 영상의 이진화에서 동적 임계값 설정)

  • 김영탁;문희근;김수정;김관형;탁한호;이상배
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2002.12a
    • /
    • pp.313-316
    • /
    • 2002
  • 이동 물체의 이동 거리 추적이나 대상 물체의 인식과 판별 물체의 특징 추출과 같은 응용분야에서 컴퓨터(Computer)와 비젼시스템(vision system)을 이용한 영상 데이터 처리 분야에 대한 이용률이 증가하면서, 그에 따른 연구가 활발히 진행되고 있다. 따라서 CCD 카메라(Charge-Couple Device Camera)로부터 입력된 그레이 레벨(Gray Level)의 영상을 입력받아 처리과정을 거쳐 위치정보를 전송하는 과정에서 정확한 정보를 얻기 위한 전처리 과정 방법을 제안하고, 실제 시스템에 적용한 결과를 제시한다. 여기서 영상의 전처리 과정 중 입력 영상에서 불필요한 부분을 제거하거나, 배경과 대상물의 분리, 내포된 잡음을 없애기 위하여 흔히 이진화 방법을 많이 사용한다 특히 이진화 과정에서 그레이 레벨의 입력영상에서 히스토그램(histogram) 정보를 이용하여 영상의 이진화시의 임계값을 찾는 것은 아주 중요한 요인이다 따라서 본 논문에서는 신경회로망을 이용하여 실시간으로 CCD 카메라를 통하여 입력되는 그레이 레벨의 입력 영상에 대하여 동적으로 적당한 임계값을 .찾는 방법을 제안하고자한다. 또한 제안한 신경회로망을 이용한 임계값 추출 알고리즘(algorithms)을 구현한 시스템(system)에 적용하여 일반적인 방법과 비교 검토하고 응용 가능성을 확인한다.

Comparative Study of Anomaly Detection Accuracy of Intrusion Detection Systems Based on Various Data Preprocessing Techniques (다양한 데이터 전처리 기법 기반 침입탐지 시스템의 이상탐지 정확도 비교 연구)

  • Park, Kyungseon;Kim, Kangseok
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.10 no.11
    • /
    • pp.449-456
    • /
    • 2021
  • An intrusion detection system is a technology that detects abnormal behaviors that violate security, and detects abnormal operations and prevents system attacks. Existing intrusion detection systems have been designed using statistical analysis or anomaly detection techniques for traffic patterns, but modern systems generate a variety of traffic different from existing systems due to rapidly growing technologies, so the existing methods have limitations. In order to overcome this limitation, study on intrusion detection methods applying various machine learning techniques is being actively conducted. In this study, a comparative study was conducted on data preprocessing techniques that can improve the accuracy of anomaly detection using NGIDS-DS (Next Generation IDS Database) generated by simulation equipment for traffic in various network environments. Padding and sliding window were used as data preprocessing, and an oversampling technique with Adversarial Auto-Encoder (AAE) was applied to solve the problem of imbalance between the normal data rate and the abnormal data rate. In addition, the performance improvement of detection accuracy was confirmed by using Skip-gram among the Word2Vec techniques that can extract feature vectors of preprocessed sequence data. PCA-SVM and GRU were used as models for comparative experiments, and the experimental results showed better performance when sliding window, skip-gram, AAE, and GRU were applied.

Performance Improvements of WiBro System Using the LVQ Blind Equalization (LVQ 자력등화를 이용한 와이브로 시스템의 성능 개선)

  • Park, Jin-Woo
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.14 no.10
    • /
    • pp.2247-2253
    • /
    • 2010
  • WiBro(Wireless Broadband Internet) is the standard of high-speed portable internet based on OFDMA/TDD (Orthogonal frequency division multiple access / Time division duplexing) techniques, and the subset of consolidated version of IEEE802.16e Wireless MAN standard. In this paper, we propose performance improvements of WiBro system using the LVQ(Learning Vector Quantization) blind equalization. Proposed method used the prefiltering LVQ neural network blind equalization in the Broadband WiBro system receiver. The prefiltering LVQ neural network constellates 16QAM that is transmitter data shape and the blind equalization removes ICI(Inter Carrier Interference). To verificate the proposed method usability, the MSE(Mean Square Error) and the BER(Bit Error Rate) are simulated. The simulation results shown that is improved the performances of the proposed WiBro system using the LVQ blind equalization than the existing WiBro system.

Preprocessing and Facial Feature Robust to Illumination Variations (조명변화에 강인한 전처리 및 얼굴특징)

  • Kim, Dong-Ju;Lee, Sang-Heon;Kim, Hyun-Duk
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.2 no.7
    • /
    • pp.503-506
    • /
    • 2013
  • In this paper, we propose the face recognition method combining the ECSP preprocessing technique which is modified version of previous CS-LBP and the illumination-robust D2D-PCA feature. The performance evaluation of proposed method was carried out using various binary pattern operators and feature extraction algorithms such as well-known PCA and 2D-PCA on the Yale B database. As a results, the proposed method showed the best recognition accuracy compared to different approaches, and we confirmed that the proposed approach is robust to illumination variation.