• 제목/요약/키워드: Data Mining Technique

검색결과 640건 처리시간 0.035초

사출성형공정에서 데이터의 불균형 해소를 위한 담금질모사 (Simulated Annealing for Overcoming Data Imbalance in Mold Injection Process)

  • 이동주
    • 산업경영시스템학회지
    • /
    • 제45권4호
    • /
    • pp.233-239
    • /
    • 2022
  • The injection molding process is a process in which thermoplastic resin is heated and made into a fluid state, injected under pressure into the cavity of a mold, and then cooled in the mold to produce a product identical to the shape of the cavity of the mold. It is a process that enables mass production and complex shapes, and various factors such as resin temperature, mold temperature, injection speed, and pressure affect product quality. In the data collected at the manufacturing site, there is a lot of data related to good products, but there is little data related to defective products, resulting in serious data imbalance. In order to efficiently solve this data imbalance, undersampling, oversampling, and composite sampling are usally applied. In this study, oversampling techniques such as random oversampling (ROS), minority class oversampling (SMOTE), ADASYN(Adaptive Synthetic Sampling), etc., which amplify data of the minority class by the majority class, and complex sampling using both undersampling and oversampling, are applied. For composite sampling, SMOTE+ENN and SMOTE+Tomek were used. Artificial neural network techniques is used to predict product quality. Especially, MLP and RNN are applied as artificial neural network techniques, and optimization of various parameters for MLP and RNN is required. In this study, we proposed an SA technique that optimizes the choice of the sampling method, the ratio of minority classes for sampling method, the batch size and the number of hidden layer units for parameters of MLP and RNN. The existing sampling methods and the proposed SA method were compared using accuracy, precision, recall, and F1 Score to prove the superiority of the proposed method.

대표 속성을 이용한 최적 연관 이웃 마이닝 (Optimal Associative Neighborhood Mining using Representative Attribute)

  • 정경용
    • 전자공학회논문지CI
    • /
    • 제43권4호
    • /
    • pp.50-57
    • /
    • 2006
  • 최근 정보 기술의 발전에 따라 다양하고 폭넓은 정보들이 디지털 형태로 빠르게 생산 및 배포되고 있다. 사용자가 이러한 정보과잉 속에서 자신이 원하는 정보를 단시간 내에 검색하는 것은 그리 쉬운 일이 아니다. 따라서 유비쿼터스 상거래에서 사용자가 정보를 효율적으로 이용할 수 있도록 제어하고 필터링하는 일을 도와주는 개인화된 추천 시스템이 등장하였으며, 더 나아가 사용자가 원하는 아이템을 예측하고 추천해주고 있으며 이를 위해 협력적 필터링을 적용하고 있다. 이는 사용자의 성향에 맞는 아이템을 예측하고 추천하기 위하여 비슷한 선호도를 가지는 사용자들간의 유사도 가중치를 계산한다. 본 연구는 정보의 속성에 대한 사용자의 선호도를 고려하지 않은 문제를 개선하기 위하여 연관 이웃 마이닝을 사용하여 대표속성에 대한 연관 사용자의 선호도를 협력적 필터링에 반영하였다. 연관 이웃 마이닝은 선호도에 가장 크게 영향을 미치는 속성을 추출하여 유사한 성향을 가진 연관 사용자를 군집한다. 제안된 방법은 사용자가 아이템에 대해서 평가한 MovieLens 데이터 집합을 대상으로 평가되었으며, 기존의 nearest neighbor model과 K-means 군집보다 그 성능이 우수함을 보인다.

An Optimized User Behavior Prediction Model Using Genetic Algorithm On Mobile Web Structure

  • Hussan, M.I. Thariq;Kalaavathi, B.
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권5호
    • /
    • pp.1963-1978
    • /
    • 2015
  • With the advancement of mobile web environments, identification and analysis of the user behavior play a significant role and remains a challenging task to implement with variations observed in the model. This paper presents an efficient method for mining optimized user behavior prediction model using genetic algorithm on mobile web structure. The framework of optimized user behavior prediction model integrates the temporary and permanent register information and is stored immediately in the form of integrated logs which have higher precision and minimize the time for determining user behavior. Then by applying the temporal characteristics, suitable time interval table is obtained by segmenting the logs. The suitable time interval table that split the huge data logs is obtained using genetic algorithm. Existing cluster based temporal mobile sequential arrangement provide efficiency without bringing down the accuracy but compromise precision during the prediction of user behavior. To efficiently discover the mobile users' behavior, prediction model is associated with region and requested services, a method called optimized user behavior Prediction Model using Genetic Algorithm (PM-GA) on mobile web structure is introduced. This paper also provides a technique called MAA during the increase in the number of models related to the region and requested services are observed. Based on our analysis, we content that PM-GA provides improved performance in terms of precision, number of mobile models generated, execution time and increasing the prediction accuracy. Experiments are conducted with different parameter on real dataset in mobile web environment. Analytical and empirical result offers an efficient and effective mining and prediction of user behavior prediction model on mobile web structure.

트리거와 점진적 갱신기법을 이용한 연관규칙 탐사의 능동적 후보항목 관리 모델 (An Active Candidate Set Management Model on Association Rule Discovery using Database Trigger and Incremental Update Technique)

  • 황정희;신예호;류근호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제29권1호
    • /
    • pp.1-14
    • /
    • 2002
  • 연관규칙 탐사는 지지도와 신뢰도를 바탕으로 연관성 있는 강한 항목들을 탐사한다. 탐사된 연관규칙은 장바구니 분석 등과 같이 전자 상거래 및 대형 소매점 등의 판매 패턴에 대한 분석에 유용하게 적용될 수 있다. 이와 같은 연관규칙 탐사는 대규모로 축적되어 트랜잭션 데이터를 대상으로 하는 기법으로서 대규모 데이터에 대한 반복적 스캔연산을 수반한다. 그러므로 매우 높은 연산 부하를 안고 있으며 이로 인해 동적 환경에서 실시간 제한사항을 탐사에 대한 시도를 하지 못하고 있다. 따라서 이 논문에서는 연관규칙 탐사의 비 실시간적 제한사항을 위하여 트리거와 점진적 갱신 기법을 이용한 능동적 후보항목 관리 모델을 제안하였다. 아울러 제안 모델을 구현하기 위해 점진적 갱신 기법을 이용한 능동적 후보항목 관리 모델을 제한하였다. 아울러 제안 모델을 구현하기 위해 점진적 갱신 연산의 구현 모델을 제시하고 이의 구현 및 실험을 통해 성능 특성을 분석하였다.

저소득층 대학생들의 진로준비과정에서의 성별·전공별 특성에 대한 사례연구: 텍스트 빈도분석과 연관분석의 적용 (A Case Study on Characteristics of Gender and Major in Career Preparation of University Students from Low-income Families: Application of Text Frequency Analysis and Association Rules)

  • 이지혜;이신혜
    • 디지털융복합연구
    • /
    • 제16권12호
    • /
    • pp.61-69
    • /
    • 2018
  • 이 연구는 청년들의 높은 비정규직 비율과 계층 양극화의 우려 속에서 저소득층 대학생의 진로준비과정에 대해 이해하고 시사점을 구하기 위한 것이다. 이를 위하여 S 장학재단에서 장학금 지원을 받는 13명의 대학생들을 연구 대상으로 선정하였고, 6회의 인터뷰를 진행하여 그 축어록을 바탕으로 텍스트마이닝 기법을 활용한 분석을 실시하였다. 분석 결과, 대학생들은 인터뷰 과정에서 이전의 학업 경험을 회상하거나 진로를 설계할 때, 가정환경과 소득수준의 영향을 받는 것으로 보이며, 이러한 차이는 성별, 전공별로 다른 특성이 있는 것으로 나타났다. 이 연구는 질적 연구 방법으로 축적된 자료에 텍스트마이닝 기법을 융합적으로 적용하여 분석한 연구로 종래의 진로연구에 비하여 방법론적 확장을 시도했다는 의의를 갖고 있다. 그 결과, 저소득층 대학교 장학생들의 성별 및 전공별 진로준비과정의 차이를 대학생활 및 진로준비와 관련된 단어들의 관계를 통해 탐색적으로 살펴볼 수 있었다.

온라인 음악 콘텐츠 추천 시스템 구현을 위한 협업 필터링 기법들의 비교 평가 (Evaluation of Collaborative Filtering Methods for Developing Online Music Contents Recommendation System)

  • 유영석;김지연;손방용;정종진
    • 전기학회논문지
    • /
    • 제66권7호
    • /
    • pp.1083-1091
    • /
    • 2017
  • As big data technologies have been developed and massive data have exploded from users through various channels, CEO of global IT enterprise mentioned core importance of data in next generation business. Therefore various machine learning technologies have been necessary to apply data driven services but especially recommendation has been core technique in viewpoint of directly providing summarized information or exact choice of items to users in information flooding environment. Recently evolved recommendation techniques have been proposed by many researchers and most of service companies with big data tried to apply refined recommendation method on their online business. For example, Amazon used item to item collaborative filtering method on its sales distribution platform. In this paper, we develop a commercial web service for suggesting music contents and implement three representative collaborative filtering methods on the service. We also produce recommendation lists with three methods based on real world sample data and evaluate the usefulness of them by comparison among the produced result. This study is meaningful in terms of suggesting the right direction and practicality when companies and developers want to develop web services by applying big data based recommendation techniques in practical environment.

비정형데이터 수집을 통한 드라마 시청률 연관어 분석 (Analysis of drama viewership related words through unstructured data collection)

  • 강선경;이현창;신성윤
    • 한국정보통신학회논문지
    • /
    • 제21권8호
    • /
    • pp.1567-1574
    • /
    • 2017
  • 본 논문에서는 드라마의 시청률에 영향을 미치는 연관어 분석을 위해 정형화된 데이터와 비정형화된 데이터를 분석하는 내용이다. 정형화된 데이터 수집은 각 방송사의 드라마정보, 인물정보, 방송정보, 시청률정보라는 4가지 영역에서 총 19가지항목을 수집하였다. 비정형데이터는 각 방송사에서 드라마별로 운영되고 있는 게시판과 방영전 블로그와 방영후 블로그로부터 크롤링기법을 이용하여 수집하였다. 수집된 정형데이터로부터 각 방송사별 4가지 영역별에 따른 차이를 비교한 결과 방송사별 서로 유사한 결과 값을 보이고 있었다. 그리고 각 방송사의 드라마별 게시판과 블로그에서 수집된 비정형데이터로부터 출현빈도의 상관관계 분석을 통해 관련 연관어를 7개 도출하였다. 도출된 연관어는 신뢰성 분석을 통해 이루어졌다.

서버 성능 관리를 위한 장애 예측 시스템 (A Prediction System for Server Performance Management)

  • 임복출;김순곤
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권6호
    • /
    • pp.684-690
    • /
    • 2018
  • 현재 및 향후 떠오르고 있는 빅 데이터 사회에서는 수집된 정보의 분석이 그 핵심 기술로 인식되고 있다. 또한 발생되는 데이터가 보다 다양하고 더욱 대용량화 되는 특징을 가지는 빅 데이터화가 가속될 미래의 진화된 지능화 사회에서는 예측 기술을 바탕으로 가치창출을 통한 최적화된 사회를 지향할 것으로 보인다. 지속적으로 사용되어질 IT시스템 운영 시 발생되는 다양한 데이터와 대량의 데이터에 대하여 빅 데이터 기반 기술을 활용하면 IT 시스템의 장애 방지와 안정적 운영이 가능할 것이다. 본 논문에서는 서버 성능 모니터링을 통한 데이터를 수집 분석하고자 빅 데이터 수집 분석 기술을 활용한 환경을 제안하였고, 또한 장애 예측을 위한 시계열 예측 모형을 도출하여 제안하였다. 빅 데이터를 처리하는 서버 성능 관리 측면에서, 본 논문에서 제안하는 이 모델을 통하여 서버 운영자는 사전 장애 예측을 통하여 IT 시스템의 안정적 운영이 가능할 것이다.

초록데이터를 활용한 국내외 통계학 분야 연구동향 (Research trends in statistics for domestic and international journal using paper abstract data)

  • 양종훈;곽일엽
    • 응용통계연구
    • /
    • 제34권2호
    • /
    • pp.267-278
    • /
    • 2021
  • 시간이 갈 수록, 정부, 기업, 국내, 해외를 막론하고 데이터의 양이 증가하고 있다. 이에따라 학계에서도 빅데이터에 대한 연구들이 늘어나고 있다. 통계학은 빅데이터 연구의 중심이 되는 학문들 중 하나이며, 늘어나는 통계학 분야 논문 빅데이터를 통해 통계학의 연구동향을 파악해 보는 것도 재미있을 것이다. 본 연구에서는 국내와 해외의 통계학 논문들의 초록데이터를 통해 어떤 연구들이 이루어지고 있는지 분석을 진행하였다. 저자들이 선정한 논문들의 키워드 데이터 빈도를 통해 국내외 연구 동향을 분석하였고, Word Embedding 방법을 통해 해당 키워드들의 관계성을 시각화 하였다. 여기서 저자들이 선정한 키워드들 외에 Textrank를 통해 선정된 통계학 분야 논문들에서 중요하게 사용되는 단어들도 추가적으로 시각화 하였다. 마지막으로 초록 데이터에 LDA 기법을 적용하여 10가지 토픽을 알아보았다. 각 토픽들에 대한 분석을 통해 어떤 연구 주제들이 자주 연구되며, 어떤 단어들이 중요하게 사용되는지 알아보았다.

토픽 모델링 기반 내용 분석을 통한 학제 간 융합기술 도출 방법 (Discovering Interdisciplinary Convergence Technologies Using Content Analysis Technique Based on Topic Modeling)

  • 정도헌;주황수
    • 정보관리학회지
    • /
    • 제35권3호
    • /
    • pp.77-100
    • /
    • 2018
  • 본 연구는 텍스트 마이닝 기법을 활용하여 대량의 데이터로부터 학제 간 융합 기술을 발굴하는 일련의 과정을 제시하는 것을 목표로 한다. 바이오공학 기술(BT) 분야와 정보통신 기술(ICT) 분야 간의 융합 연구를 위해 (1) BT 분야의 기술용어 목록을 작성하여 대량의 학술논문 메타데이터를 수집한 후 (2) 패스파인더 네트워크 척도 알고리즘을 이용해 유망 기술의 지식 구조를 생성하고 (3) 토픽 모델링 기법을 사용하여 BT분야 중심의 내용 분석을 수행하였다. 다음 단계인 BT-ICT 융합 기술 아이템 도출을 위해, (4) BT-ICT 관련 정보를 얻기 위해 BT 기술용어 목록을 상위 개념으로 확장한 후 (5) OpenAPI 서비스를 이용하여 두 분야가 관련된 학술 정보의 메타데이터를 자동 수집하여 (6) BT-ICT 토픽 모델의 내용 분석을 실시하였다. 연구를 통해 첫째, 융합 기술의 발굴을 위해서는 기술 용어 목록의 작성이 중요한 지식 베이스가 된다는 점과 둘째, 대량의 수집 문헌을 분석하기 위해서는 데이터의 차원을 줄여 분석을 용이하게 해주는 텍스트 마이닝 기법이 필요하다는 점을 확인하였다. 본 연구에서 제안한 데이터 처리 및 분석 과정이 학제 간 융합 연구의 가능성이 있는 기술 요소들을 발굴하는 데 효과적이었음을 확인할 수 있었다.