• 제목/요약/키워드: 데이터 부족 솔루션

검색결과 26건 처리시간 0.03초

데이터 전처리를 고려한 하수처리장 머신러닝 모델 개발 (Development of Machine Learning Prediction Models for Wastewater Treatment Plant considering Data Pre-processing)

  • 심규대;김효상;박찬수;김동균;김신걸
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.495-495
    • /
    • 2023
  • 본 연구는 하수처리장 운영시스템 자료를 활용하여, 머신러닝 기반의 예측 모델을 개발하고, 모델 정확도 향상에 대하여 검토하였다. 하수처리장에 설치된 각종 센서를 통해 실시간으로 자료가 모니터링되고 있으며, 수집된 자료는 운영시스템에 저장된다. 하수처리장 시스템은 설정된 값과 센서의 측정값을 비교해 이상치가 발생하면 운영자가 즉각적으로 조치하여 문제를 해결하고 있으나, 비정상적인 상황 발생시 이를 대처할 시간이 부족하여 적절한 조치가 이루어지지 못하는 경우가 발생 되고 있다. 따라서, 이러한 문제점을 해결하기 위해 A 하수처리장 운영자료를 활용하여 결과 예측이 신속하고 신뢰도 높은 머신러닝 기반의 예측 모델을 개발하고자 하였다. 모델의 예측 정확도 및 신뢰성을 향상하기 위하여 결과에 영향을 미치는 주요 영향 인자를 분석하고, 이를 기반으로 모델의 추가 분석 및 개선을 수행하여 모델의 예측력을 평가하였다. 금회 연구는 데이터 전처리를 과정을 통한 인사이트를 도출하고 이를 활용하여 하수처리장 운영자료 예측 정확도를 높일 수 있었으며, 이 결과를 바탕으로 다른 하수처리장의 모델 개발시에도 유용하게 활용이 가능할 것으로 검토되었다.

  • PDF

거리 히스토그램을 이용한 특성 추출 기법 (Feature Selection by Using Distance Histogram)

  • 최기석;전성진;양명석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
    • /
    • pp.713-715
    • /
    • 2003
  • 특성 추출은dimensionality reduction technique로서 잡음을 제거하기 위해 사용되는 중요한 전처리 방식이다. 이러한 과정을 통해 데이터의 크기를 줄일 수 있으며 학습의 정확성 및 이해도를 높일 수 있다. Classification에 사용되는 다양한 특성 추출방식들이 존재하는 반면에 클러스터링에 적용될 수 있는 방식들은 양적으로도 많이 부족하며 존재하는 방식들도 대부분 사용되는 클러스터링 알고리즘 자체에 의존적인 실세계 어플리케이션에는 적용하기 부적합한 Wrapper 방식을 도입하고 있다. 본 논문에서는 클러스터링 알고리즘으로부터 독립적인 필터 솔루션(filter solution)을 제안하였다. 이 방식은 클러스터를 가진 데이터와 가지지 않고 있는 데이터 사이의 point-to-point 거리 히스토그램의 차이에 기반하고 있다.

  • PDF

비지도 학습 기반 초개인화 추천 서비스를 위한 메타데이터 추출의 중요성 고찰 (Consideration upon Importance of Metadata Extraction for a Hyper-Personalized Recommender System on Unsupervised Learning)

  • 백주련;고광호
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
    • /
    • pp.19-22
    • /
    • 2022
  • 서비스 관점에서 구축되는 추천 시스템의 성능은 얼마나 효율적인 추천 모델을 적용하여 심층적으로 설계되었는가에 좌우된다고도 볼 수 있다. 특히, 추천 시스템의 초개인화는 세계적인 추세로 1~2년 전부터 구글, 아마존, 알리바바 등의 데이터 플랫폼 강자들이 경쟁적으로 딥 러닝 기반의 알고리즘을 개발, 자신들의 추천 서비스에 적용하고 있다. 본 연구는 갈수록 고도화되는 추천 시스템으로 인해 발생하는 여러 문제들 중 사용자 또는 서비스 정보가 부족하여 계속적으로 발생하고 있는 Cold-start 문제와 추천할 서비스와 사용자는 지속적으로 늘어나지만 실제로 사용자가 소비하게 되는 서비스의 비율은 현저하게 감소하는 데이터 희소성 문제 (Sparsity Problem)에 대한 솔루션을 모색하는 알고리즘 관점에서 연구하고자 한다. 본 논문은 첫 단계로, 적용하는 메타데이터에 따라 추천 결과의 정확성이 얼마나 차이가 나는지를 보이고 딥러닝 비지도학습 방식을 메타데이터 선정 및 추출에 적용하여 실시간으로 변화하는 소비자의 실제 생활 패턴 및 니즈를 예측해야 하는 필요성에 대해서 기술하고자 한다.

  • PDF

무아레 현상을 이용한 영상처리 기반의 이상징후 탐지 솔루션 (The Anomaly Detection Solution based on Image Processing using Moire)

  • 이재욱;강혁;이근호;이창준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.286-288
    • /
    • 2016
  • 기존에 카메라는 침입자를 탐지할 때 정확성이 부족하고 열화상카메라는 가격이 비싸고 열 측정이 되지 않는 상황일 경우 감시가 힘들다는 단점이 있다. 이러한 단점을 보완하기 위해 빛의 간섭 및 회절에 의한 무아레 현상을 이용하여 이상징후 탐지 및 활용방안을 제시하려한다. 지형의 높낮이 및 형상을 저장하고 침입자가 탐지되었을 경우 무아레 이미지를 기반으로 처음 설정했던 지형 데이터와 비교하여 외부인의 침입을 탐지한다. 미세한 움직임이나 변화에도 크게 이미지가 변하는 무아레 현상의 성질을 이용하여 이상징후를 탐지하는 것이다. 이상징후를 탐지 했을 경우 보안 담당관에게 알림을 전송하거나 경보를 울리는 이상징후 탐지 솔루션 및 활용방안을 제안한다.

방화벽, 침입탐지 분야에 대한 보안관제의 시각화 서비스 구축 (Visualization Service Construction of Firewall, IPS for Intrusion Detection Areas)

  • 윤성열;김정호
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2019년도 춘계종합학술대회
    • /
    • pp.331-332
    • /
    • 2019
  • 로그 분석 솔루션의 필요성이 대두되어 공공기관 뿐만 아니라 사기업들도 앞다퉈 로그 분석 솔루션을 도입하여 보안관제센터를 구축하는 추세이다. 하지만 그 비용자체가 만만치 않아 아직까지 예산이 부족한 기관 및 기업은 도입하지 못하고 있다. 본 연구에서는 오픈소스를 활용하여 보안관제센터를 구축하는 방안을 제시하였다. ELK Stack을 이용하여 로그 분석 시스템을 구축하였다. ELK Stack의 검색 속도 및 로그 데이터의 시각화 성능은 시장 점유율 1위인 Splunk와 비교 했을 때 비슷하였다. 또한, 오픈소스를 이용하기 때문에 기업간 기술 공유를 통해 보안관제의 탐지기술이 한층더 업그레이드 될 수 있다.

  • PDF

한국형 자동화 리서치 시스템 개발 (A Development on the Korean Style Automatic Research System)

  • 장영현;한정순;방은영
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2010년도 제42차 하계학술발표논문집 18권2호
    • /
    • pp.515-517
    • /
    • 2010
  • 본 논문에서는 글로벌 표준화 시스템으로의 확장성을 고려하고 자동화 처리 개념을 적용한 한국형 리서치 시스템을 개발한다. 리서치 시스템의 기반이 되어지는 설문조사의 종류에는 전화조사, 온라인조사, 면접조사 등의 조사방법이 있으며 현재 대부분의 프로세스가 수동적 작업화 상태에서 데이터를 수집 검증하여 비효율적인 상태로 운영되어지고 있다. 현재 일부 기업들이 자체 프로그램의 개발을 시도하고 있지만 전문 프로그래머들의 리서치 업무에 대한 업무분석 및 이해 부족과 외부 개발 용역에 대한 고비용성으로 대부분 시스템 구축에 완성도가 낮아 개발시스템 운영에 실패를 하고 있는 실정이다. 부가적으로 개별 기업들이 초기 개발비용을 감수하지 않기 위해 외국산 리서치 솔루션을 구입하면서 높은 제품 비용과 로열티 비용 부담으로 인하여 기업 리서치 시스템 구축을 통한 효율화를 이루지 못하는 실정이다. 본 논문에서는 산학협력 연구개발로 1회의 설문입력 과정으로 개별적인 전화조사, 온라인조사, 면접조사를 동시에 가능하도록 통합하는 자동화 시스템과 일반 사용자까지 쉽고, 빠르게 설문지를 입력하고 진행하여 컴퓨터에 의한 정확한 데이터를 신속하게 고객에게 전달 할 수 있는 서비스 체제를 구축하고 설문조사의 최종 단계인 데이터 분석 및 가공에 필요한 기본적인 분석, 통계 기능 제공과 오피스 프로그램 및 통계 프로그램인 SPSS프로그램과 호환성을 주어 리서치 운영 프로세스의 개선을 목적으로 한국형 자동화 리서치 솔루션을 개발한다.

  • PDF

AHP 접근 방법을 통한 ERP 시스템 평가방법론 개발 (Developing An Evaluation Methodology of ERP System AHP Approach)

  • 김진수;임세헌;이상헌
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 2002년도 추계 컨퍼런스: 기업경쟁력 강화를 위한 디지털 컨텐츠 및 정보기술 컨퍼런스
    • /
    • pp.163-176
    • /
    • 2002
  • 정보화에 대한 관심이 지속적으로 증대됨에 따라 많은 기업이 ERP도입을 적극 추진하고 있다. ERP시스템을 성공적으로 추진하기 위해서는 자사에 적합한 ERP시스템을 도입, 구축할 필요가 있다. 하지만, ERP시스템에 대한 체계적인 평가방법론이 부족하여 전문인력이 부족한 중소기업들은 자사에 적합한 ERP선정에 어려움을 겪고 있다. 따라서, 본 연구의 목적은 ERP 시스템을 보다 객관적이고 체계적으로 평가할 수 있는 방법론을 개발하여 중소기업들이 보다 효과적으로 자사에 적합한 ERP시스템을 선정할 수 있도록 지원하는데 있다. 문헌연구를 통하여 ERP 시스템 평가요인을 도출하였으며 각 요인들의 가중치를 결정하기 위하여 ERP컨설턴트를 대상으로 AHP 방식을 적용, 설문조사를 실시하였다. 설문조사 결과를 토대로 실무에서 적용 가능한 평가방법론을 개발하였다. 평가방법론을 통하여 ERP를 도입하고자 하는 기업들은 대상업체의 솔루션을 보다 체계적으로 평가하여 자사에 적합한 ERP를 도입하는데 크게 도움을 받을 것으로 기대된다.

  • PDF

무선 인터넷을 이용한 가상 사무실 설계 및 구현 (Design and Implementation of Building Virtual Office Using Mobile Internet)

  • 설재훈;정병수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (3)
    • /
    • pp.310-312
    • /
    • 2000
  • 모바일 데이터 사용자의 수는 향후 5년 안에 전체 모바일 가입자의 70%에 육박하여 전 세계적으로 6억명을 초과할 것으로 예상되고 있으며 2005년에는 데스크탑 인터넷 이용자의 수를 초과하는 10억명에 이를 것으로 전망된다[3]. 그러나 현재의 휴대폰 기반 인터넷 서비스는 지난 80년대 문자 기반 PC통신 서비스를 이용하는 수준 정도이다. 또한 인터넷으로 연결되었다고 하더라도, 현재의 무선 인터넷 서비스는 때와 장소를 구분하지 않고 사용하기에는 서비스 제공 능력이나 모바일 업무에 맞는 어플리케이션 개발이 상당히 부족한 상황이다. 이러한 측면에서 모바일오피스(Mobile Office)는 누구나(AnyPerson), 언제나(AnyTime), 어디서나(AnyWhere) 회사 정보에 접근하고 공유하며 업무에 적용할 수 있도록 시급히 구현되어야 할 대상이다. 본 논문에서는 외근 위주의 영업사원과 사내 직원간에 보다 효과적인 커뮤니케이션이 필요한 보험업을 중심으로 특화한 모바일 오피스 솔루션의 기반을 제시하고, 이것을 모바일 환경과 일반 PC 환경 그리고 PDA(Personal Digital Assistants) 환경에 맞추어 각각 구현하였다.

  • PDF

A Comparative Study on Data Augmentation Using Generative Models for Robust Solar Irradiance Prediction

  • Jinyeong Oh;Jimin Lee;Daesungjin Kim;Bo-Young Kim;Jihoon Moon
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권11호
    • /
    • pp.29-42
    • /
    • 2023
  • 본 논문은 서울, 부산, 인천과 같은 대한민국의 주요 도시들을 대상으로 일사량 예측 정확도를 향상하기 위한 방법론을 제안한다. 제안한 방법론은 먼저 GAN, CTGAN, Copula GAN, WGANGP, TVAE 등 다섯 가지 생성 모델을 이용하여 기존 학습 데이터와 유사한 독립 변수들을 생성한다. 다음으로 모델 학습에서의 데이터 편향성을 개선하고자, 생성한 독립 변수들에서 각각 랜덤 포레스트와 심층 신경망을 통해 종속 변숫값을 도출하여 학습 데이터 셋을 구축하고, 이를 기존 학습데이터 셋과 결합하여 예측 모델을 구성한다. 실험 결과, 증강된 데이터 셋으로 학습한 모델들은 기존 데이터 셋으로 학습한 모델들보다 향상된 성능을 나타내었다. 특히 CTGAN은 복잡한 다변량 데이터 관계를 효과적으로 다루는 메커니즘으로 인해 우수한 결과를 도출하였으며, 생성된 데이터는 일사량의 다양한 변화와 실제 변동성과 효과적으로 반영하였다. 제안한 방법론은 고품질의 생성 데이터로 학습 데이터를 증강함으로써, 데이터 부족 현상 문제를 다룰 수 있을 뿐만 아니라 지속 가능한 발전을 위한 태양광 발전 시스템 운영에도 이바지할 수 있을 것으로 기대한다.

인도네시아 찌상쿠이강 유역의 지능형 물관리 시스템 적용 연구 (Study for implementation of smart water management system on Cisangkuy river basin in Indonesia)

  • 김유진;고익환;김태원
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2017년도 학술발표회
    • /
    • pp.469-469
    • /
    • 2017
  • 기후 변화 및 환경오염으로 인하여 물부족 국가가 세계적으로 증가하고 있는 추세이며, 특히 집중형 강우의 형태가 많아짐에 따라 홍수피해 및 상수공급의 문제가 사회적으로 큰 이슈가 되고 있다. 최근 20여 년간의 급속한 경제성장과 도시화 과정에서 인도네시아는 인구와 산업의 과도한 도시집중으로 지난 1960-80년대 한국이 산업화 과정에서 겪었던 것보다 훨씬 심각한 환경문제에 직면하고 있으며, 자카르타와 반둥을 포함하는 광역 수도권 지역의 물 부족과 수질 오염, 환경문제가 이미 매우 위험한 수준에 도달하고 있는 실정이다. 특히, 찌따룸강 중상류에 위치한 인도네시아 3대 도시인 반둥시는 고질적인 용수부족 문제를 겪고 있다. 2010년 현재 약 일평균 15 CMS의 용수가 부족한 상황이며, 2030년에는 지속적인 인구증가로 약 23 CMS의 용수가 추가로 더 필요한 것으로 전망된다. 이러한 용수공급 문제 해결을 위해 반둥시 및 찌따룸강 유역관리청은 댐 및 지하수 개발, 유역 간 물이동 등의 구조적인 대책뿐만 아니라 비구조적인 대책으로써 기존 및 신규 저수지 연계운영을 통한 용수이용의 효율성을 높이는 방안을 모색하고 있다. 이에 따라 본 연구에서는 해당유역의 용수공급 부족 문제를 해소할 수 있는 비구조적인 대책의 일환으로써 다양한 댐 및 보, 소수력 발전, 취수장 등 유역 내 수리 시설물의 운영 최적화를 위한 지능형 물관리 시스템 적용 방안을 제시하고자 한다. 본 연구의 지능형 물관리 시스템은 센서 및 사물 인터넷(Internet of Things, IoT), 네트워크 기술을 바탕으로 시설물 및 운영자, 유관기관 간의 양방향 통신을 통해 유기적인 상호연계 체계를 제공 할 수 있다. 또한 유역의 수문상황과 시설물의 운영현황, 용수공급 및 수요 현황을 실시간으로 확인함으로써 수요에 따른 즉각적인 용수공급량의 조절이 가능하다. 또한, 빅데이터 분석 및 기계학습(Machine Learning)을 통해 개별 물관리 시설물에 대한 최적 운영룰을 업데이트할 수 있으며, 유역의 수문상황과 용수 수요 현황을 고려하여 최적의 용수공급 우선순위를 선정할 수 있다. 지능형 물관리 시스템 개발의 목적은 찌상쿠이 유역의 수문현황을 실시간으로 모니터링하고, 하천시설물의 운영을 분석하여 최적의 용수공급 및 배분을 통해 유역의 수자원 활용 효율성을 향상시키는 데 있다. 이를 위해 수문자료의 수집체계를 구축하고 기관간 정보공유체계를 수립함으로써 분석을 위한 기반 인프라를 구성하며, 이를 기반으로 유역 유출을 비롯한 저수지 운영, 물수지 분석을 수행하고, 분석 및 예측결과, 과거 운영 자료를 토대로 새로운 물관리 시설 운영룰 및 시설물 간 연계운영 방안, 용수공급 우선순위 의사결정 등을 지원하고자 한다. 본 연구의 지능형 물관리 시스템은 통합 DB를 기반으로 수리수문 현상의 모의 분석을 통해 하천 시설물 운영의 합리적 기준을 제시함으로써 다양한 관리주체들의 시설물운영에 대한 이견 및 분쟁을 해소하고, 한정된 수자원과 다양한 수요 간의 효율적이고 합리적인 분배 및 시설물 운영문제를 해결하기 위한 의사결정도구로써 활용할 수 있을 것으로 기대된다.

  • PDF