• 제목/요약/키워드: 데이터부족문제

검색결과 539건 처리시간 0.024초

광학 분자구조 인식 성능 향상을 위한 DDPM 기반의 분자구조 생성 및 준지도학습 연구 (A Study on DDPM-based Molecular Generation and Semi-Supervised Learning for Improving the Performance of Optical Chemical Structure Recognition)

  • 김진혁;송태웅;최종환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.721-722
    • /
    • 2024
  • 문헌자료에 나타나는 분자구조 정보를 인식하고, 분석에 용이한 형태로의 데이터 변환하는 기술은 화학정보학 데이터 수집을 용이하게 만드는 중요 정보처리 기술 중 하나이다. 딥러닝 기반의 분자구조 인식 기술이 여럿 개발되었으나, 소규모 분자구조 이미지 데이터집합에 대해서는 학습이 충분하기 어려워 인식 정확도를 향상시키기 위한 학습 전략이 필요하다. 본 연구에서는 데이터 부족으로 인한 학습 효율 저하 문제를 극복하기 위해 이미지 생성 모델을 활용한 준지도학습 알고리즘을 연구하였다. 제안하는 학습 알고리즘은 대조군 대비 5.4%p 성능 향상을 보여주었다.

  • PDF

표현 학습 기반의 딥러닝 모델을 활용한 클라우드 자원 이상 감지 시스템 (Anomaly Detection System for Cloud Resources Using Representation Learning-Based Deep Learning Models)

  • 이민영;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.658-661
    • /
    • 2024
  • 퍼블릭 클라우드 시장이 성장하면서 퍼블릭 클라우드에서 호스팅하는 컴퓨팅 자원으로 구축된 거대하고 복잡한 IT 시스템이 점차 많아지고 있다. 이러한 시스템의 증가는 서비스 장애 발생 확률을 높이므로, 장애 관리 및 선제 감지를 위한 퍼블릭 클라우드 자원의 이상 감지 연구에 대한 수요 또한 증가하고 있다. 그러나 연구에 활용할 수 있는 벤치마크 데이터셋이 없다는 점과, 실제 자원에서 추출할 수 있는 데이터는 레이블링이 되어 있지 않은 불균형 데이터라는 점 때문에 관련 연구가 부족한 상황이다. 이러한 문제를 해결하고자 본 논문은 비지도 방식의 표현 학습 기반 딥러닝 모델을 활용한 이상 감지 시스템을 제안한다. 시스템의 이상 감지 성능을 유지하고자 일정 주기마다 다수의 딥러닝 모델을 재학습하고 비교하여 최적의 모델로 업데이트 하는 방식을 고안하였다. 해당 시스템의 평가에는 실제 퍼블릭 클라우드 자원에서 발생한 메트릭 데이터가 활용됐으며, 그 결과 준수한 이상 감지 성능을 보인다는 것을 확인하였다.

  • PDF

인공지능 기반의 기초 데이터 과학 교육에 관한 연구 (A Study on Development of Basic Data Science Education Contents for Artificial Intelligence Capability)

  • 조정희
    • 한국정보교육학회:학술대회논문집
    • /
    • 한국정보교육학회 2021년도 학술논문집
    • /
    • pp.393-400
    • /
    • 2021
  • 데이터 과학은 문제를 정의하고 수집된 데이터로부터 의미 있는 정보를 찾아내어 문제를 해결하는 과학적인 학문이다. 인공지능 기술의 도입으로 인해 데이터의 활용 분야는 점차 확장되고 있으며, 데이터 과학 교육의 중요성에 대한 인식도 증가하고 있다. 그러나, 한국 데이터 산업진흥원에서 2020년 데이터 산업 현황을 조사하여 발표한 결과에 의하면 국내 데이터 산업의 시장규모가 급성장하고 있음에 불구하고, 향후 5년 이내에 데이터 전문가의 부족률은 31.4%에 이를 것으로 예측하였다. 이러한 사회적 분위기 속에서, 초등 교육 현장에서는 학생들의 컴퓨팅 사고력과 창의력 향상을 위하여 데이터 과학 교육을 도입하고자 다양한 연구가 진행되고 있다. 본 논문에서는 컴퓨터 분야의 비전공자가 대다수인 현직 초등교사들의 교육을 목적으로 개발하여 현장에서 활용하고 있는 데이터 과학 강의의 콘텐츠를 제안하였다. 해당 콘텐츠는 인공지능융합대학원에 재학 중인 현직 초등교사 집단을 대상으로 적용한 후, 학습자들이 이해하기에 어려움이 있었던 내용을 세부적으로 파악하고 원인을 분석하여 개선점을 도출하였다.

  • PDF

스포츠콘텐츠의 빅데이터 분석 활용과 전망 (Utilization and Prospect of Big Data Analysis of Sports Contents)

  • 강승애
    • 융합보안논문지
    • /
    • 제19권1호
    • /
    • pp.121-126
    • /
    • 2019
  • 급성장하고 있는 빅데이터 시장에서 주목받는 스포츠분야의 초창기 빅데이터 활용 범주는 선수의 기량과 경기력 향상을 위한 빅데이터 분석이 주를 이루었고, 이후 스포츠 환경 변화의 흐름으로 사물인터넷과 인공지능 기술과 같은 ICT 기술의 적용을 통해 보다 섬세하고 다양한 데이터를 수집하고 분석할 수 있는 '빅데이터 기술'이 적용되었다. IT기업인 알리바바는 기존의 인터넷 콘텐츠의 유통 플랫폼을 통해 세계 최고 수준의 스포츠 콘텐츠를 무기로 새로운 스포츠 경험을 제공하고자 빅데이터를 활용하였으며, 가상현실을 활용한 스포츠콘텐츠도 빅데이터 분석을 통해 기술 훈련에 활용되고 있다. 향후 스포츠콘텐츠의 빅데이터의 활용은 스마트 환경에서 무궁무진한 가치와 가능성을 가지고 있으나 스포츠콘텐츠를 관리하고 공유할 수 있는 플랫폼의 부족과 한계점을 극복하는 것이 필요하다. 이러한 문제를 해결하기 위해서는 스포츠콘텐츠를 제공하는 기업 또는 제공자의 인식의 전환과 스포츠 콘텐츠를 제공할 수 있는 전문인력을 양성하고 확보하는 것이 중요하며, 또한 스포츠콘텐츠로부터 쏟아지는 빅데이터를 체계적으로 관리 활용을 위한 시스템 개발을 위한 정책 추진이 필요하다. 이 외에도 빅데이터 활용에 있어 개인정보 노출문제를 해결하기 위한 사회적 논의를 통한 법적 제도 마련의 노력이 요구된다.

새로 출시되는 품목들을 위한 단어 기반의 사용자 선호도 예측 기법 (A Prediction System of User Preferences for Newly Released Items Based on Words)

  • 최윤석;문병로
    • 한국지능시스템학회논문지
    • /
    • 제16권2호
    • /
    • pp.156-163
    • /
    • 2006
  • 협동적 여과(CF) 시스템은 구현의 용이성과 뛰어난 성능으로 널리 활용되고 있다. 그러나 이 시스템은 데이터 희소성 신상품 추천 불가, 추천 근거에 대한 설명 부족 등의 문제점을 포함하고 있어 이를 해결하기 위한 많은 연구가 진행되었다. 데이터 희소성 문제는 데이터의 누적에 따라 해결될 수 있지만, 협동적 여과 기법의 특성상 새로이 출시되는 품목에 대한 추천이 불가능하다. 이를 해결하기 위해 내용 기반(CB) 기법을 같이 사용하는 연구들이 제안되었다. 또한 협동적 여과 시스템은 추천 과정에 있어 추천 근거에 대한 설명을 제공하지 않는다. 본 연구에서는 추천에 대한 설명 기능을 포함하고 있는 선호 단어를 활용한 내용기반 예측 시스템을 제안한다. 이 시스템은 새로이 출시되는 영화에 대해 사용자의 영화에 대한 평가 정보를 예측하며, 추천의 근거가 되는 선호 단어를 제시한다. 또한 기존의 내용기반 예측 시스템에서 일어나는 속성 비매칭 문제로 인한 성능 저하를 막기 위해 기호 네트워크를 활용한 성능 개선 방법을 제안한다. 성능 비교를 위해 EachMovie 데이터베이스와 IMDb 사의 영화 홍보 데이터를 사용하였다.

통합 물류 연계 디지털 플랫폼 구축을 위한 표준 데이터 흐름도 개발 (Development of Standard Data Flow for Building Integrated Logistics Digital Platform)

  • 장지영;이강현;방선호;조희연;신광섭
    • 한국빅데이터학회지
    • /
    • 제7권2호
    • /
    • pp.205-215
    • /
    • 2022
  • 디지털 플랫폼 기반 온라인 유통 시장의 발전은 생활물류 영역에서 급격한 물동량 성장과 다양한 서비스 혁신을 촉진시키고 있다. 융복합 물류 기술개발에 대한 수요가 증가함에 따라 국가 차원에서 물류서비스 혁신을 위한 기술개발을 지원하고 있다. 디지털 플랫폼은 개별 단위의 표준을 개발하여 운영되고 있으며, 국가연구개발 사업에서도 자체 표준을 정의하고 있어 호환성 및 연계성 부족으로 인한 문제를 발생시킬 가능성이 높다. 이러한 문제해결을 위해 생활물류 전체에 걸쳐 개발된 표준 프로세스를 기반으로 시스템과 장비 사이의 데이터 연계를 위한 표준 데이터 흐름도를 정의하였다. 특히, 전체 프로세스에서 공통으로 유지 및 공유되어야 할 데이터, 업무 수행을 위해 연계가 필요한 데이터, 마지막으로 내부 운영 성과를 관리하기 위한 데이터로 구분하여 연계용 데이터를 중심으로 흐름을 정의하였다. 본 연구에서 제안하는 방법을 통해 연구개발 성과의 실제 현장 적용 가능성을 높일 수 있을 것이다.

심층신경망 기반 데이터 보충과 영향요소 결합을 통한 하이브리드 추천시스템 (Influential Factor Based Hybrid Recommendation System with Deep Neural Network-Based Data Supplement)

  • 안현우;문남미
    • 방송공학회논문지
    • /
    • 제24권3호
    • /
    • pp.515-526
    • /
    • 2019
  • 특정 상품에 대한 사용자의 선호도는 상품의 질 외에도 많은 요소들에 의해 결정된다. 추천시스템에 있어 이러한 외적 요소들의 반영은 데이터의 부족을 포함한 여러 가지 근본적인 문제가 존재하여 지난한 일이었다. 그러나 공공데이터의 개방과 다양하고 방대한 양의 데이터를 가진 평가 플랫폼의 등장 등 기반 환경이 갖춰짐에 따라 외적 요소들의 접근이 용이해 졌다. 이러한 변화에 따라 본 논문은 상품의 품질 외에 사용자의 선호도에 영향을 주는 요소들을 반영할 수 있는 추천시스템 구조를 제안하고 사례를 적용하여 이러한 요소가 실제 선호도에 미치는 영향을 관찰하고자 한다. 제안하는 시스템의 구조는 크게 영향요소를 선정하고 추출하는 과정과 문장 분석을 활용하여 부족한 데이터를 보충하는 과정, 평가데이터와 영향요소를 결합하고 병합하는 과정으로 나눌 수 있으며 제안시스템의 결과 그룹과 실제 사용자 선호도 그룹 간 비교를 통해 구조 변수 설정의 적절성 등을 판단할 수 있는 검증 과정 또한 함께 제안한다.

외항 상선 해기사 인력 수요 및 공급 예측에 관한 연구 (A Study on Forecasting Demand and Supply of Marine Officer for Korean Ocean-Going Merchant Vessels)

  • 신상훈;신용존
    • 한국항해항만학회지
    • /
    • 제48권1호
    • /
    • pp.7-16
    • /
    • 2024
  • 외항 상선 선박 척수가 증가하고 있지만, 한국인 해기사가 감소하여 인력 부족 문제가 심각하게 대두되고 있는 상황에서 본 연구는 외항 상선 해기사 인력 수요와 공급을 결정하는 요인들을 객관적으로 측정하여 정확한 인력 수요와 공급을 예측하고자 하였다. 인력 수요는 선박 규모별 필요 해기사 수의 차이를 반영하여 선박 증가 예측치에 이를 적용하여 직급별로 예측하였다. 인력 공급은 Markov모형을 활용하여 연도별 승진, 이직, 퇴직, 신규 진입 등의 증감요인을 반영하여 직급별 연령별로 세분화하여 예측하였다. 외항 상선 해기사 인력 수요는 2023년 11,638명에서 2030년 13,879명으로 증가하고, 공급은 2023년 7,006명에서 2030년 6,426명으로 감소하여 2040년에는 부족인원이 1만명을 넘는 것으로 예측되었다. 본 연구는 객관적인 데이터와 과학적 분석방법 및 논리적 추론을 통해 예측의 정확도를 제고하여 외항 상선해기사 인력 부족 문제를 해결하는데 유용한 자료로 활용될 수 있을 것이다.

SW 교육 뉴스데이터의 감성분석 (Sentimental Analysis of SW Education News Data)

  • 박선주
    • 정보교육학회논문지
    • /
    • 제21권1호
    • /
    • pp.89-96
    • /
    • 2017
  • 스마트폰의 대중화로 SNS를 통해 유통되는 정보의 내용과 감성을 분석하는 연구가 활발하게 진행되고 있다. 이에 본 논문에서는 SW 교육에 관한 온라인 뉴스데이터를 수집하여 형태소 분석후 단어를 추출하고 뉴스데이터의 감성지수를 산출하여 수집된 뉴스 데이터의 감성분석을 실시하였다. 또한, 산출된 감성점수가 어느 정도 정확한지 정확도를 검토하였다. 분석 결과 수집기간동안 SW 교육 관련 뉴스는 월평균 약 189건 발생되었으며, 감성점수 평균은 0.7로 SW 교육 관련 뉴스는 긍정적임을 알 수 있었다. SW 교육의 중요성 및 정책 실행에는 공감하며 긍정적이었으나 구체적인 실행 방법에는 부정적인 시각이 있었다. 즉, SW 교육환경 및 교육방법 부족 문제, SW 개발자 양성 및 처우개선 문제, 코딩 사교육 증가 문제 등이었다.

하천에서의 수리·수질 복합 모니터링 결과의 3차원 공간분포 해석연구 (An Analysis of the 3D Spatial Distribution of Flow rate and Water Quality Convergence Monitoring Results in Rivers)

  • 이창현;김경동;류시완;김동수;김영도
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.18-18
    • /
    • 2022
  • 하천 합류부에 있어 수체의 혼합양상을 분석은 고해상도의 자료가 필요하다. 반면에 수질환경 문제와 기존 모니터링 시스템이 고정된 측정 방식으로 이루어지기 때문에 하천 전체의 정보는 저해상도의 결과값은 나타낸다. 또한, 많은 수중 환경 문제가 1차원에서 3차원에 걸쳐 있지만, 대부분의 관측 시스템은 1차원에 머물러 있음을 확인할 수 있다. 이러한 문제를 해결하기 위해서는 보다 발전된 관찰 및 계측이 필요하다. 그에 따른 고해상도의 측정 자료를 얻기 위해서는 측정자가부담을 많이 가지며, 측정할 수 있는 영역이나 시간적으로 제한적이다. 해상도는 낮추되 광범위한 데이터를 취득하기 위해서는 적절한 보간법이 선정되어야 한다. 관련 논문을 검토한 결과, 측정 결과에 따른 2차원 횡단면 분포의 내용이 지배적이었고, 3차원 매핑 및 3차원 분석을 통한 수리학적 정보 획득에 관한 연구는 부족한 실정이였다. 특히 3차원 하천 수질 농도의 연구가 불충분했다. 그에 따라 저해상도 측정결과에서의 예측과 보간법에 대한 시각화를 통해 하천의 전체적인 수리·수질정보를 표기하였다. 각각의 보간법을 비교함으로써 하천 매핑에 있어 IDW, Natual Neighbor, Kriging 기법을 적용하여 시각화된 자료와 정량적 평가를 통해 하천매핑의 정밀성을 향상시켰다. 이를 통해 3차원화된 공간보간 자료를 이용한 하천합류부의 혼합양상을 해석하였다. 3차원 데이터를 활용하는 방법으로 측정 및 모니터링 기술의 중요한 데이터로 활용되며, 이러한 데이터는 유해물질 저감 기술 및 평가 예측 기술의 기초 데이터로 활용되고 있다. 유해화학물질 추정, 호수의 고위험 조류군 계층분석 등 다양한 수생건강 진단기술을 활용할 수 있다.

  • PDF