• 제목/요약/키워드: 학습데이터 구축

검색결과 1,043건 처리시간 0.025초

교통사고 데이터의 패턴 분석과 Hybrid Model을 이용한 피해자 상해 심각도 예측 (Pattern Analysis of Traffic Accident data and Prediction of Victim Injury Severity Using Hybrid Model)

  • 주영지;홍택은;신주현
    • 스마트미디어저널
    • /
    • 제5권4호
    • /
    • pp.75-82
    • /
    • 2016
  • 우리나라의 경제 성장과 도로 환경의 변화를 통해 국내 자동차 시장이 성장하였으나, 이로 인해 교통사고율 또한 증가하였고, 인명 피해가 심각한 수준이다. 이에 따라, 정부에서는 교통사고 데이터를 개방하고 문제를 해결하기 위한 정책을 수립 및 추진 중이다. 본 논문에서는 교통사고 데이터를 이용하여 클래스의 불균형을 해소하고, Hybrid Model 구축을 통한 교통사고 예측을 위해 원본 교통사고 데이터와 Sampling을 수행한 데이터를 학습 데이터로 사용한다. 두 학습데이터에 연관규칙 학습기법인 FP-Growth 알고리즘을 이용하여 교통사고 상해 심각도와 연관된 패턴을 학습한다. 두 학습 데이터의 연관 패턴을 분석을 통해 같은 연관된 패턴을 추출하고 의사결정트리와 다항 로지스틱 회귀분석기법에 연관된 속성에 가중치를 부여하여 융합형 Hybrid Model을 구축하고 교통사고 피해자 상해 심각도를 예측하는 방법에 대해 제안한다.

기계학습 알고리즘의 컴퓨팅시간 단축을 위한 새로운 통계적 샘플링 기법 (A New Statistical Sampling Method for Reducing Computing time of Machine Learning Algorithms)

  • 전성해
    • 한국지능시스템학회논문지
    • /
    • 제21권2호
    • /
    • pp.171-177
    • /
    • 2011
  • 기계학습에서 모형의 정확도와 컴퓨팅시간은 중요하게 다루어지는 부분이다. 일반적으로 모형을 구축하는 데 사용되는 컴퓨팅시간은 분석에 사용되는 데이터의 크기에 비례하여 커진다. 따라서 컴퓨팅시간 단축을 위하여 분석에 사용되는 데이터의 크기를 줄이는 샘플링전략이 필요하다. 하지만 학습데이터의 크기가 작게 되면 구축된 모형의 정확도도 함께 떨어지게 된다. 본 논문에서는 이와 같은 문제를 해결하기 위하여 전체데이터를 분석하지 않아도 전체를 분석할 때와 비슷한 모형성능을 유지할 수 있는 새로운 통계적 샘플링방법을 제안한다. 주어진 데이터의 구조에 따라 최선의 통계적 샘플링기법을 선택할 수 있는 기준을 제시한다. 군집, 층화, 계통추출에 의한 통계적 샘플링기법을 사용하여 정확도를 최대한 유지하면서 컴퓨팅시간을 단축할 수 있는 방법을 보인다. 제안방법의 성능을 평가하기 위하여 객관적인 기계학습 데이터를 이용하여 전체데이터와 샘플데이터 간의 정확도와 컴퓨팅시간을 비교하였다.

SimKoR: 한국어 리뷰 데이터를 활용한 문장 유사도 데이터셋 제안 및 대조학습에서의 활용 방안 (SimKoR: A Sentence Similarity Dataset based on Korean Review Data and Its Application to Contrastive Learning for NLP )

  • 김재민;나요한;김강민;이상락;채동규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.245-248
    • /
    • 2022
  • 최근 자연어 처리 분야에서 문맥적 의미를 반영하기 위한 대조학습 (contrastive learning) 에 대한 연구가 활발히 이뤄지고 있다. 이 때 대조학습을 위한 양질의 학습 (training) 데이터와 검증 (validation) 데이터를 이용하는 것이 중요하다. 그러나 한국어의 경우 대다수의 데이터셋이 영어로 된 데이터를 한국어로 기계 번역하여 검토 후 제공되는 데이터셋 밖에 존재하지 않는다. 이는 기계번역의 성능에 의존하는 단점을 갖고 있다. 본 논문에서는 한국어 리뷰 데이터로 임베딩의 의미 반영 정도를 측정할 수 있는 간단한 검증 데이터셋 구축 방법을 제안하고, 이를 활용한 데이터셋인 SimKoR (Similarity Korean Review dataset) 을 제안한다. 제안하는 검증 데이터셋을 이용해서 대조학습을 수행하고 효과성을 보인다.

  • PDF

과거 상담대화를 활용한 개인화 대화생성을 위한 프롬프트 기반 데이터 증강 (Prompt-based Data Augmentation for Generating Personalized Conversation Using Past Counseling Dialogues)

  • 임채균;이혜우;오경진;성주원;최호진
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.209-213
    • /
    • 2023
  • 최근 자연어 이해 분야에서 대규모 언어모델 기반으로 프롬프트를 활용하여 모델과 상호작용하는 방법이 널리 연구되고 있으며, 특히 상담 분야에서 언어모델을 활용한다면 내담자와의 자연스러운 대화를 주도할 수 있는 대화생성 모델로 확장이 가능하다. 내담자의 상황에 따라 개인화된 상담대화를 진행하는 모델을 학습시키려면 동일한 내담자에 대한 과거 및 차기 상담대화가 필요하지만, 기존의 데이터셋은 대체로 단일 대화세션으로 구축되어 있다. 본 논문에서는 언어모델을 활용하여 단일 대화세션으로 구축된 기존 상담대화 데이터셋을 확장하여 연속된 대화세션 구성의 학습데이터를 확보할 수 있는 프롬프트 기반 데이터 증강 기법을 제안한다. 제안 기법은 기존 대화내용을 반영한 요약질문 생성단계와 대화맥락을 유지한 차기 상담대화 생성 단계로 구성되며, 프롬프트 엔지니어링을 통해 상담 분야의 데이터셋을 확장하고 사용자 평가를 통해 제안 기법의 데이터 증강이 품질에 미치는 영향을 확인한다.

  • PDF

병리진단을 위한 웹기반 혈액영상 분석시스템의 설계 및 구현 (Designand Implementation of Web-Based Blood-Cell Analysis System for Pathology Diagnosis)

  • 김경수;이영신;김용국;이윤배;김판구
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 1998년도 추계학술발표논문집
    • /
    • pp.333-337
    • /
    • 1998
  • 의학분야에서 컴퓨터 활용은 단순히 처리할 데이터의 자동화뿐만 아니라 각종 의학영상들을 자동으로 처리함으로서 의사의 진단을 도와주는 형태로 발전되어 가고 있다. 본 논문에서는 병원의 임상병리과에서 번번히 수행하는 혈액검사를 자동화하기 위한 것으로 혈액을 자동 분석하는 웹 기반 분석시스템을 구축하였다. 이를 위해 본 논문에서는 혈액 영상으로부터 특징을 추출하기 위한 단계를 서술하고 세포분류를 위한 다층 신경망을 이용해 구현한 내용을 보인다. 또한 본 연구의 결과로 신경망의 학습 효율을 높이기 위한 전처리로서 학습 데이터에 대해 러프 집합 이론을 적용하여 학습 데이터의 차원을 효과적으로 줄일 수 있었다.

  • PDF

한국어 의미 자원 구축 및 의미 파싱을 위한 Korean AMR 데이터 자동 증강 (Automatic Data Augmentation for Korean AMR Sembanking & Parsing)

  • 최현수;민진우;나승훈;김한샘
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.287-291
    • /
    • 2020
  • 본 연구에서는 한국어 의미 표상 자원 구축과 의미 파싱 성능 향상을 위한 데이터 자동 증강 방법을 제안하고 수동 구축 결과 대비 자동 변환 정확도를 보인다. 지도 학습 기반의 AMR 파싱 모델이 유의미한 성능에 도달하려면 대량의 주석 데이터가 반드시 필요하다. 본 연구에서는 기성 언어 분석 기술 또는 기존에 구축된 말뭉치의 주석 정보를 바탕으로 Semi-AMR 데이터를 변환해내는 알고리즘을 제시하며, 자동 변환 결과는 Gold-standard 데이터에 대해 Smatch F1 0.46의 일치도를 보였다. 일정 수준 이상의 정확도를 보이는 자동 증강 데이터는 주석 프로젝트에 소요되는 비용을 경감시키는 데에 활용될 수 있다.

  • PDF

해안 경계 지능화를 위한 AI학습 모델 구축 방안 (A Methodology of AI Learning Model Construction for Intelligent Coastal Surveillance)

  • 한창희;김종환;차진호;이종관;정윤영;박진선;김영택;김영찬;하지승;이강욱;김윤성;방성완
    • 인터넷정보학회논문지
    • /
    • 제23권1호
    • /
    • pp.77-86
    • /
    • 2022
  • 본 연구의 궁극적인 목표인 지능형 해안 경계 체계 구축을 위해, 본 논문에서는 먼저 해안경계 지능화를 위한 AI 학습 모델의 구축 방안을 제시하였다. 우리는 3면이 바다로 이루어져있고 남과 북이 대치하는 상황으로 인해 해안 경계가 중요한 국가적 과업인 나라이다. 국방개혁 2.0에 의해 해안경계를 담당하고 있는 R/D (Radar) 운용인력이 감소하고 복무 기간이 단축되고 있다. 특히, 레이더와 같이 고도의 장비를 다루는 데에는 휴먼 에러가 발생할 개연성은 늘 상존하는 것이다. 해안 경계와 인공지능의 접목은 정부의 인공지능 국가전략의 구현과 확대라는 목표에도 필요 충분한 시점에 와 있다. 지능형 해안 경계 체계 구축을 위한 AI학습 모델 개발의 기능별 방안을 제시하였다. R/D신호 분석 AI모델 개발, 책임해역 분석 AI모델 개발, 표적 관리 자동화 기능으로 구분하였다. 이를 실현하기 위한 3단계 추진 전략을 살펴보았다. 1단계는 AI 학습모델 구축의 통상적인 단계로써, 데이터 수집, 데이터 저장, 데이터 여과, 데이터 정제, 데이터 변환 등이 이루어진다. 2단계에서는 R/D 특성에 기초해 신호분석을 실시하고, 실상과 허상을 분류하는 AI 학습모델 개발을 진행하고, 책임해역을 분석하고, 취약지역/시간 분석을 실시한다. 최종 단계에서는 AI 학습모델의 검증, 가시화 및 시연 등이 이루어진다. 군 무기체계에 AI 기술이 접목돼 지능화된 무기체계로 바뀌는 최초의 성과가 달성된다.

Sentinel-1 SAR 영상을 활용한 국내 내륙 수체 학습 데이터셋 구축 및 알고리즘 적용 연구 (A Study of Development and Application of an Inland Water Body Training Dataset Using Sentinel-1 SAR Images in Korea)

  • 이어루;정형섭
    • 대한원격탐사학회지
    • /
    • 제39권6_1호
    • /
    • pp.1371-1388
    • /
    • 2023
  • 지구온난화로 인해 촉발된 기후변화가 홍수와 같은 수재해의 빈도와 규모를 증가시키며 국내 또한 장마와 집중호우로 인한 수재해가 증가하는 추세를 보인다. 이에 광범위한 수재해에 대해 효과적인 대응 및 기후 변화에 따른 선제적 대처가 필수적이며 이는 위성레이더 영상을 통해 가능하다. 본 연구에서는 Sentinel-1 위성 레이더 영상으로부터 국내 수체의 특성을 반영하기 위해 한강권역과 낙동강 권역의 일부 수체 영역에 대해 수체 학습 데이터셋 1,423장을 구축하였다. 정밀한 데이터 어노테이션(Annotation)을 위해 다양한 상황에 따른 구축 기준 문서를 작성한 뒤 진행하였다. 구축이 완료된 데이터셋을 딥러닝 모델 중 U-Net에 적용하여 수체 탐지 결과를 분석하였다. 최종적으로 학습된 모델을 학습과에 활용되지 않은 수체 영역에 적용하여 결과를 분석함으로써 전 국토 수체 모니터링의 가능성을 확인하였다. 분석 결과 구축된 수체 영역의 대해서는 F1-Score 0.987, Intersection over Union (IoU) 0.955의 높은 정확도로 수체를 탐지할 수 있었으며, 학습 및 평가에 활용되지 않은 다른 국내 수체 영역에 대해서도 동일하게 F1-Score 0.941, IoU 0.89의 높은 수체 탐지 결과를 나타냈다. 두 결과 모두 전반적으로 일부 그림자 영역과 폭이 좁은 하천에서 오류가 관찰되었으나, 그 외에는 정밀하게 수체를 탐지하였다. 이러한 연구 결과는 수재해 피해 규모 및 수자원 변화 모니터링에 중요한 기여를 할 것으로 기대된다. 추후 연구에서는 보다 다양한 수체 특성을 가진 데이터셋을 추가 구축한다면 오분류한 영역을 개선할 수 있을 것으로 기대되며, 전 국토의 수체를 효율적으로 관리 및 모니터링하는데 활용될 것으로 사료된다.

딥러닝기법 이용한 하천수위 예측시 학습자료 구축에 대한 연구 (A study on the construction of learning data when predicting river water level using deep learning)

  • 육지문;김장경;박찬호;김태정;문영일
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.357-357
    • /
    • 2022
  • 도심지 하천의 수위예측을 위해서는 일반적으로 수리-수문모형을 기반으로한 홍수위 모형을 사용하고 있다. 하지만 이러한 모형들은 매개변수 추정방법 및 모형구축을 행한 사용자의 숙련도에 따라 불확실성이 매우 크다 이러한 문제점을 개선하기 위해 데이터 기반의 딥러닝기법을 이용한 하천수위 예측이 많이 연구되고 있으나 수문기상자료와 같이 이전 시간 값과의 상관성이 큰 자료를 활용하면서 발생하는 자기 예측(self Prediction) 현상이 발생한다. 또한 도심지 하천의 데이터 품질관리의 문제로 입력자료 구축에 어려움이 있다. 본 연구는 중랑천 유역을 중심으로 2015년 ~ 2020년 사이의 강우 및 수위자료를 이용하여 학습을 진행하였으며 하천의 수위 예측을 수행함에 있어 학습입력자료 구축시 강우사상의 구분 방법에 따른 예측결과 비교 및 지연시간 및 Embedding Dimension을 이용한 전처리를 통해 자기 예측 현상을 비교해 보았다. 본 연구를 통해 도심지 하천 수위예측의 학습입력자료 구성을 위한 방안을 제시하였다.

  • PDF

판결문 자동요약을 위한 학습 데이터의 품질 개선방안 (Method to improve the Quality of Training Data for Automatic Summarization of Judgments)

  • 고상영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.461-464
    • /
    • 2022
  • 법원도서관이 발간하는 판례공보를 기반으로 판결문 자동요약을 위한 학습 데이터들이 구축되고 있다. 그런데 판결문 요약에서는 뉴스 요약과는 달리 추출요약과 생성요약 방식이 함께 사용되는 특수성이 있고, 이러한 특수성 때문에 현재 판결문 요약 데이터셋이 요약 프로그램의 성능 향상을 이끌지 못하고 있다고 생각된다. 따라서 법률가들이 판결문을 요약하는 방식을 반영하여, 추출요약 방식으로 작성된 판결요지와 생성요약 방식으로 작성된 판결요지를 분리해서 요약 데이터셋을 만들 필요가 있다. 추출요약과 생성요약에 관한 데이터셋을 따로 구축하기 위해서는 판례공보의 판결요지를 추출요약과 생성요약으로 분류하는 작업이 필요한데, 감성 분석에 사용되는 알고리즘이 판결요지의 분류 작업에 응용될 수 있다는 것을 실험 결과로 알 수 있었다.

  • PDF