• 제목/요약/키워드: 데이터 선별

검색결과 576건 처리시간 0.043초

가상예제를 이용한 수치 및 범주 속성 데이터의 분류 성능 향상 (Improving Classification Accuracy for Numerical and Nominal Data using Virtual Examples)

  • 이유정;강재호;강병호;류광렬
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
    • /
    • pp.183-188
    • /
    • 2006
  • 본 논문에서는 베이지안 네트워크를 기반으로 생성하고 평가한 가상예제를 활용하여 범주속성 및 수치속성 데이터에 대한 분류 성능을 향상시키는 방안을 제안한다. 가상예제를 활용하는 종래의 연구들은 주로 수치 속성 데이터를 대상으로 한 반면 본 연구에서는 범주속성 데이터에 대해서도 가상예제를 적용하여 효과를 확인하였다. 그리고 대상 도메인에 특화된 지식을 활용하여 특정 학습 알고리즘의 성능을 향상시키는 것을 목표로 한 기존 연구들과는 달리 본 연구에서는 도메인에 특화된 지식을 활용하는 대신 주어진 훈련 집합을 기반으로 만든 베이지안 네트워크로부터 가상예제를 생성하고, 그 예제가 네트워크의 조건부 우도를 증가시키는데 기여할 경우 유용한 것으로 선별한다. 이러한 생성 및 선별과정을 반복하여 적절한 크기의 가상예제 집합을 수집하여 사용한다. 범주 속성 데이터와 수치 속성을 포함한 데이터를 대상으로 한 실험 결과, 여러 가지 학습 모델의 성능이 향상됨을 확인하였다.

  • PDF

마이크로어레이 데이터 분석을 위한 선형 특징 선별 기법 (A fast feature selection technique for microarray data)

  • 이재성;김대원
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국지능시스템학회 2008년도 춘계학술대회 학술발표회 논문집
    • /
    • pp.188-189
    • /
    • 2008
  • 마이크로어레이 데이터는 대량의 유전자들을 짧은 시간에 테스트 하여 얻은 대량의 데이터로 구성되어 있다. 그러나 이렇게 얻은 대량의 데이터에서 특징으로 표현되는 유전자의 수가 매우 많고, 각각의 유전자는 서로에 대해 독립적이지 않기 때문에 전통적인 데이터 마이닝 기법을 적용하여 바이오마커를 찾아내는 작업이 용이하지 않다. 마이크로어레이 데이터에서 나타나는 이러한 특성과 여기에서 파생되는 문제점들을 극복하기 위해 다양한 특징 선별 방법론들이 등장하였으나 다소의 문제점을 가지고 있어 실제 세계의 문제에 적용하기 어렵다. 본 논문에서는 코사인 내적 행렬과 행렬식을 이용하여 직교하지 않는 특징들을 제거하는 방법에 대해 소개하고, 그 결과를 분석하였다.

  • PDF

COPD 환자 운동 예측을 위한 불균형 데이터 처리 기법의 효율성에 관한 연구 (A Study on the Efficiency of Imbalanced Data Processing Techniques for Exercise Prediction in COPD Patients)

  • 진현석;조세현;최자윤;김경백
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.652-655
    • /
    • 2024
  • COPD(Chronic Obstructive Pulmonary Disease)는 장기간에 걸쳐 기도가 좁아지는 폐질환으로, 규칙적 운동은 호흡을 용이하게 하고 증상을 개선할 수 있는 주요 자가관리 중재법 중 하나이다. 건강정보 데이터와 인공지능을 사용하여 규직적 운동 이행군과 불이행군을 선별하여 자가관리 취약 집단을 파악하는 것은 질병관리 측면에서 비용효과적인 전략이다. 하지만 많은 양의 데이터를 확보하기 어렵고, 규칙적 운동군과 그렇지 않은 환자의 비율이 상이하기 때문에 인공지능 모델의 전체적인 선별 능력을 향상시키기 어렵다는 한계가 있다. 이러한 한계를 극복하기 위해 본 연구에서는 국민건강영양조사 데이터를 사용하여 머신러닝 모델인 XGBoost와 딥러닝 모델인 MLP에 오버샘플링, 언더샘플링, 가중치 부여 등 불균형 데이터 처리 기법을 적용 후 성능을 비교하여 가장 효과적인 불균형 데이터 처리 기법을 제시한다.

데이터마이닝 모형을 활용한 호흡기질환의 주요인 선별 (Identification of major risk factors association with respiratory diseases by data mining)

  • 이제영;김현지
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권2호
    • /
    • pp.373-384
    • /
    • 2014
  • 데이터 마이닝이란 대량의 데이터나 복잡한 구조의 데이터들을 정교한 통계분석과 모델링 테크닉을 이용하여 정확히 식별되지 않는 패턴이나 자료간의 상관관계를 밝혀내어 여러 가지 결과를 예측해 내는 통계적 기법이다. 이러한 데이터 마이닝 기법은 금융, 통신, 유통, 의학 등 다양한 분야에 활용되는데, 본 연구에서는 의학 분야에 적용하여 호흡기질환에 영향을 끼치는 요인을 선별하였다. 분석은 2012년도 경상북도 지역사회건강조사에 참여한 사람 중 의사에게서 폐결핵, 천식, 알레르기성 비염을 진단받은 경험이 있는 호흡기질환군과 건강군으로 정리한 자료를 대상으로 하였다. 호흡기질환이 영향을 끼치는 주요인을 선별하기 위해 인공신경망, 로지스틱 회귀모형, 베이지안 네트워크, C5.0, CART 기법을 이용하였다. 공정한 모형 평가를 위해 전체 데이터를 훈련용 데이터와 검증용 데이터로 나누었고, 훈련용 데이터에서 설정된 모형을 검증용 데이터에 적용하여 정확도를 비교하였다. 그 결과 CART가 최적 모형으로 선정되었으며 CART의 의사결정나무를 통하여 우울감 인지 여부, 현재 흡연여부, 스트레스 인지 여부 순으로 호흡기질환에 영향을 주는 것으로 나타났다. 그리고 호흡기질환의 주요인들에 대한 오즈비를 구하여 개별적인 영향력에 대해서도 밝혔다.

품질 및 조건 기반 시계열 데이터 선별 활용 방법 (Methods for screening time series data according to data quality and statistical status)

  • 문재원;유미선;오승택;금승우;황지수;이지훈
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
    • /
    • pp.399-402
    • /
    • 2022
  • 본 논문에서는 불완전한 시계열 데이터를 활용하기 전 데이터를 선별하여 활용하는 방법을 소개한다. 시계열 데이터의 품질은 수집 네트워크와 수집 기기의 시간적 변화와 같은 가변적 상황에 의존적이므로 불규칙적으로 이상 혹은 누락 데이터가 발생한다. 이때 에러를 포함하였다는 이유로 일괄적으로 데이터를 제거하여 활용하지 않거나, 혹은 누락 데이터의 구간을 조건 없이 복원하여 활용한다면 원하지 않는 결과를 초래할 수 있다. 제안하는 방법은 시계열 데이터의 구간에 대한 누락 데이터의 통계적 정보를 축출하고 이에 기반하여 활용 목적과 활용 가능한 품질의 기준에 부합하지 않는다면 활용 불가능한 데이터라고 판별하고 미리 분석 등의 데이터 활용 시 자동 제외하는 구조를 제안하고 실험하였다. 제안하는 방법은 활용 목적과 상황에 적응적으로 누락 값을 포함하는 데이터의 빠른 활용 판단이 가능하며 보다 나은 분석 결과를 얻을 수 있다.

  • PDF

선별적 데이터 판별에 의한 압축 알고리즘 효율 개선에 관한 연구 (A Study for Efficiency Improvement of Compression Algorithm with Selective Data Distinction)

  • 장승주
    • 한국정보통신학회논문지
    • /
    • 제17권4호
    • /
    • pp.902-908
    • /
    • 2013
  • 본 논문은 데이터 압축 효율 향상을 위하여 데이터에 대해서 무조건적인 압축을 시행하는 것이 아니라 선별적으로 데이타를 판별하여 압축을 하도록 한다. 선별적 데이터 판별을 통해서 압축 여부를 판단하게 된다. 이렇게 함으로써 압축 효율이 좋지 않은 경우에 대한 회피를 통해서 불필요한 압축을 하지 않을 수 있도록 한다. 불필요한 연산을 줄임으로써 압축 알고리즘의 성능 향상을 꾀할 수 있다. 특히, 이미 압축 알고리즘이 적용이 된 데이타의 경우에는 불필요한 압축을 하지 않도록 한다. 본 논문에서 제안하는 기능에 대해 실제 구현하고, 구현된 내용에 대해서 실험을 수행하였다. 본 논문에서 제시한 내용에 대해서 실험한 결과 정상적인 동작이 됨을 확인할 수 있었다.

특징 최소화와 데이터 선별을 활용한 영화 관객수 예측 (Prediction of Number of Movie Audience Using Feature Minimization and Data Selection)

  • 양영보;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.443-446
    • /
    • 2019
  • 빅데이터 분석을 위해 많이 사용하고 있는 기계학습 알고리즘들 중 딥러닝 알고리즘이 많이 활용되고 있으며 분류와 예측에 높은 정확도를 나타내고 있다. 딥러닝 알고리즘의 적용에 따른 많은 장단점들이 있지만, 단점은 분석에 사용되는 특징들이 너무 많다는 것과 분석 모델을 만드는데 사용되는 알고리즘도 여러 가지를 적용하다 보니 분석 시간이 오래 걸린다는 것이다. 이런 단점들은 업무를 파악하면 특징을 최소화할 수 있고 필요로 하는 정보만 선별해서 대표적인 딥러닝 알고리즘 하나에 분석을 하게 되면 분석 시간을 단축시킬 수 있다. 이 실험은 [1], [2]에서 연구한 영화 관객수 예측 모델을 4개의 특징으로 최소화하고 선별된 데이터를 인공신경망 알고리즘 하나로 예측 모델을 생성하였을 때 유의미한 정보를 도출해 낼 수 있는지를 알아보기 위한 것이다. 실험결과는 최종 관객수를 1명 단위까지 정확하게 예측하지는 못했지만 비슷한 수준의 관객수 정보를 예측하였다. 학문적인 접근으로 보았을 때 예측 정확도가 높지 않으면 사용이 불가능한 모델이라고 판단할 수 있지만, 기업 입장으로 접근해 보았을 때 예측 정보가 [1]. [2] 연구 결과에 비해 부족한 수준은 아니다. 총 소요된 시간은 기획 3일, 데이터 수집 및 모델 개발 5일, 분석 시간 10분으로 개발 시간 단축, 업무 효율성 향상, 비용 절감을 기대할 수 있다.

GAN 알고리즘 개선을 위한 히스토그램 분석 기반 파손 영상 선별 방법 (A Broken Image Screening Method based on Histogram Analysis to Improve GAN Algorithm)

  • 조진환;장종욱;장시웅
    • 한국정보통신학회논문지
    • /
    • 제26권4호
    • /
    • pp.591-597
    • /
    • 2022
  • 최근 데이터셋을 효율적으로 구축하는 방법으로 데이터 증강 기법과 관련하여 많은 연구가 이루어지고 있다. 이 중 대표적인 데이터 증강 기법은 생성적 적대 신경망(Generative Adversarial Network:GAN)을 활용하는 방법이며, 이는 생성자와 판별자를 서로 경쟁 학습시킴으로써 진짜 데이터와 유사한 데이터를 생성해내는 기법이다. 그러나, GAN을 학습할 때 환경 및 진행 정도에 따라 생성되는 유사 데이터 중에서 픽셀이 깨지는 파손 영상이 발생하는 경우가 있으며, 이러한 영상은 데이터셋으로 활용할 수 없고 학습 시간을 증가시키는 원인이 된다. 본 논문에서는 GAN 학습 과정에서 생성되는 영상 데이터의 히스토그램을 분석하여 이러한 파손 영상을 선별해내는 알고리즘을 개발하였으며, 기존 GAN에서 생성되는 영상과 비교해 본 결과 파손 영상의 비율을 33.3배(3,330%) 감소시켰다.

부분 유사도 측정을 사용한 비 강체 포인트 클라우드 콘텐츠 정합 방법 (Non-rigid Point-Cloud Contents Registration Method used Local Similarity Measurement)

  • 이희제;윤준영;박종일
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2022년도 하계학술대회
    • /
    • pp.829-831
    • /
    • 2022
  • 포인트 클라우드 콘텐츠는 움직임이 있는 콘텐츠를 연속된 프레임에 3 차원 위치정보와 대응하는 색상으로 기록한 데이터이다. 강체 포인트 클라우드 데이터를 정합하기 위해서는 고전적인 방법이지만 강력한 ICP 정합 알고리즘을 사용한다. 그러나 국소적인 모션 벡터가 있는 비 강체 포인트 클라우드 콘텐츠는 기존의 ICP 정합 알고리즘을 통해서는 프레임 간 정합이 불가능하다. 본 논문에서는 비 강체 포인트 클라우드 콘텐츠를 지역적 확률 모델을 사용하여 프레임 간 포인트의 쌍을 맺고 개별 포인트 간의 모션벡터를 구해 정합 하는 방법을 제안한다. 정합 대상의 데이터를 2 차원 투영을 하여 구조화시키고 정합 할 데이터를 투영하여 후보군 포인트를 선별한다. 선별된 포인트에서 깊이 값 비교와 좌표 및 색상 유사도를 측정하여 적절한 쌍을 찾아준다. 쌍을 찾은 후 쌍으로 모션 벡터를 더하여 정합을 수행하면 비 강체 포인트 클라우드 콘텐츠 데이터에 대해서도 정합이 가능해진다.

  • PDF

대규모 언어 모델 기반 한국어 휴지 예측 연구 (A Study on Korean Pause Prediction based Large Language Model)

  • 나정호;이정;나승훈;정정범;최맹식;이충희
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.14-18
    • /
    • 2023
  • 본 연구는 한국어 음성-텍스트 데이터에서 보편적으로 나타난 휴지의 실현 양상을 분석하고, 이를 토대로 데이터셋을 선별해 보편적이고 규격화된 한국어 휴지 예측을 위한 모델을 제안하였다. 이를 위해 전문적인 발성 훈련을 받은 성우 등의 발화가 녹음된 음성-텍스트 데이터셋을 수집하고 MFA와 같은 음소 정렬기를 사용해 휴지를 라벨링하는 등의 전처리를 하고, 다양한 화자의 발화에서 공통적으로 나타난 휴지를 선별해 학습데이터셋을 구축하였다. 구축된 데이터셋을 바탕으로 LLM 중 하나인 KULLM 모델을 미세 조정하고 제안한 모델의 휴지 예측 성능을 평가하였다.

  • PDF