• 제목/요약/키워드: 데이터부족문제

검색결과 539건 처리시간 0.029초

소리 데이터 분류에 대한 데이터 증대 방법 연구 (A study on data augmentation methods for sound data classification)

  • 장일식;박구만
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2022년도 하계학술대회
    • /
    • pp.1308-1310
    • /
    • 2022
  • 소리 데이터 분류는 단순 소리를 통한 분류, 감정 인식등 다양한 연구가 진행중이다. 심층 신경망에서 데이터의 부족과 과적합 문제를 개선하는 방법으로 데이터 증강은 중요하다. 본 논문에서는 3가지의 소리데이터(UrbanSound8K, RAVDESS, IRMAS)를 사용하였으며, 소리데이터는 멜 스펙트로그램을 통한 변환과정을 거쳐 네트워크 망에 입력된다. 입력된 신호는 다양한 네크워크 신경망(Bidirection LSTM, Bidirection LSTM Attention, Multi-Head Attention, CNN)을 통해 학습되어지며, 각각의 네트워크 신경망에서 데이터 증강 전후의 분류 정확도를 확인 하였다. 다양한 데이터셋과 다양한 네트워크 망에서의 데이터 증강 방법의 결과 비교를 통한 통찰을 얻을수 있을 것이다.

  • PDF

통계정보와 WordNet을 이용한 복합명사 분석 (Nominal Compound Analysis Using Statistical Information and WordNet)

  • 류민홍;나동열;장명길
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2000년도 한글 및 한국어 정보처리
    • /
    • pp.33-40
    • /
    • 2000
  • 복합명사의 한 구조는 구성 명사간의 수식관계의 집합이라고 본다. 한 복합 명사에 대하여 가능한 여러 구조 중에서 올바른 구조를 알아 내는 것이 본 논문의 목표이다. 이를 위하여 우리는 최근에 유행하는 통계 기반 분석 기법을 이용한다. 먼저 우리의 복합 명사 분석 asn제에 알맞은 통계 모델을 개발하였다. 이 모델을 이용하면 분석하려는 복합명사의 가능한 분석 구조바다 확률값을 얻게 된다. 그 다음 가능한 구조들 중에서 가장 확률값이 큰 구조를 복합구조로 선택한다. 통계 기반 기법에서 항상 문제가 되는 것이 데이터 부족문제이다. 우리는 이를 해결하기 위해 개념적 계층구조의 하나인 워드넷(WordNet)을 이용한다.

  • PDF

데이터 플로우 구별에 의한 네트워크 주소 변환 (Network Address Translation By Flow Separation)

  • 윤승용;이광희;최창국;전우직
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (3)
    • /
    • pp.393-395
    • /
    • 2000
  • 현재 인터넷이 직면하고 있는 IP 주소 부족문제 해결을 위한 새로운 방안으로서 데이터 플로우 구별에 의한 네트워크 주소 변환(NAT-FS : NAT by Flow Separation) 기법을 제안하고 기술한다. 이 방식은 기존의 NAPT와 같이 단 하나의 글로벌 IP 주소에 모든 로컬 호스트가 할당되면서도 Basic NAT 방식처럼 DNA와 연동하여 Full Access 기능도 지원할 수 있다.

  • PDF

멀티호밍을 위한 데이터 플로우 분배 방안 (Data flow distribution method for multihoming)

  • 송정화;이미정
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (3)
    • /
    • pp.13-15
    • /
    • 2002
  • 무선 네트워크 환경은 유선 네트워크 환경에 비해서 상대적으로 부족한 대역폭을 가진다. 또, 무선 네트워크 환경에서는 이동에 의해 빈번한 핸드오프가 일어나고 이는 패킷손실, 지연 증가 등으로 인한 성능 저하를 야기한다. 하나의 엔드 시스템이 여러 개의 IP 주소를 가지고, 동시에 그 경로를 이용할 수 있다면, 이러한 문제를 완화시킬 수 있을 것이다.이 논문에서는 하나의 엔드 시스템이 여러 개의 IP 주소를 가지는 경우에 그러한 여러 개의 경로상에 데이터 플로우를 분배하기 위한 알고리즘을 제안한다.

  • PDF

코퍼스 기반 의미체계와 의미 별 공기정보를 이용한 비지도식 의미구분 (Word Sense Disambiguation using corpus based sense distribution and collocation)

  • 신사임;최기선
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.772-774
    • /
    • 2004
  • 본 논문은 원시코퍼스에서 추출한 동음이의어의 의미 별 공기정보를 사용한 비지도식 의미구분 시스템의 구축을 제안한다. 대용량 원시코퍼스에서 추출한 의미체계를 기준으로 의미구분을 수행하였기 때문에 비현실적인 의미체계에 의한 문제점을 해결하였고, 원시코퍼스에서 추출한 공기정보로 데이터 획득비용과 부족문제를 해소하였다 실험을 통해 의미체계의 현실화와 비지도식 훈련데이터 추출방법이 의미구분의 성능향상에 기여함을 보였다

  • PDF

멀티미디어 추천시스템을 위한 속성 생성 기법 (A Feature Generation Method for Multimedia Recommendation System)

  • 김형일;엄정국
    • 한국멀티미디어학회논문지
    • /
    • 제11권2호
    • /
    • pp.257-268
    • /
    • 2008
  • 멀티미디어 추천시스템은 사용자의 선호도를 분석하여 멀티미디어 상품을 사용자에게 추천하는 시스템이다. 다양한 추천 기법들에서 가장 널리 사용되는 기법은 협동적 여과 방식이다. 그러나 협동적 여과는 정보 부족 문제와 초기 시작 문제가 존재한다. 선호도 정보가 적게 존재하면 유사 사용자 추출이 어려우며, 이러한 문제는 시스템을 처음 사용하는 새로운 사용자에게 더욱 심각한 문제를 발생시킨다. 본 논문에서는 정보 부족 문제를 해결하고 추천 정확도를 향상시키기 위해 사용자와 상품에 대한 속성 생성 기법을 제안한다. 본 논문에서 제안한 기법은 속성의 분포를 이용하여 추가 속성을 생성하고, 추가 속성을 포함한 변형된 데이터를 이용하여 상품을 추천한다. 여러 실험을 통해 제안된 기법의 효과를 확인하였다.

  • PDF

생분해성 섬유 방사 공정 데이터 특성을 고려한 물성 예측 모델 개발 (The Development of Property Prediction Model in Consideration of Biodegradable Fiber Spinning Process Data Characteristics)

  • 박세찬;김덕엽;서강복;이우진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.362-365
    • /
    • 2022
  • 최근 노동 집약적인 성격의 섬유 산업에서는 AI를 통해 공정에 들어가는 시간과 비용을 줄이고 품질을 최적화 하려는 시도를 하고 있다. 그러나 섬유 방사 공정은 데이터 수집에 필요한 비용이 크고 체계적인 데이터 처리 시스템이 부족하여 축적된 데이터양이 적다. 또 방사 목적에 따라 특정 변수 위주의 조합에 대한 데이터만을 우선적으로 수집하여 데이터 불균형이 발생하며, 물성 측정환경 차이로 인해 동일 방사조건에서 수집된 샘플 간에도 오차가 존재한다. 이러한 데이터 특성들을 고려하지 않고 AI 모델에 활용할 경우 과적합과 성능 저하 등의 문제가 발생할 수 있다. 따라서 본 논문에서는 물성 단위 및 허용오차를 고려한 이상치 처리 기법과 데이터 불균형 정도 및 물성과의 상관성을 고려한 오버샘플링 기법을 물성 예측 모델에 적용한다. 두 기법들을 모델에 적용한 결과 그렇지 않은 모델에 비해 물성 예측 오차와 방사 공정 데이터에 대한 모델의 적합도가 개선됨을 보인다.

KoELECTRA를 활용한 챗봇 데이터의 혐오 표현 탐지 (Hate Speech Detection in Chatbot Data Using KoELECTRA)

  • 신민기;진효진;송현호;최정회;임현승;차미영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.518-523
    • /
    • 2021
  • 챗봇과 같은 대화형 에이전트 사용이 증가하면서 채팅에서의 혐오 표현 사용도 더불어 증가하고 있다. 혐오 표현을 자동으로 탐지하려는 노력은 다양하게 시도되어 왔으나, 챗봇 데이터를 대상으로 한 혐오 표현 탐지 연구는 여전히 부족한 실정이다. 이 연구는 혐오 표현을 포함한 챗봇-사용자 대화 데이터 35만 개에 한국어 말뭉치로 학습된 KoELETRA 기반 혐오 탐지 모델을 적용하여, 챗봇-사람 데이터셋에서의 혐오 표현 탐지의 성능과 한계점을 검토하였다. KoELECTRA 혐오 표현 분류 모델은 챗봇 데이터셋에 대해 가중 평균 F1-score 0.66의 성능을 보였으며, 오탈자에 대한 취약성, 맥락 미반영으로 인한 편향 강화, 가용한 데이터의 정확도 문제가 주요한 한계로 포착되었다. 이 연구에서는 실험 결과에 기반해 성능 향상을 위한 방향성을 제시한다.

  • PDF

불균형 데이터 처리를 위한 과표본화 기반 앙상블 학습 기법 (Oversampling-Based Ensemble Learning Methods for Imbalanced Data)

  • 김경민;장하영;장병탁
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제20권10호
    • /
    • pp.549-554
    • /
    • 2014
  • 필기체 낱글자 인식을 위해서 사용되는 데이터는 일반적으로 다수의 사용자들로부터 수집된 자연언어 문장들을 이용하기 때문에 해당 언어의 언어적 특성에 따라서 낱글자의 종류별 개수 차이가 매우 큰 특징이 있다. 일반적인 기계학습 문제에서 학습데이터의 불균형 문제는 성능을 저하시키는 중요한 요인으로 작용하지만, 필기체 인식에서는 데이터 자체의 높은 분산과 비슷한 모양의 낱글자 등이 성능 저하의 주요인이라 생각하기 때문에 이를 크게 고려하지 않고 있다. 본 논문에서는 이러한 데이터의 불균형 문제를 고려하여 필기체 인식기의 성능을 향상시킬 수 있는 과표본화 기반의 앙상블 학습 기법을 제안한다. 제안한 방법은 데이터의 불균형 문제를 고려하지 않은 방법보다 전체적으로 향상된 성능을 보일 뿐만 아니라 데이터의 개수가 부족한 낱글자들의 분류성능에 있어서도 향상된 결과를 보여준다.

심층 신경망의 최적화를 통한 소규모 행동 분류 문제의 행동 인식 방법 (A Method of Activity Recognition in Small-Scale Activity Classification Problems via Optimization of Deep Neural Networks)

  • 김승현;김연호;김도연
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권3호
    • /
    • pp.155-160
    • /
    • 2017
  • 최근 컴퓨터를 이용한 다양한 인식 문제를 해결하기 위해 딥 러닝을 적용하는 사례가 늘어나고 있다. 딥 러닝은 학습에 필요한 요소를 학습데이터를 통해 스스로 도출해내기 때문에, 수작업(hand-craft)을 통해 특징을 도출하던 기존의 기계학습 방법보다 더 많은 장점을 갖는다. 행동인식을 위한 기존의 심층 신경망은 비디오 데이터를 일정 프레임의 이미지로 분할한 후, 분할된 각 이미지 사이의 시간적 연계성 분석을 통해 행동을 분류한다. 그러나 이러한 신경망은 소규모 행동 클래스를 갖는 분류 문제에서 학습 데이터의 부족 문제 및 과적합(overfitting) 문제로 인해 이를 실제 문제에 적용하기 어려운 경우가 많다. 이에 본 논문에서는 5가지의 소규모 행동 클래스를 정의하고, 기존 행동 인식 신경망의 최적화를 통해 이를 분류하였다. 700개의 비디오데이터를 통해 행동 데이터베이스를 구성하였고, 약 74.00%의 분류 정확도를 얻을 수 있었다.