• 제목/요약/키워드: 점진적 분류

검색결과 149건 처리시간 0.023초

조기 위험 검출을 위한 점진적 조기 텍스트 분류 시스템 (Incremental Early Text Classification system for Early Risk Detection)

  • 배소현;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.91-96
    • /
    • 2021
  • 조기 위험 검출은 실시간으로 들어오는 텍스트를 순차적으로 처리하면서 해당 대화에 위험이 있는지 조기에 분류하는 작업으로, 정확도 저하를 최소화하는 동시에 가능한 한 빨리 대화를 분류하는 것을 목적으로 한다. 이러한, 조기 위험 검출은 온라인 그루밍 검출, 보이스 피싱 검출과 같은 다양한 영역에 활용될 수 있다. 이에, 본 논문에서는 조기 위험 검출 문제를 정의하고, 이를 평가할 수 있는 데이터 셋과 Latency F1 평가 지표를 소개한다. 또한, 점진적 문장 분류 모듈과 위험 검출 결정 모듈로 구성된 점진적 조기 텍스트 분류 시스템을 제안한다. 점진적 문장 분류 모듈은 이전 문장들에 대한 메모리 벡터와 현재 문장 벡터를 통해 현재까지의 대화를 분류한다. 위험 검출 결정 모듈은 softmax 분류 점수와 강화학습을 기반으로 하여 Read 또는 Stop 판단을 내린다. 결정 모듈이 Stop 판단을 내리면, 현재까지의 대화에 대한 분류 결과를 전체 대화의 분류 결과로 간주하고 작업을 종료한다. 해당 시스템은 micro F1과 Latency F1 지표 각각에서 0.9684와 0.8918로 높은 검출 정확성 및 검출 신속성을 달성하였다.

  • PDF

점진적으로 계산되는 분류정보와 링크정보를 이용한 하이퍼텍스트 문서 분류 모델 (A Hypertext Categorization Model Exploiting Link and Incrementally Available Category Information)

  • 오효정;임정묵;이만호;맹성현
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.89-96
    • /
    • 1999
  • 본 논문은 하이퍼텍스트가 갖는 중요한 특성인 링크 정보를 활용한 문서 분류 모델을 제안한다. 하이퍼링크는 문서간의 관계를 나타내는 유용한 정보로서 링크를 통해 연결된 두 문서는 내용적으로 관련이 있어 검색에 도움을 준다는 것은 이미 밝혀진바 있다. 본 논문에서는 이러한 과거 연구를 바탕으로 새로운 문서 분류 모델을 제안하는데, 이 모델의 주안점은 대상 문서와 링크로 연결된 이웃 문서의 내용 및 범주를 분석하여 대상 문서 벡터를 조정하고, 이를 근거로 문서의 범주를 결정한다. 이웃 문서에 포함된 용어를 반영함으로써 대상 문서의 내용을 확장 해석하고, 이웃 문서의 가용 분류 정보가 있는 경우 이를 참조함으로써 정확도 향상을 기한다. 이 모델은 이웃한 문서의 범주가 미리 할당되어 있지 않은 경우 용어 기반 분류 방법으로 가용 범주를 할당하고, 이렇게 할당된 분류 정보가 다시 새로운 문서의 범주를 결정할 때 사용됨으로써, 문서 집합 전체의 분류가 점진적으로 이루어지며 그 정확도를 더해 나가는 효과를 가져올 수 있다. 이러한 접근 방법은 일반 웹 환경에 적용할 수 있는데, 특히 하이퍼텍스트를 주제별로 분류하여 관리하는 검색 엔진의 경우 매일 쏟아져 나오는 새로운 문서와 기존 문서간의 링크를 활용함으로써 전체 시스템의 점진적인 분류에 매우 유용하다. 제안된 모델을 검증하기 위하여 Reuter-21578과 계몽사(ETRI-Kyemong) 자료를 대상으로 실험한 결과 18.5%의 성능 향상을 얻었다.

  • PDF

대화 상태 추적 모델을 활용한 공황 장애 점진적 조기 위험 검출 시스템 (Incremental Early Risk Detection using Dialogue State Tracking for Panic Disorder)

  • 이채빈;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.497-501
    • /
    • 2022
  • 대화 상태 추적(Dialogue State Tracking)은 특정 목적을 달성하기 위한 대화 시스템인 목적 지향 대화 시스템의 핵심 부분으로, 대화에서 표현된 사용자의 목적을 추출한다. 조기 위험 검출 시스템은 연속적으로 들어오는 정보를 바탕으로 분류 대상인지 아닌지를 판별하며, 정확도 저하를 피하면서 최대한 빠르게 분류하는 것을 목표로 한다. 본 연구에서는 대화 상태 추적 시스템에서 나온 은닉층을 입력으로 하여 실시간으로 공황 장애 여부를 점진적으로 조기 분류하는 시스템과 조기 분류를 위한 새로운 손실 함수를 제안한다. 조기 위험 검출 시스템에 대화 상태인 belief state의 정보를 함께 사용했을 때, 큰 성능 향상을 보였으며 대화 상태가 조기 위험 검출에 필요한 정보를 담고 있음을 확인할 수 있다.

  • PDF

확률 벡터를 사용한 전자 문서의 개념적 분류 기법

  • 조완섭;김영렬;강원석;강현규
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 1997년도 추계학술대회 발표논문집:21세기를 향한 정보통신 기술의 전망
    • /
    • pp.53-62
    • /
    • 1997
  • 본 논문에서는 전자문서의 개념적 분류기법을 제안한다. 기존의 문서분류는 대부분 문서에 나타난 용어를 기반으로 분류하므로 개념적인 분류가 불가능하다. 제안된 기법에서는 한국어 시소러스를 사용하여 문서에 나타난 용어 뿐 아니라 용어의 상하위 개념을 기준으로 문서를 분류할 수 있다. 특히, 제안된 방법은 확률 벡터를 사용하는 방식으로써 점진적인 학습이 가능하다는 장점도 가진다.

  • PDF

메모리 기반 추론 기법에 기반한 점진적 다분할평균 알고리즘 (An Incremental Multi Partition Averaging Algorithm Based on Memory Based Reasoning)

  • 이형일
    • 전기전자학회논문지
    • /
    • 제12권1호
    • /
    • pp.65-74
    • /
    • 2008
  • 패턴 분류에 많이 사용되는 기법 중의 하나인 메모리 기반 추론 알고리즘은 단순히 메모리에 저장하고 분류 시에 저장된 패턴과 테스트 패턴간의 거리를 계산하여 가장 가까운 학습패턴의 클래스로 분류하는 기법이기 때문에 패턴의 개수가 늘어나면 메모리가 증가하고 또한 추가로 패턴이 발생할 경우 처음부터 다시 수행해야하는 문제점을 가지고 있다. 이러한 문제점을 해결하기 위하여 이미 학습한 대표패턴을 기억하고 새로 들어오는 패턴에 대해서만 학습하는 점진적 학습 방법을 제안한다. 즉 추가로 학습패턴이 발생할 경우 매번 전체 학습 패턴을 다시 학습하는 것이 아니라, 새로 추가된 데이터만을 학습하여 대표패턴을 추출하여 메모리사용을 줄이는 iMPA(incremental Multi Partition Averaging)기법을 제안하였다. 본 논문에서 제안한 기법은 대표적인 메모리기반 추론 기법인 k-NN 기법과 비교하여 현저하게 줄어든 대표패턴으로 유사한 분류 성능을 보여주며, 점진적 특성을 지닌 NGE 이론을 구현한 EACH 시스템과 점진적인 실험에서도 탁월한 분류 성능을 보여준다.

  • PDF

점진적 데이터 평준화를 이용한 반도체 웨이퍼 영상 내 결함 패턴 분류 (Wafer Map Defect Pattern Classification with Progressive Pseudo-Labeling Balancing)

  • 도정혁;김문철
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 추계학술대회
    • /
    • pp.248-251
    • /
    • 2020
  • 전 반도체 제조 및 검사 공정 과정을 자동화하는 스마트 팩토리의 실현에 있어 제품 검수를 위한 검사 장비는 필수적이다. 하지만 딥 러닝 모델 학습을 위한 데이터 처리 과정에서 엔지니어가 전체 웨이퍼 영상에 대하여 결함 항목 라벨을 매칭하는 것은 현실적으로 불가능하기 때문에 소량의 라벨 (labeled) 데이터와 나머지 라벨이 없는 (unlabeled) 데이터를 적절히 활용해야 한다. 또한, 웨이퍼 영상에서 결함이 발생하는 빈도가 결함 종류별로 크게 차이가 나기 때문에 빈도가 적은 (minor) 결함은 잡음처럼 취급되어 올바른 분류가 되지 않는다. 본 논문에서는 소량의 라벨 데이터와 대량의 라벨이 없는 데이터를 동시에 활용하면서 결함 사이의 발생 빈도 불균등 문제를 해결하는 점진적 데이터 평준화 (progressive pseudo-labeling balancer)를 제안한다. 점진적 데이터 평준화를 이용해 분류 네트워크를 학습시키는 경우, 기존의 테스트 정확도인 71.19%에서 6.07%-p 상승한 77.26%로 약 40%의 라벨 데이터가 추가된 것과 같은 성능을 보였다.

  • PDF

점진적 앙상블 SVM을 이용한 고객 분류 시스템 (Customer Classification System Using Incrementally Ensemble SVM)

  • 박상호;이종인;박선;강윤희;이주홍
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.190-192
    • /
    • 2003
  • 소비자의 신용 대출 규모가 점차 증가하면서 기업에서 고객의 신용 등급에 의한 정확한 고객 분류를 필요로 하고 있다 이를 위해 판별 분석과 신경망의 역전파(BP: Back Propagation)를 이용한 고객 분류 시스템이 연구되었다. 그러나, 판별 분석을 사용한 방법은 불규칙한 신용 거래의 성향을 보이는 비정규 분포의 고객 데이터의 영향으로 여러 개의 판별 함수와 판별점이 존재하여 분류 정확도가 떨어지는 단점이 있다. 신경망을 이용한 방법은 불규칙한 신용 거래의 성향을 보이는 고객 데이터에 의해서, 지역 최소점(Local Minima)에 빠져 최대의 분류 정확률을 보이는 분류자를 얻지 못하는 경우가 발생할 수 있다. 본 논문에서는 이러한 기존 연구의 분류 정확률을 저하시키는 단점을 해결하기 위해 SVM(Support Vector Machine)을 사용하여 고객의 신용 등급을 분류하는 방법을 제안한다. SVM은 SV(Support Vector)의 수에 의해서 학습 성능이 좌우되므로, 불규칙한 거래 성향을 보이는 고객에 대해서도 높은 차원으로의 매핑을 통하여, 효과적으로 학습시킬 수 있어 분류의 정확도를 높일 수 있다 하지만, SVM은 근사화 알고리즘(Approximation Algorithms)을 이용하므로 분류 정확도가 이론적인 성능에 미치지 못한다. 따라서, 본 논문은 점진적 앙상블 SVM을 사용하여, 기존의 고객 분류 시스템의 문제점을 해결하고 실제적으로 SVM의 분류 정확률을 높인다. 실험 결과는 점진적 앙상블 SVM을 이용한 방법의 정확성이 기존의 방법보다 높다는 것을 보여준다.

  • PDF

점진적 모델에 기반한 다채널 시계열 데이터 EEG의 특징 분석 (Feature Analysis of Multi-Channel Time Series EEG Based on Incremental Model)

  • 김선희;양형정;;정종문
    • 정보처리학회논문지B
    • /
    • 제16B권1호
    • /
    • pp.63-70
    • /
    • 2009
  • BCI 기술은 생체신호인 뇌파를 수집하여 신호처리를 거친 후 실질적인 기기제어 및 통신 시스템 등을 제어하는 시스템 관련 기술이다. BCI 시스템 구현을 위해서는 뇌파의 특성을 실시간으로 분석하여 학습 시키고 학습된 뇌파의 특성을 적용하는 단계가 요구된다. 본 논문에서는 EEG 데이터를 효율적으로 분석하기 위해 점진적으로 갱신되는 주성분 분석을 이용하여 왼손/오른손 동작에 영향을 미치는 EEG 신호의 특징을 찾고, 이를 반영하여 데이터의 차원을 축소한다. 입력 자료의 특징을 충분히 포함하면서 낮은 차원을 가지는 데이터를 이용한다면 분류를 위한 계산량을 감소시킬 수 있을 뿐만 아니라 불필요한 특징을 제거함으로써 분류 성능을 향상 시킬 수 있다. 본 논문에서는 점진적으로 갱신되는 주성분 분석을 이용하여 데이터의 차원을 축소하고 이에 대한 효율성을 검증하기 위해 K-NN분류기를 이용하여 분류 정확도 측정을 수행하였다. 그 결과 주성분 분석을 이용하여 특징을 추출하고 분류율을 측정한 경우보다 평균 5% 높은 분류 정확율을 보였다.

대용량 훈련 데이타의 점진적 학습에 기반한 얼굴 검출 방법 (Face Detection Based on Incremental Learning from Very Large Size Training Data)

  • 박지영;이준호
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권7호
    • /
    • pp.949-958
    • /
    • 2004
  • 본 연구는 대용량 훈련 데이타를 사용하는 얼굴 검출 분류기의 학습과정에서 새로운 데이터의 추가 학습이 가능한 새로운 방법을 제안한다. 추가되는 데이타로부터 새로운 정보를 학습하여 이미 습득된 기존의 지식을 갱신하는 것이 점진적 학습의 목표이다. 이러한 학습 기법에 기반한 분류기의 설계에서는 최종 분류기가 전체 훈련 데이타 집합의 특성을 반영하는 것이 매우 중요한 문제이다. 제안하는 알고리즘은 최적화된 최종 분류기 획득을 위하여 훈련 집합의 전역적인 특성을 대표하는 검증집합을 생성하고, 이 집단 내에서의 분류성능을 기준으로 중간단계 분류기들의 가중치를 결정한다. 각 중간단계 분류기는 개변 데이타 집합의 학습 결과로써 가중치 기반 결합 방식에 의해 최종 분류기로 구성된다. 반복적인 실험을 통해, 제안한 알고리즘을 사용하여 학습한 얼굴 검출 분류기의 성능이 AdaBoost 및 Learn++기반의 분류기보다 우수한 검출 성능을 보임을 확인하였다.

K_NN 분류기의 메모리 사용과 점진적 학습에 대한 연구 (A Study on the Storage Requirement and Incremental Learning of the k-NN Classifier)

  • 이형일;윤충화
    • 정보학연구
    • /
    • 제1권1호
    • /
    • pp.65-84
    • /
    • 1998
  • 메모리 기반 추론 기법은 분류시 입력 패턴과 저장된 패턴들 사이의 거리를 이용하는 교사 학습 기법으로써, 거리 기반 학습 알고리즘이라고도 한다. 메모리 기반 추론은 k_NN 분류기에 기반한 것으로, 학습은 추가 처리 없이 단순히 학습 패턴들을 메모리에 저장함으로써 수행된다. 본 논문에서는 기존의 k-NN 분류기보다 효율적인 분류가 가능하고, 점진적 학습 기능을 갖는 새로운 알고리즘을 제안한다. 또한 제안된 기법은 노이즈에 민감하지 않으며, 효율적인 메모리 사용을 보장한다.

  • PDF