• 제목/요약/키워드: 클래스모델

검색결과 655건 처리시간 0.026초

단어와 클래스 기반의 한국어 언어 모델링 (Word and class-based language modeling for Korean)

  • 김길연;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.221-225
    • /
    • 2001
  • 본 논문에서는 대량의 말뭉치를 바탕으로 한국어에 대해 단어 기반의 n-gram 언어 모델과 클래스 기반의 언어 모델을 구축하고, 이를 실험적으로 검증한다. 단어 기반의 n-gram 모델링의 경우 Katz의 백오프와 Kneser-ney의 스무딩(smoothing) 알고리즘에 대해 실험을 수행한다. 클래스 기반의 언어 모델의 경우에는 품사 태그를 단어의 클래스로 사용한 경우와 말뭉치로부터 자동으로 구축된 클래스를 사용한 경우로 나누어 실험한다. 마지막으로 단어 기반 모델과 클래스 기반 모델을 결합하여 각각의 모델과 그 성능을 비교한다. 실험 결과 단어 기반의 언어 모델의 경우 Katz의 백오프에 비해 Knerser-ney의 스무딩이 보다 조은 성능을 나타내었다. 클래스 기반의 모델의 경우 품사 기반의 방범보다 자동 구축된 단어 클래스를 이용하는 방법의 성능이 더 좋았다. 또한, 단어 모델과 클래스 모델을 결합한 모델이 가장 좋은 성능을 나타냈다. 논문의 모든 알고리즘은 직접 구현되었으며 KLM Toolkit이란 이름으로 제공된다.

  • PDF

대화 데이터셋의 클래스 불균형 문제 보정을 위한 적대적 학습 기법 (Adversarial Training Method for Handling Class Imbalance Problems in Dialog Datasets)

  • 조수필;최용석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.434-439
    • /
    • 2019
  • 딥러닝 기반 분류 모델에 있어 데이터의 클래스 불균형 문제는 소수 클래스의 분류 성능을 크게 저하시킨다. 본 논문에서는 앞서 언급한 클래스 불균형 문제를 보완하기 위한 방안으로 적대적 학습 기법을 제안한다. 적대적 학습 기법의 성능 향상 여부를 확인하기 위해 총 4종의 딥러닝 기반 분류 모델을 정의하였으며, 해당 모델 간 분류 성능을 비교하였다. 실험 결과, 대화 데이터셋을 이용한 모델 학습 시 적대적 학습 기법을 적용할 경우 다수 클래스의 분류 성능은 유지하면서 동시에 소수 클래스의 분류 성능을 크게 향상시킬 수 있음을 확인하였다.

  • PDF

FAQ 분류 성능 향상을 위한 클래스 일치 여부 결합 학습 모델 (Jointly learning class coincidence classification for FAQ classification)

  • 양동일;함진아;이강욱;이지연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.12-17
    • /
    • 2019
  • FAQ(Frequently Asked Questions) 질의 응답 시스템은 자주 묻는 질문과 답변을 정의하고, 사용자 질의에 대해 정의된 답변 중 가장 알맞는 답변을 추론하여 제공하는 시스템이다. 정의된 대표 질문 및 대응하는 답변을 클래스(Class)라고 했을 때, FAQ 질의 응답 시스템은 분류(Classification) 문제라고 할 수 있다. 종래의 FAQ 분류는 동일 클래스 내 동의 문장(Paraphrase)에서 나타나는 공통적인 특징을 통해 분류 문제를 학습하였으나, 이는 비슷한 단어 구성을 가지면서 한 두 개의 단어에 의해 의미가 다른 문장의 차이를 구분하지 못하며, 특히 서로 다른 클래스에 속한 학습 데이터 간에 비슷한 의미를 가지는 문장이 존재할 때 클래스 분류에 오류가 발생하기 쉬운 문제점을 가지고 있다. 본 논문에서는 이 문제점을 해결하고자 서로 다른 클래스 내의 학습 데이터 문장들이 상이한 클래스임을 구분할 수 있도록 클래스 일치 여부(Class coincidence classification) 문제를 결합 학습(Jointly learning)하는 기법을 제안한다. 동일 클래스 내 학습 문장의 무작위 쌍(Pair)을 생성 및 학습하여 해당 쌍이 같은 클래스에 속한다는 것을 학습하게 하면서, 동시에 서로 다른 클래스 간 학습 문장의 무작위 쌍을 생성 및 학습하여 해당 쌍은 상이한 클래스임을 구분해 내는 능력을 함께 학습하도록 유도하였다. 실험을 위해서는 최근 발표되어 자연어 처리 분야에서 가장 좋은 성능을 보이고 있는 BERT 의 텍스트 분류 모델을 이용했으며, 제안한 기법을 적용한 모델과의 성능 비교를 위해 한국어 FAQ 데이터를 기반으로 실험을 진행했다. 실험 결과, 분류 문제만 단독으로 학습한 BERT 기본 모델보다 본 연구에서 제안한 클래스 일치 여부 결합 학습 모델이 유사한 문장들 간의 차이를 구분하며 유의미한 성능 향상을 보인다는 것을 확인할 수 있었다.

  • PDF

클래스 재사용을 위한 검색 모델 연구 (A Study on the Searching Model for Class Reuse)

  • 허종오;박만곤
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2002년도 추계학술발표논문집
    • /
    • pp.796-801
    • /
    • 2002
  • 최근의 소프트웨어 개발은 객체지향 프로그램 개발 기법을 사용하여 소프트웨어를 개발하고 있다. 초보 개발자에게는 적절한 객체를 식별하고 정확한 속성과 행위를 부여하는 객체 지향 기법은 상당히 힘든 문제이다. 객체의 집합, 즉 클래스 모델링 기법에도 재사용 기법을 사용한다면 이미 작성된 모델을 참조하여 객체 지향 개발 기법을 처음 접하는 초보 개발자에게는 학습의 기회를 제공하고, 숙련된 개발자에게는 검증된 모델을 통해 모델링 실패를 방지할 수 있는 안전성을 제공할 수 있다. 본 논문에서는 유사성(Similarity) 측정 기법을 적용하여 클래스간의 유사도를 판단하고, 관계 일치여부를 분석하여, 재사용 가능한 클래스를 검색하는 모델을 제안한다.

  • PDF

유전자 발현량 데이터의 클러스터링을 이용한 다중 클래스 분류 모델 (Multi-Class Classification Model Using Gene Expression Data Clustering)

  • 김현진;안재균;박치현;윤영미;박상현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.1240-1242
    • /
    • 2011
  • 본 논문에서는 여러 개의 클래스가 존재할 때, 각 클래스 내에서 샘플들을 클러스터링하고 서로 다른 클래스들과 분산도를 비교하여 클러스터가 가장 겹치지 않는 유전자 쌍들을 찾는다. 각 유전자 쌍에서 테스트 샘플과 가장 가까운 클러스터를 찾음으로써 클래스를 분류하고, 최종적으로 과반수 의결(Majority vote)하여 가장 많이 분류된 클래스를 최종 클래스로 확정한다. 그 결과, 해당 모델이 여러 개의 클래스를 가진 데이터에서 다른 비교 알고리즘의 모델들보다 높은 정확도를 나타내었다.

Use Case 및 클래스의 가중치 분석에 의한 컴포넌트 추출 기법 (Component Extraction Method Using Weight Analysis between Use Cases and Classes)

  • 유영란;김수동
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제28권8호
    • /
    • pp.537-549
    • /
    • 2001
  • 소프트웨어의 생산성과 유지보수 비용을 줄여줄 수 있는 기법으로 다양한 컴포넌트 기반의 개발 방법론이 제안되고 있다. 그러나 컴포넌트 기반의 시스템에서 재사용성과 독립성이 높은 컴포넌트의 식별은 가장 중요한 성공 요소 중의 하나임에도 불구하고, 대부분의 컴포넌트 기반 방법론들에서는 직관적이고 분석자의 경험에 의존적인 컴포넌트 식별 방법만을 제공하고 있을 따름이다. 본 논문에서는 분석 단계의 산출물인 시스템의 기능 모델 Use Case 모델과 자료 모델인 클래스 모델에 기반 하여 체계적인 컴포넌트 식별 기법과 지침들을 제안한다. 먼저 클래스에 대한 Use Case의 자료 접근값을 정의하고, 정의된 접근값을 기반으로 Use Case별로 접근되는 클래스의 가중치와 클래스별 동일 접근값을 가지는 Use Case들의 가중치를 계산하다. 두 가중치를 곱하여 최종적인 Use Case&클래스 가중치를 계산하여 후보 컴포넌트 식별의 기준으로 삼는다.

  • PDF

연구데이터 관리 및 검색을 위한 스키마 클래스 상속 모델 (Schema Class Inheritance Model for Research Data Management and Search)

  • 김선태
    • 정보관리학회지
    • /
    • 제31권2호
    • /
    • pp.41-56
    • /
    • 2014
  • 최근 연구데이터가 국가자산이라는 인식의 확산으로 원시데이터 관리 및 재사용의 필요성이 이슈이다. 본 연구에서는 데이터의 체계적인 관리를 위해, 스키마 클래스를 상속하는 방식의 메타데이터 설계 모델과 상속을 통해 생성된 스키마 객체들을 대상으로 메타데이터 통합 검색 모델을 제안하였다. 스키마 클래스를 상속한 스키마 객체가 데이터 컬렉션에 1대1의 관계를 갖도록 데이터 아키텍처를 설계하였으며, 제안된 모델의 검증을 위해서 가상 스키마 클래스 및 객체가 시스템적으로 구현 가능함을 증명하였다. 본 연구에서 제안하는 스키마 클래스 상속 및 통합검색 모델은 일반적으로 사용되는 '하향식 계층 모델'의 단점을 극복하는 모델로서, 정부 기관에서 생산되는 데이터를 독립적으로 관리하는데 활용될 수 있다고 사료된다.

절차지향 소프트웨어로부터 클래스와 상속성 추출 (Extraction of Classes and Inheritance from Procedural Software)

  • 최정란;이철;이연식;이문근
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (A)
    • /
    • pp.592-594
    • /
    • 2001
  • 본 논문은 절차지향 소프트웨어로부터 클래스와 상속성을 추출하기 위한 방법론을 제안한다. 본 논문에서 제안한 방법론은 모든 경우의 클래스 후보군과 그들의 상속성을 생성하여 클래스 후보군과 영역 모델 사이의 관계성과 유사 정도를 가지고 최고 또는 최적의 클래스 후보군을 선택하는데 초점을 둔다. 클래스와 상속성 추출 방법론은 다음과 같은 두드러진 특징을 가지고 있다: 정적(속성)과 동적(메소드)인 클러스터링 방법을 사용하고, 클래스 후보군의 경우는 추상화에 초점을 두며, m개의 클래스 후보와 n개의 클래스 후보 사이의 상속 관계의 유사도 측정 즉, 2차원적 유사도 측정은 m개의 클래스 후보와 n개의 클래스 후보 사이의 전체 그룹에 대한 유사도를 구하는 수평적 측정과 클래스 후보군들에서 상속성을 가진 클래스의 집합과 영역 모델에서 같은 클래스 상송성을 가진 클래스 집합사이의 유사도를 위한 수직적 측정방법이 있다. 이러한 방법론은 최고 또는 최적의 클래스 후보군을 선택하기 위해 제공학 전문가에게 광범위하고 통합적인 환경을 제시하고 있다.

  • PDF

워드 임베딩과 품사 태깅을 이용한 클래스 언어모델 연구 (Class Language Model based on Word Embedding and POS Tagging)

  • 정의석;박전규
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권7호
    • /
    • pp.315-319
    • /
    • 2016
  • 음성인식 성능 개선을 위한 언어모델의 기술적 진보는 최근 심층 신경망을 기반으로 한 접근방법으로 한 단계 더 진보한 모양새다. 그러나 연구되고 있는 심층 신경망 기반 언어모델은 대부분 음성인식 이후 리스코링 단계에서 적용할 수 있는 한계를 지닌다. 또한 대규모 어휘에 대한 심층 신경망 접근방법은 아직 시간이 필요하다고 본다. 따라서 본 논문은 심층 신경망 언어 모델의 단순화된 형태인 워드 임베딩 기술을 음성인식 후처리가 아닌 기반 N-gram모델에 바로 적용할 수 있는 접근 방법을 찾는다. 클래스 언어모델이 한 접근 방법이 될 수 있는데, 본 연구에서는 워드 임베딩을 우선 구축하고, 해당 어휘별 벡터 정보를 클러스터링하여 클래스 언어모델을 구축 방법을 제시한다. 이를 기존 어휘기반 N-gram 모델에 통합한 후, 언어모델의 성능 개선 여부를 확인한다. 클래스 언어모델의 타당성 검증을 위해 다양한 클래스 개수의 언어모델 실험과 RNN LM과의 비교 결과를 검토한 후, 모든 언어모델의 성능 개선을 보장하는 품사 부착 언어모델 생성 방법을 제안한다.

구조실험정보를 위한 데이터 모델의 구성 및 사용성 평가 (Evaluation of Organization and Use of Data Model for Structural Experiment Information)

  • 이창호
    • 한국전산구조공학회논문집
    • /
    • 제28권6호
    • /
    • pp.579-588
    • /
    • 2015
  • 구조실험을 위한 데이터 모델은 구조실험에 관련된 실험정보를 정형화하여 표현하므로 데이터 저장소를 개발하는데 이용할 수 있다. 데이터 모델은 특히 대규모의 구조실험정보 또는 일반적인 다양한 실험정보를 위한 데이터 저장소에 효과적인데 예를 들면 NEES에서 개발한 NEEShub Project Warehouse가 있다. 본 논문은 데이터 모델의 구성과 사용을 평가하기 위한 평가요소를 제안하고 있다. 클래스의 속성이 값을 갖는지를 의미하는 AVE(attribute value existence)란 용어를 도입하여 속성의 사용성에 대한 Attribute AVE, 클래스의 사용성에 대한 Class AVE, 하위레벨에 있는 클래스를 포함하는 Class Level AVE, 하나의 프로젝트의 모든 클래스를 포함하는 Project AVE, 모든 프로젝트를 포함하는 데이터 모델에 대한 Data Model AVE를 정의하였다. 이러한 평가요소들을 NEES 데이터 모델의 프로젝트들에 적용하였는데 데이터 모델내의 클래스와 객체에 대한 사용성을 수치적으로 기술하여 평가하는 것이 가능하였다.