• Title/Summary/Keyword: 클래스모델

Search Result 663, Processing Time 0.028 seconds

Word and class-based language modeling for Korean (단어와 클래스 기반의 한국어 언어 모델링)

  • Kim, Kil-Youn;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 2001.10d
    • /
    • pp.221-225
    • /
    • 2001
  • 본 논문에서는 대량의 말뭉치를 바탕으로 한국어에 대해 단어 기반의 n-gram 언어 모델과 클래스 기반의 언어 모델을 구축하고, 이를 실험적으로 검증한다. 단어 기반의 n-gram 모델링의 경우 Katz의 백오프와 Kneser-ney의 스무딩(smoothing) 알고리즘에 대해 실험을 수행한다. 클래스 기반의 언어 모델의 경우에는 품사 태그를 단어의 클래스로 사용한 경우와 말뭉치로부터 자동으로 구축된 클래스를 사용한 경우로 나누어 실험한다. 마지막으로 단어 기반 모델과 클래스 기반 모델을 결합하여 각각의 모델과 그 성능을 비교한다. 실험 결과 단어 기반의 언어 모델의 경우 Katz의 백오프에 비해 Knerser-ney의 스무딩이 보다 조은 성능을 나타내었다. 클래스 기반의 모델의 경우 품사 기반의 방범보다 자동 구축된 단어 클래스를 이용하는 방법의 성능이 더 좋았다. 또한, 단어 모델과 클래스 모델을 결합한 모델이 가장 좋은 성능을 나타냈다. 논문의 모든 알고리즘은 직접 구현되었으며 KLM Toolkit이란 이름으로 제공된다.

  • PDF

Adversarial Training Method for Handling Class Imbalance Problems in Dialog Datasets (대화 데이터셋의 클래스 불균형 문제 보정을 위한 적대적 학습 기법)

  • Cho, Su-Phil;Choi, Yong Suk
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.434-439
    • /
    • 2019
  • 딥러닝 기반 분류 모델에 있어 데이터의 클래스 불균형 문제는 소수 클래스의 분류 성능을 크게 저하시킨다. 본 논문에서는 앞서 언급한 클래스 불균형 문제를 보완하기 위한 방안으로 적대적 학습 기법을 제안한다. 적대적 학습 기법의 성능 향상 여부를 확인하기 위해 총 4종의 딥러닝 기반 분류 모델을 정의하였으며, 해당 모델 간 분류 성능을 비교하였다. 실험 결과, 대화 데이터셋을 이용한 모델 학습 시 적대적 학습 기법을 적용할 경우 다수 클래스의 분류 성능은 유지하면서 동시에 소수 클래스의 분류 성능을 크게 향상시킬 수 있음을 확인하였다.

  • PDF

Jointly learning class coincidence classification for FAQ classification (FAQ 분류 성능 향상을 위한 클래스 일치 여부 결합 학습 모델)

  • Yang, Dongil;Ham, Jina;Lee, Kangwook;Lee, Jiyeon
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.12-17
    • /
    • 2019
  • FAQ(Frequently Asked Questions) 질의 응답 시스템은 자주 묻는 질문과 답변을 정의하고, 사용자 질의에 대해 정의된 답변 중 가장 알맞는 답변을 추론하여 제공하는 시스템이다. 정의된 대표 질문 및 대응하는 답변을 클래스(Class)라고 했을 때, FAQ 질의 응답 시스템은 분류(Classification) 문제라고 할 수 있다. 종래의 FAQ 분류는 동일 클래스 내 동의 문장(Paraphrase)에서 나타나는 공통적인 특징을 통해 분류 문제를 학습하였으나, 이는 비슷한 단어 구성을 가지면서 한 두 개의 단어에 의해 의미가 다른 문장의 차이를 구분하지 못하며, 특히 서로 다른 클래스에 속한 학습 데이터 간에 비슷한 의미를 가지는 문장이 존재할 때 클래스 분류에 오류가 발생하기 쉬운 문제점을 가지고 있다. 본 논문에서는 이 문제점을 해결하고자 서로 다른 클래스 내의 학습 데이터 문장들이 상이한 클래스임을 구분할 수 있도록 클래스 일치 여부(Class coincidence classification) 문제를 결합 학습(Jointly learning)하는 기법을 제안한다. 동일 클래스 내 학습 문장의 무작위 쌍(Pair)을 생성 및 학습하여 해당 쌍이 같은 클래스에 속한다는 것을 학습하게 하면서, 동시에 서로 다른 클래스 간 학습 문장의 무작위 쌍을 생성 및 학습하여 해당 쌍은 상이한 클래스임을 구분해 내는 능력을 함께 학습하도록 유도하였다. 실험을 위해서는 최근 발표되어 자연어 처리 분야에서 가장 좋은 성능을 보이고 있는 BERT 의 텍스트 분류 모델을 이용했으며, 제안한 기법을 적용한 모델과의 성능 비교를 위해 한국어 FAQ 데이터를 기반으로 실험을 진행했다. 실험 결과, 분류 문제만 단독으로 학습한 BERT 기본 모델보다 본 연구에서 제안한 클래스 일치 여부 결합 학습 모델이 유사한 문장들 간의 차이를 구분하며 유의미한 성능 향상을 보인다는 것을 확인할 수 있었다.

  • PDF

A Study on the Searching Model for Class Reuse (클래스 재사용을 위한 검색 모델 연구)

  • 허종오;박만곤
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2002.11b
    • /
    • pp.796-801
    • /
    • 2002
  • 최근의 소프트웨어 개발은 객체지향 프로그램 개발 기법을 사용하여 소프트웨어를 개발하고 있다. 초보 개발자에게는 적절한 객체를 식별하고 정확한 속성과 행위를 부여하는 객체 지향 기법은 상당히 힘든 문제이다. 객체의 집합, 즉 클래스 모델링 기법에도 재사용 기법을 사용한다면 이미 작성된 모델을 참조하여 객체 지향 개발 기법을 처음 접하는 초보 개발자에게는 학습의 기회를 제공하고, 숙련된 개발자에게는 검증된 모델을 통해 모델링 실패를 방지할 수 있는 안전성을 제공할 수 있다. 본 논문에서는 유사성(Similarity) 측정 기법을 적용하여 클래스간의 유사도를 판단하고, 관계 일치여부를 분석하여, 재사용 가능한 클래스를 검색하는 모델을 제안한다.

  • PDF

Multi-Class Classification Model Using Gene Expression Data Clustering (유전자 발현량 데이터의 클러스터링을 이용한 다중 클래스 분류 모델)

  • Kim, Hyun Jin;Ahn, Jaegyoon;Park, Chihyun;Yoon, Youngmi;Park, Sanghyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.1240-1242
    • /
    • 2011
  • 본 논문에서는 여러 개의 클래스가 존재할 때, 각 클래스 내에서 샘플들을 클러스터링하고 서로 다른 클래스들과 분산도를 비교하여 클러스터가 가장 겹치지 않는 유전자 쌍들을 찾는다. 각 유전자 쌍에서 테스트 샘플과 가장 가까운 클러스터를 찾음으로써 클래스를 분류하고, 최종적으로 과반수 의결(Majority vote)하여 가장 많이 분류된 클래스를 최종 클래스로 확정한다. 그 결과, 해당 모델이 여러 개의 클래스를 가진 데이터에서 다른 비교 알고리즘의 모델들보다 높은 정확도를 나타내었다.

Component Extraction Method Using Weight Analysis between Use Cases and Classes (Use Case 및 클래스의 가중치 분석에 의한 컴포넌트 추출 기법)

  • Yu, Yeong-Ran;Kim, Su-Dong
    • Journal of KIISE:Software and Applications
    • /
    • v.28 no.8
    • /
    • pp.537-549
    • /
    • 2001
  • 소프트웨어의 생산성과 유지보수 비용을 줄여줄 수 있는 기법으로 다양한 컴포넌트 기반의 개발 방법론이 제안되고 있다. 그러나 컴포넌트 기반의 시스템에서 재사용성과 독립성이 높은 컴포넌트의 식별은 가장 중요한 성공 요소 중의 하나임에도 불구하고, 대부분의 컴포넌트 기반 방법론들에서는 직관적이고 분석자의 경험에 의존적인 컴포넌트 식별 방법만을 제공하고 있을 따름이다. 본 논문에서는 분석 단계의 산출물인 시스템의 기능 모델 Use Case 모델과 자료 모델인 클래스 모델에 기반 하여 체계적인 컴포넌트 식별 기법과 지침들을 제안한다. 먼저 클래스에 대한 Use Case의 자료 접근값을 정의하고, 정의된 접근값을 기반으로 Use Case별로 접근되는 클래스의 가중치와 클래스별 동일 접근값을 가지는 Use Case들의 가중치를 계산하다. 두 가중치를 곱하여 최종적인 Use Case&클래스 가중치를 계산하여 후보 컴포넌트 식별의 기준으로 삼는다.

  • PDF

Schema Class Inheritance Model for Research Data Management and Search (연구데이터 관리 및 검색을 위한 스키마 클래스 상속 모델)

  • Kim, Suntae
    • Journal of the Korean Society for information Management
    • /
    • v.31 no.2
    • /
    • pp.41-56
    • /
    • 2014
  • The necessity of the raw data management and reuse is issued by diffusion of the recognition that research data is a national asset. In this paper, a metadata design model by schema class inheritance and a metadata integrated search model by schema objects are suggested for a structural management of the data. A data architecture in which an schema object has an 1 : 1 relation to the data collection was designed. A suggested model was testified by creation of a virtual schema class and objects which inherit the schema class. It showed the possibility of implement systematically. A suggested model can be used to manage the data which are produced by government agencies because schema inheritance and integrated search model present way to overcome the weak points of the 'Top-dow Hierarchy model' which is being used to design the metadata schema.

Extraction of Classes and Inheritance from Procedural Software (절차지향 소프트웨어로부터 클래스와 상속성 추출)

  • Choi, Jeong-Ran;Lee, Chol;Lee, Yun-Sik;Lee, Moon-Kun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04a
    • /
    • pp.592-594
    • /
    • 2001
  • 본 논문은 절차지향 소프트웨어로부터 클래스와 상속성을 추출하기 위한 방법론을 제안한다. 본 논문에서 제안한 방법론은 모든 경우의 클래스 후보군과 그들의 상속성을 생성하여 클래스 후보군과 영역 모델 사이의 관계성과 유사 정도를 가지고 최고 또는 최적의 클래스 후보군을 선택하는데 초점을 둔다. 클래스와 상속성 추출 방법론은 다음과 같은 두드러진 특징을 가지고 있다: 정적(속성)과 동적(메소드)인 클러스터링 방법을 사용하고, 클래스 후보군의 경우는 추상화에 초점을 두며, m개의 클래스 후보와 n개의 클래스 후보 사이의 상속 관계의 유사도 측정 즉, 2차원적 유사도 측정은 m개의 클래스 후보와 n개의 클래스 후보 사이의 전체 그룹에 대한 유사도를 구하는 수평적 측정과 클래스 후보군들에서 상속성을 가진 클래스의 집합과 영역 모델에서 같은 클래스 상송성을 가진 클래스 집합사이의 유사도를 위한 수직적 측정방법이 있다. 이러한 방법론은 최고 또는 최적의 클래스 후보군을 선택하기 위해 제공학 전문가에게 광범위하고 통합적인 환경을 제시하고 있다.

  • PDF

Class Language Model based on Word Embedding and POS Tagging (워드 임베딩과 품사 태깅을 이용한 클래스 언어모델 연구)

  • Chung, Euisok;Park, Jeon-Gue
    • KIISE Transactions on Computing Practices
    • /
    • v.22 no.7
    • /
    • pp.315-319
    • /
    • 2016
  • Recurrent neural network based language models (RNN LM) have shown improved results in language model researches. The RNN LMs are limited to post processing sessions, such as the N-best rescoring step of the wFST based speech recognition. However, it has considerable vocabulary problems that require large computing powers for the LM training. In this paper, we try to find the 1st pass N-gram model using word embedding, which is the simplified deep neural network. The class based language model (LM) can be a way to approach to this issue. We have built class based vocabulary through word embedding, by combining the class LM with word N-gram LM to evaluate the performance of LMs. In addition, we propose that part-of-speech (POS) tagging based LM shows an improvement of perplexity in all types of the LM tests.

Evaluation of Organization and Use of Data Model for Structural Experiment Information (구조실험정보를 위한 데이터 모델의 구성 및 사용성 평가)

  • Lee, Chang-Ho
    • Journal of the Computational Structural Engineering Institute of Korea
    • /
    • v.28 no.6
    • /
    • pp.579-588
    • /
    • 2015
  • The data model for structural experiment information formally organizes the information involved in the structural experiments before the data repository using the data model is implemented. The data model is particularly required for the data repositories for the large-scale structural experiment information and the general information for various types of experiments, such as the NEEShub Project Warehouse developed by NEES. This paper proposes criteria for evaluating the organization and the use of design model for structural experiment information. The term of AVE(attribute value existence) indicates the ratio of attributes who values exist in objects, and then used for defining the Attribute AVE for the use of an attribute, the Class AVE for a class, the Class Level AVE for a class including its lower-level classes, the Project AVE for a project including all classes at class levels, and the Data Model AVE for a data model including projects. These criteria are applied to the projects in the NEES data model, and it is successively possible to numerically describe the evaluation of the use of classes and attributes in the data model.