• Title/Summary/Keyword: 텍스트분류

Search Result 684, Processing Time 0.029 seconds

The improvement of Korean Standard Classification of Diseases prediction model by applying the hierarchical classification system (계층적 분류체계를 적용한 한국질병사인분류 예측 모델의 개선)

  • Geunyeong Jeong;Joosang Lee;Juoh Sun;Seokwon, Jeong;Hyunjin Shin;Harksoo Kim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.59-64
    • /
    • 2022
  • 한국표준질병사인분류(KCD)는 사람의 질병과 사망 원인을 유사성에 따라 체계적으로 유형화한 분류체계이다. KCD는 계층적 분류체계로 구성되어 있어 분류마다 연관성이 존재하지만, 일반적인 텍스트 분류 모델은 각각의 분류를 독립적으로 예측하기 때문에 계층적 정보를 반영하는 데 한계가 있다. 본 논문은 계층적 분류체계를 적용한 KCD 예측 모델을 제안한다. 제안 방법의 효과를 입증하기 위해 비교 실험을 진행한 결과 F1-score 기준 최대 0.5%p의 성능 향상을 확인할 수 있었다. 특히 비교 모델이 잘 예측하지 못했던 저빈도의 KCD에 대해서 제안 모델은 F1-score 기준 최대 1.1%p의 성능이 향상되었다.

  • PDF

A new segmentation method for non-manhattan layout document images using connected component (연결요소 특징을 이용한 복잡한 문서영상의 구조 분석)

  • 이상협;이경무
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 1997.11a
    • /
    • pp.71-74
    • /
    • 1997
  • 본 논문은 일반적으로 제약 없는 형식 문서 즉, 논-맨하탄(non-manhattan) 형식의 이진문서영상을 분석하는 기법으로서, 연결요소기법에 기반한 특징추출과 이를 이용한 영역분리 및 분류에 관한 새로운 방법을 제안한다. 제안한 방식은 바텀-업(bottom-up)방식으로서 먼저 처리속도의 고속화와 축소시 특징 영역보존을 위해 임계치 축소기법을 사용하고, 축소된 이진 문서영상내의 각 연결된 검은 화소의 집합을 개체화하고 개체의 특성에 따라 텍스트, 신성분, 해프톤, 도형 그리고 표 등으로 분류한다. 영역분류는 두단계로 이루어지는데, 1차분류에서는 우선, B/W 비, 면적, 외각 테두리의 높이와 너비 비, 테두리선유무 등의 특징을 이용하여 해프톤, 수평 수직선, 테두리(표 및 도형)영역을 분리한다. 이후 2차 분류에서는 문자성분의 수평결합을 통한 텍스트행 성분을 추출한다. 마지막 후처리 과정으로 표분석 알고리듬을 통하여 테두리 영역중 표와 도형을 정확히 구분하고, 또한 도형에 관련한 문서성분을 해당 도형 개체에 연결하는 작업을 수행함으로써 완벽한 영역분류를 한다. 다양한 문서영상을 이용한 시뮬레이션을 통해 제안한 알고리듬의 성능을 입증한다.

  • PDF

Improving Performance of Sentiment Classification using Korean Style Transfer based Data Augmentation (한국어 스타일 변환 기반 데이터 증강을 이용한 감성 분류 성능 향상)

  • Eunwoo Go;Eunchan Lee;Sangtae Ahn
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.480-484
    • /
    • 2022
  • 텍스트 분류는 입력받은 텍스트가 어느 종류의 범주에 속하는지 구분하는 것이다. 분류 모델에 있어서 좋은 성능을 나타내기 위해서는 충분한 양의 데이터 셋이 필요함을 많은 연구에서 보이고 있다. 이에 따라 데이터 증강기법을 소개하는 많은 연구가 진행되었지만, 실제로 사용하기 위한 모델에 곧바로 적용하기에는 여러 가지 문제점들이 존재한다. 본 논문에서는 데이터 증강을 위해 스타일 변환 기법을 이용하였고, 그 결과 기존 방법 대비 한국어 감성 분류의 성능을 높였다.

  • PDF

Development of a Korean Font Classification System for Images Based on Syllable-Level Text Recognition (글자 단위 텍스트 인식 기반의 이미지 내 한글 글꼴 분류 시스템 개발)

  • Sara Yu;Kim Yoon-Ju;Song Ji-Hyo;Ki Yong Lee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.718-721
    • /
    • 2023
  • 이미지 내 글꼴을 파악하는 것은 디자인 자료 제작, 저작권 확인 등 다양한 곳에서 중요한 문제이다. 하지만 이미지 내 한글 글꼴을 자동으로 식별하는 시스템은 아직 존재하지 않으며, 수동으로 한글 글꼴을 파악하는 것은 시간과 정확도 측면에서 매우 비효율적이다. 따라서 본 논문에서는 이미지 내 한글 글꼴을 자동으로 인식하는 시스템을 개발한다. 본 논문에서 개발한 시스템은 크게 두 가지 기법을 사용한다: (1) 한글의 기하학적인 특성을 활용하여 글자 단위로 텍스트를 인식하며, (2) 단어가 아닌 글자 단위로 글꼴을 분류하고 각 글자에 대한 글꼴 분류 결과를 종합하여 최종적인 글꼴 분류 결과를 얻는다. 10가지 한글 글꼴이 나타나는 직접 제작한 이미지를 사용하여 시스템의 성능을 평가한 결과 제안 방법은 비교 방법에 비해 더욱 정확히 한글 글꼴을 분류함을 확인하였다.

Korean Text Classification Using Randomforest and XGBoost Focusing on Seoul Metropolitan Civil Complaint Data (RandomForest와 XGBoost를 활용한 한국어 텍스트 분류: 서울특별시 응답소 민원 데이터를 중심으로)

  • Ha, Ji-Eun;Shin, Hyun-Chul;Lee, Zoon-Ky
    • The Journal of Bigdata
    • /
    • v.2 no.2
    • /
    • pp.95-104
    • /
    • 2017
  • In 2014, Seoul Metropolitan Government launched a response service aimed at responding promptly to civil complaints. The complaints received are categorized based on their content and sent to the department in charge. If this part can be automated, the time and labor costs will be reduced. In this study, we collected 17,700 cases of complaints for 7 years from June 1, 2010 to May 31, 2017. We compared the XGBoost with RandomForest and confirmed the suitability of Korean text classification. As a result, the accuracy of XGBoost compared to RandomForest is generally high. The accuracy of RandomForest was unstable after upsampling and downsampling using the same sample, while XGBoost showed stable overall accuracy.

  • PDF

A Study on Improvement of Image Classification Accuracy Using Image-Text Pairs (이미지-텍스트 쌍을 활용한 이미지 분류 정확도 향상에 관한 연구)

  • Mi-Hui Kim;Ju-Hyeok Lee
    • Journal of IKEEE
    • /
    • v.27 no.4
    • /
    • pp.561-566
    • /
    • 2023
  • With the development of deep learning, it is possible to solve various computer non-specialized problems such as image processing. However, most image processing methods use only the visual information of the image to process the image. Text data such as descriptions and annotations related to images may provide additional tactile and visual information that is difficult to obtain from the image itself. In this paper, we intend to improve image classification accuracy through a deep learning model that analyzes images and texts using image-text pairs. The proposed model showed an approximately 11% classification accuracy improvement over the deep learning model using only image information.

Classification of ratings in online reviews (온라인 리뷰에서 평점의 분류)

  • Choi, Dongjun;Choi, Hosik;Park, Changyi
    • Journal of the Korean Data and Information Science Society
    • /
    • v.27 no.4
    • /
    • pp.845-854
    • /
    • 2016
  • Sentiment analysis or opinion mining is a technique of text mining employed to identify subjective information or opinions of an individual from documents in blogs, reviews, articles, or social networks. In the literature, only a problem of binary classification of ratings based on review texts in an online review. However, because there can be positive or negative reviews as well as neutral reviews, a multi-class classification will be more appropriate than the binary classification. To this end, we consider the multi-class classification of ratings based on review texts. In the preprocessing stage, we extract words related with ratings using chi-square statistic. Then the extracted words are used as input variables to multi-class classifiers such as support vector machines and proportional odds model to compare their predictive performances.

Text Document Classification Scheme using TF-IDF and Naïve Bayes Classifier (TF-IDF와 Naïve Bayes 분류기를 활용한 문서 분류 기법)

  • Yoo, Jong-Yeol;Hyun, Sang-Hyun;Yang, Dong-Min
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2015.10a
    • /
    • pp.242-245
    • /
    • 2015
  • Recently due to large-scale data spread in digital economy, the era of big data is coming. Through big data, unstructured text data consisting of technical text document, confidential document, false information documents are experiencing serious problems in the runoff. To prevent this, the need of art to sort and process the document consisting of unstructured text data has increased. In this paper, we propose a novel text classification scheme which learns some data sets and correctly classifies unstructured text data into two different categories, True and False. For the performance evaluation, we implement our proposed scheme using $Na{\ddot{i}}ve$ Bayes document classifier and TF-IDF modules in Python library, and compare it with the existing document classifier.

  • PDF

Implementation of Pen-based Editing System using Rule-based Text Selection Technique (규칙기반 텍스트 영역 선택 기법을 이용한 펜기반 교정 시스템의 구현)

  • 정한상;김재경;손원성;임순범;최윤철
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2002.11b
    • /
    • pp.203-206
    • /
    • 2002
  • 최근 웹을 기반으로 한 문서의 전자화가 이루어지면서 기존의 전통적인 펜기반 교정 시스템 또한 온라인 상의 전자 문서 환경에 맞게 변화하고 있다. 이러한 펜기반 입력 기법을 사용하는 교정 시스템에서는 일반 문서와 달리 웹 문서의 구조정보를 고려한 편집이 지원되어야 하며 또한 교정 부호와 텍스트 간의 정확한 영역 인식이 이루어져야 한다. 본 연구에서는 온라인 교정 시스템 모델링을 통하여 온라인 환경에 적합한 교정 부호를 정의하고, 교정 대상 텍스트 영역을 편집 가능한 단위로 구분하여 효율적인 편집 연산이 이루어 질 수 있도록 하였다. 또한 웹 기반의 구조문서(HTML/XML) 편집 환경을 고려하여 편집으로 인한 문서의 구조 정보 변경을 지원하기 위하여 텍스트를 비구조 및 구조정보 텍스트로 분류하여 정의하였다. 본 연구에서는 이러한 모델에 기반하여 교정 부호의 특성에 따른 가변적인 편집 텍스트 영역 인식 규칙 모델을 정의하여 교정 부호와 편집 텍스트 영역간의 모호성을 최소화 하고, 편집으로 인한 문서의 구조 정보 변경을 지원하는 시스템을 구현하였다. 결과적으로 온라인 웹 문서 환경에서 펜기반의 모호한 교정 부호의 입력을 인지적인 관점에서 해석하여 보다 정확한 교정 작업 수행을 지원하도록 하였다.

  • PDF

Modeling and Implementation of Intelligent Pen-based Online Editing System (지능형 펜기반 온라인 교정 시스템의 설계 및 구현)

  • 김재경;손원성;정한상;임순범;최윤철
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10d
    • /
    • pp.178-180
    • /
    • 2002
  • 최근 종이 문서의 전자화가 이루어지면서 기존의 전통적인 펜기반 교정 시스템 또한 온라인 상의 전자 문서 환경에 맞게 구축되고 있다. 이러한 펜기반 입력 기법을 사용하는 교정 시스템에서는 교정 부호와 텍스트 간의 정확한 영역 인식이 중요하며 이를 위해 교정 부호의 특성과 텍스트 영역의 분석이 필요하다. 본 연구에서는 온라인 교정 시스템 모델링을 통하여 온라인 환경에 적합한 교정 부호를 정의하고, 교정 대상 텍스트 영역을 편집 가능한 단위로 구분하여 효율적인 편집 연산이 이루어 질 수 있도록 하였다. 또한 웹 기반의 구조문서(HTML/XML) 편집 환경을 고려하여 편집으로 인한 문서의 구조 정보 변경을 지원하기 위하여 텍스트를 비구조 및 구조정보 텍스트로 분류하여 정의하였다. 본 연구에서는 이러한 모델에 기반하여 교정 부호의 특성에 따른 가변적인 편집 텍스트 영역 인식 규칙 모델을 정의하여 교정부호와 편집 텍스트 영역간의 모호성을 최소화 하고, 편집으로 인한 문서의 구조 정보 변경을 지원하는 시스템을 구현하였다. 결과적으로 온라인 웹 문서 환경에서 펜기반의 모호한 교정 부호의 입력을 인지적인 관점에서 해석하여 보다 정확한 교정 작업 수행을 지원하도록 하였다.

  • PDF