• 제목/요약/키워드: text information

검색결과 4,361건 처리시간 0.03초

Customer Service Evaluation based on Online Text Analytics: Sentiment Analysis and Structural Topic Modeling

  • 박경배;하성호
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제26권4호
    • /
    • pp.327-353
    • /
    • 2017
  • Purpose Social media such as social network services, online forums, and customer reviews have produced a plethora amount of information online. Yet, the information deluge has created both opportunities and challenges at the same time. This research particularly focuses on the challenges in order to discover and track the service defects over time derived by mining publicly available online customer reviews. Design/methodology/approach Synthesizing the streams of research from text analytics, we apply two stages of methods of sentiment analysis and structural topic model incorporating meta-information buried in review texts into the topics. Findings As a result, our study reveals that the research framework effectively leverages textual information to detect, prioritize, and categorize service defects by considering the moving trend over time. Our approach also highlights several implications theoretically and practically of how methods in computational linguistics can offer enriched insights by leveraging the online medium.

A Study of Main Contents Extraction from Web News Pages based on XPath Analysis

  • Sun, Bok-Keun
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권7호
    • /
    • pp.1-7
    • /
    • 2015
  • Although data on the internet can be used in various fields such as source of data of IR(Information Retrieval), Data mining and knowledge information servece, and contains a lot of unnecessary information. The removal of the unnecessary data is a problem to be solved prior to the study of the knowledge-based information service that is based on the data of the web page, in this paper, we solve the problem through the implementation of XTractor(XPath Extractor). Since XPath is used to navigate the attribute data and the data elements in the XML document, the XPath analysis to be carried out through the XTractor. XTractor Extracts main text by html parsing, XPath grouping and detecting the XPath contains the main data. The result, the recognition and precision rate are showed in 97.9%, 93.9%, except for a few cases in a large amount of experimental data and it was confirmed that it is possible to properly extract the main text of the news.

새로운 비디오 자막 영역 검출 기법 (A new approach for overlay text detection from complex video scene)

  • 김원준;김창익
    • 방송공학회논문지
    • /
    • 제13권4호
    • /
    • pp.544-553
    • /
    • 2008
  • 최근 영상 편집 기술의 발달과 더불어 시청자의 이해를 돕기 위해 인위적으로 자막을 삽입하는 경우가 늘고 있다. 인위적으로 삽입된 자막은 해당 장면의 내용이나 편집자의 의도를 잘 표현하고 있기 때문에 비디오 정보 검색(video information retrieval)이나 비디오 색인(video indexing)과 같은 응용에 유용하다. 기존의 자막 영역 추출 방법은 에지(edge), 색상(color), 텍스처(texture) 정보와 같은 하위 계층(low-level) 특징을 기반으로 하기 때문에 다양한 필체나 밝기 대비를 가진 자막이 동시에 나타나거나 복잡한 배경에 포함된 자막 영역의 경우 잘 검출하지 못한다. 이에 본 논문은 기존의 방법과는 전혀 다른 천이 영역 기반의 새로운 영상 내 자막 영역 검출 기법을 제안하고자 한다. 먼저, 영상 내 삽입된 글자 주변은 시청자에게 영상으로부터의 높이 감을 주기 위해 해당 글자와 다른 색으로 표현된다는 관찰 결과를 바탕으로 천이 지도를 생성한다. 생성된 천이 지도를 이용하여 후보 영역을 추출하고 상태 밀도 개념을 바탕으로 후보 영역 중에서 삽입된 자막 영역을 추출한다. 제안하는 알고리즘은 글자 색, 크기, 위치, 필체, 밝기 대비에 관계없이 적용이 가능하며, 다양한 언어에 관계없이 뛰어난 성능을 보인다. 또한, 프레임 간 자막 영역 업데이트를 통해 자막 영역 추출의 효율을 높였다. 다양한 영상에 대한 실험을 통해 제안하는 알고리즘이 효율적인 비디오 자막 영역 추출 방법임을 보이고자 한다.

상용 학술데이터베이스의 텍스트 기반 검색과 비주얼검색의 사용성에 관한 연구 (Usability Evaluation of Text-based Search and Visual Search of a Multidisciplinary Library Database)

  • 김종애
    • 정보관리학회지
    • /
    • 제26권3호
    • /
    • pp.111-129
    • /
    • 2009
  • 본 연구는 시각화 정보검색시스템이 실제 정보검색환경에서 이용자에게 원활하게 수용될 수 있는지에 대한 경험적인 분석을 제공하고자, 상용 학술데이터베이스의 텍스트 기반 검색과 비주얼검색의 사용성을 비교 평가하고, 실험순서에 따라 사용성 평가에 있어 차이가 있는지 분석하였다. 검색소요시간과 처리동작횟수에 있어서 텍스트 기반 검색이 비주얼검색보다 더 효율적인 것으로 나타났으며, 통계적으로 유의한 차이가 있는 것으로 나타났다. 또한 사용성에 대한 인식에 있어서도 텍스트 기반 검색이 비주얼 검색보다 전체적으로 더 높게 나타났으며 통계적으로 유의한 차이가 있는 것으로 나타났다.

Automatic Single Document Text Summarization Using Key Concepts in Documents

  • Sarkar, Kamal
    • Journal of Information Processing Systems
    • /
    • 제9권4호
    • /
    • pp.602-620
    • /
    • 2013
  • Many previous research studies on extractive text summarization consider a subset of words in a document as keywords and use a sentence ranking function that ranks sentences based on their similarities with the list of extracted keywords. But the use of key concepts in automatic text summarization task has received less attention in literature on summarization. The proposed work uses key concepts identified from a document for creating a summary of the document. We view single-word or multi-word keyphrases of a document as the important concepts that a document elaborates on. Our work is based on the hypothesis that an extract is an elaboration of the important concepts to some permissible extent and it is controlled by the given summary length restriction. In other words, our method of text summarization chooses a subset of sentences from a document that maximizes the important concepts in the final summary. To allow diverse information in the summary, for each important concept, we select one sentence that is the best possible elaboration of the concept. Accordingly, the most important concept will contribute first to the summary, then to the second best concept, and so on. To prove the effectiveness of our proposed summarization method, we have compared it to some state-of-the art summarization systems and the results show that the proposed method outperforms the existing systems to which it is compared.

Research on Chinese Microblog Sentiment Classification Based on TextCNN-BiLSTM Model

  • Haiqin Tang;Ruirui Zhang
    • Journal of Information Processing Systems
    • /
    • 제19권6호
    • /
    • pp.842-857
    • /
    • 2023
  • Currently, most sentiment classification models on microblogging platforms analyze sentence parts of speech and emoticons without comprehending users' emotional inclinations and grasping moral nuances. This study proposes a hybrid sentiment analysis model. Given the distinct nature of microblog comments, the model employs a combined stop-word list and word2vec for word vectorization. To mitigate local information loss, the TextCNN model, devoid of pooling layers, is employed for local feature extraction, while BiLSTM is utilized for contextual feature extraction in deep learning. Subsequently, microblog comment sentiments are categorized using a classification layer. Given the binary classification task at the output layer and the numerous hidden layers within BiLSTM, the Tanh activation function is adopted in this model. Experimental findings demonstrate that the enhanced TextCNN-BiLSTM model attains a precision of 94.75%. This represents a 1.21%, 1.25%, and 1.25% enhancement in precision, recall, and F1 values, respectively, in comparison to the individual deep learning models TextCNN. Furthermore, it outperforms BiLSTM by 0.78%, 0.9%, and 0.9% in precision, recall, and F1 values.

Text Classification with Heterogeneous Data Using Multiple Self-Training Classifiers

  • William Xiu Shun Wong;Donghoon Lee;Namgyu Kim
    • Asia pacific journal of information systems
    • /
    • 제29권4호
    • /
    • pp.789-816
    • /
    • 2019
  • Text classification is a challenging task, especially when dealing with a huge amount of text data. The performance of a classification model can be varied depending on what type of words contained in the document corpus and what type of features generated for classification. Aside from proposing a new modified version of the existing algorithm or creating a new algorithm, we attempt to modify the use of data. The classifier performance is usually affected by the quality of learning data as the classifier is built based on these training data. We assume that the data from different domains might have different characteristics of noise, which can be utilized in the process of learning the classifier. Therefore, we attempt to enhance the robustness of the classifier by injecting the heterogeneous data artificially into the learning process in order to improve the classification accuracy. Semi-supervised approach was applied for utilizing the heterogeneous data in the process of learning the document classifier. However, the performance of document classifier might be degraded by the unlabeled data. Therefore, we further proposed an algorithm to extract only the documents that contribute to the accuracy improvement of the classifier.

DCT와 정보 화소 밀도를 이용한 PDA로 획득한 명함 영상에서의 영역 해석 (Region Analysis of Business Card Images Acquired in PDA Using DCT and Information Pixel Density)

  • 김종흔;장익훈;김남철
    • 한국통신학회논문지
    • /
    • 제29권8C호
    • /
    • pp.1159-1174
    • /
    • 2004
  • 본 논문에서는 PDA에 장착된 카메라를 사용하여 획득한 명함 영상에 대한 효율적인 영역 해석 알고리듬을 제안한다. 제안된 방법은 크게 영역 분할, 정보 영역 분류, 문자 영역 분류의 3개 과정으로 구성된다. 영역 분할에서는 입력 명함 영상을 8${\times}$8 크기의 블록으로 나누고 각 블록을 저주파 대역에서의 정규화 된 DCT 계수의 에너지를 이용하여 정보 블록과 배경 블록으로 분류한 다음, 블록에 대한 영역 라벨링을 통하여 정보 영역과 배경 영역으로 분할한다. 정보 영역 분류에서는 각 정보 영역을 블록 신호의 수평, 수직 방향 에지 성분과 저주파 대역에서의 DCT 계수의 에너지 비와 이진화 된 정보 영역 내에서의 흑화소인 정보 화소의 밀도를 이용하여 문자 영역과 배경 영역으로 분류한다. 문자 영역 분류에서는 분류된 문자 영역을 정보 화소의 밀도와 평균 런 길이를 이용하여 다시 큰 문자와 작은 문자 영역으로 분류한다. 실험결과 제안된 영역 해석 방법은 여러 종류의 명함을 다양한 주변 여건에서 PDA로 획득한 시험 영상에 대하여 정보 영역과 배경 영역을 잘 분할하고, 정보 영역을 문자 영역과 그림 영역으로 잘 분류하며, 다시 문자 영역을 큰 문자와 작은 문자 영역으로 잘 분류함을 보였다 그리고 제안된 영역 분할 방법과 정보 영역 분류 방법은 기존의 방법들보다 각각 약 2.2-10.1%와 7.7%의 에러율 향상을 보였다.

기획 - Text Mining을 이용한 영문 특허텍스트 DB의 텍스트 경제성 및 피검색성을 평가하는 기법에 관한 연구

  • 김현태
    • Patent21
    • /
    • 통권89호
    • /
    • pp.2-15
    • /
    • 2010
  • 본 연구보고서는 Text Mining 가법을 기반으로 영문 특허텍스트 DB를 구성하는 텍스트 (Text) 부분의 경제성 및 피검색성을 정량적으로 평가하는 모델을 제시하고, 이를 바탕으로 2차 가공된 영문 특허텍스트 DB의 성능을 일정범위 내에서 관리하는 품질관리모델의 개발 가능성을 탐색하는데 그 목적이 있다.

  • PDF

빅데이터 기반의 정성 정보를 활용한 부도 예측 모형 구축 (Bankruptcy Prediction Modeling Using Qualitative Information Based on Big Data Analytics)

  • 조남옥;신경식
    • 지능정보연구
    • /
    • 제22권2호
    • /
    • pp.33-56
    • /
    • 2016
  • 대부분의 부도 예측에 관한 연구는 재무 변수를 중심으로 통계적 방법 또는 인공지능 기법을 적용하여 부도 예측 모형을 구축하였다. 그러나 재무비율과 같은 회계 정보를 이용한 부도 예측 모형은 재무 제표 결산 시점과 신용평가 시점 간 시차를 고려하지 않을 뿐만 아니라 해당 산업의 경제적 상황과 같은 외부 환경적인 요소를 반영하기 어렵다는 한계점이 존재하였다. 기업의 부도 여부를 예측하기 위해 정량 정보인 재무 변수만을 이용하는 것에 한계가 있음에도 불구하고 정성 정보를 부도 예측 모형에 반영한 연구는 아직 미흡한 실정이다. 본 연구에서는 재무 변수를 이용하는 기존 부도 예측 모형의 성과를 개선하기 위해 빅데이터 기반의 정성 정보를 추가적인 입력 변수로 활용하는 부도 예측 모형을 제안하였다. 제안 모형의 성과 향상은 정성 정보를 예측 모형에 통합시키기에 적합한 형태로 정보의 유형을 변환시킬 수 있는가에 따라 달려있다. 이에 본 연구에서는 정성 정보 처리를 위한 방법으로 빅데이터 분석 기법 중 하나인 텍스트 마이닝(Text Mining)을 활용하였다. 해당 산업과 관련된 경제 뉴스 데이터로부터 경제 상황에 대한 감성 정보를 추출하기 위해 도메인 중심의 감성 어휘 사전을 구축하고, 구축된 어휘 사전을 기반으로 감성 분석(Sentiment Analysis)을 수행하였다. 형태소 분석 등을 포함한 텍스트 전처리 과정을 거쳐 감성 어휘를 추출하고, 각 어휘에 대한 극성 및 감성 점수를 부여하였다. 분석 결과, 전통적 부도 예측 모형에 경제 뉴스 데이터에서 도출한 정성 정보를 반영하는 것은 모형의 성과를 개선하는 것으로 나타났다. 특히, 경제 상황에 대한 부정적 감정이 기업의 부도 여부를 예측하는 데 더욱 효과적임을 알 수 있었다.