• Journal of Information Processing Systems
• /
• 제13권4호
• /
• pp.863-875
• /
• 2017

The traditional text similarity measurement methods based on word frequency vector ignore the semantic relationships between words, which has become the obstacle to text similarity calculation, together with the high-dimensionality and sparsity of document vector. To address the problems, the improved singular value decomposition is used to reduce dimensionality and remove noises of the text representation model. The optimal number of singular values is analyzed and the semantic relevance between words can be calculated in constructed semantic space. An inverted index construction algorithm and the similarity definitions between vectors are proposed to calculate the similarity between two documents on the semantic level. The experimental results on benchmark corpus demonstrate that the proposed method promotes the evaluation metrics of F-measure.

• 국제학술발표논문집
• /
• The 6th International Conference on Construction Engineering and Project Management
• /
• pp.37-38
• /
• 2015

A number of documents containing important and useful knowledge have been generated over time in the construction industry. Such text-based knowledge plays an important role in the construction industry for decision-making and business strategy development by being used as best practice for upcoming projects, delivering lessons learned for better risk management and project control. Thus, practical and usable knowledge creation from construction documents is necessary to improve business efficiency. This study proposes a knowledge creating system from construction documents using text mining and the design comprises three main steps - text mining preprocessing, weight calculation of each term, and visualization. A system prototype was developed as a pilot study of the system design. This study is significant because it validates a knowledge creating system design based on text mining and visualization functionality through the developed system prototype. Automated visualization was found to significantly reduce unnecessary time consumption and energy for processing existing data and reading a range of documents to get to their core, and helped the system to provide an insight into the construction industry.

• 방송공학회논문지
• /
• 제28권2호
• /
• pp.178-184
• /
• 2023

카메라로 촬영한 야외 일반 영상에서 텍스트 이미지를 찾아내고 그 내용을 인식하는 기술은 로봇 비전, 시각 보조 등의 기반으로 활용될 수 있는 매우 중요한 기술이다. 하지만 텍스트 이미지가 저해상도인 경우에는 텍스트 이미지에 포함된 노이즈나 블러 등의 열화가 더 두드러지기 때문에 텍스트 내용 인식 성능의 하락이 발생하게 된다. 본 논문에서는 일반 영상에서의 저해상도 한글 텍스트에 대한 이미지 초해상화를 통해서 텍스트 인식 정확도를 개선하였다. 트랜스포머에 기반한 모델로 한글 텍스트 이미지 초해상화를 수행 하였으며, 직접 구축한 고해상도-저해상도 한글 텍스트 이미지 데이터셋에 대하여 제안한 초해상화 방법을 적용했을 때 텍스트 인식 성능이 개선되는 것을 확인하였다.

• 디지털콘텐츠학회 논문지
• /
• 제18권4호
• /
• pp.777-785
• /
• 2017

실세계에서 텍스트가 포함 된 장면은 텍스트를 추출하고 인식하여 많은 정보를 얻을 수 있으므로, 장면의 텍스트 영역을 추출하고 인식하는 기술들은 꾸준히 발전하고 있다. 장면에서 텍스트 영역을 추출하는 기술은 크게 텍스쳐를 기반으로 하는 방법과 연결요소방법, 그리고 이 둘을 적절히 혼합하는 방법들로 구분 할 수 있다. 텍스처를 기반으로 하는 방법은 영상의 색상, 명도 등의 정보를 이용하여 텍스트가 다른 요소와는 다른 값을 갖는다는 것을 기반으로 한다. 연결 요소 방법은 장면의 각 화소마다 인접해 있는 유사 화소를 연결 요소로 만들어 기하학적인 특성을 이용하여 판별한다. 본 논문에서는 텍스트 영역 추출의 정확도를 높이기 위해 영상의 기울기를 검출하고 보정한 후 에지를 적응적으로 변경하는 방법을 제안한다. 제안 방법은 영상의 기울기를 보정한 후 텍스트가 포함 된 정확한 영역만 추출하기 때문에 MSER보다 15%, EEMSER보다 10% 더 정확하게 영역을 얻었다.

• Asia pacific journal of information systems
• /
• 제29권4호
• /
• pp.615-643
• /
• 2019

Now is the time for IS scholars to demonstrate the added value of academic theory through its integration with text mining, clearly outline how to implement this for text mining experts outside of the academic field, and move towards establishing this integration as a standard practice. Therefore, in this study we develop a systematic theory-based text-mining framework (TTMF), and illustrate the use and benefits of TTMF by conducting a text-mining project in an actual business case evaluating and improving hotel service quality using a large volume of actual user-generated reviews. A total of 61,304 sentences extracted from actual customer reviews were successfully allocated to SERVQUAL dimensions, and the pragmatic validity of our model was tested by the OLS regression analysis results between the sentiment scores of each SERVQUAL dimension and customer satisfaction (star rates), and showed significant relationships. As a post-hoc analysis, the results of the co-occurrence analysis to define the root causes of positive and negative service quality perceptions and provide action plans to implement improvements were reported.

• 정보처리학회논문지B
• /
• 제13B권4호
• /
• pp.409-416
• /
• 2006

본 논문에서는 스팸메일 영상에서 텍스트 영역의 추출을 위한 색상 레이어기반의 알고리즘을 제안한다. CLTE(color layer-based text extraction)는 색상 레이어를 사용하여 영상을 8개로 나눈다. 8개 각각의 영상에서 연결요소를 추출한 후, 연결요소의 크기에 의해서 텍스트 영역과 비텍스트 영역을 분류하고 텍스트 영역을 추출한다. 또한, 추출된 텍스트 영역으로부터 회손된 획 정보를 복구하는 알고리즘을 제안한다. 이진영상내의 한글 문자에는 두 가지 형태의 손상된 획이 존재한다. 첫째 중성 획에 해당하는 'ㅣ' 나 'ㅡ' 등의 획들이 지워지는 경우와, 둘째 초 종성 획에 해당하는 'ㅁ' 이나 'ㅇ'이 흑화소로 채워지는 경우가 있다. 제안한 알고리즘은 이러한 두 가지 손상된 획들을 복구해준다. 200개의 스팸메일 영상을 사용한 실험 결과 제안한 알고리즘이 기존의 텍스트 추출 알고리즘보다 10% 이상 우수함을 관측하였다.

• 데이타베이스연구회지:데이타베이스연구
• /
• 제34권3호
• /
• pp.3-13
• /
• 2018

자동문서분류(Text Classification)는 주어진 텍스트 문서를 이에 적합한 카테고리로 분류하는 텍스트 마이닝 기술 중의 하나로서 스팸메일 탐지, 뉴스분류, 자동응답, 감성분석, 쳇봇 등 다양한 분야에 활용되고 있다. 일반적으로 자동문서분류 시스템은 기계학습 알고리즘을 활용하며, 이 중에서 텍스트 데이터에 적합한 알고리즘인 나이브베이즈(Naive Bayes), 지지벡터머신(Support Vector Machine) 등이 합리적 수준의 성능을 보이는 것으로 알려져 있다. 최근 딥러닝 기술의 발전에 따라 자동문서분류 시스템의 성능을 개선하기 위해 순환신경망(Recurrent Neural Network)과 콘볼루션 신경망(Convolutional Neural Network)을 적용하는 연구가 소개되고 있다. 그러나 이러한 최신 기법들이 아직 완벽한 수준의 문서분류에는 미치지 못하고 있다. 본 논문은 그 이유가 텍스트 데이터가 단어 차원 중심의 벡터로 표현되어 텍스트에 내재한 의미 정보를 훼손하는데 주목하고, 선행 연구에서 그 효능이 검증된 시멘틱 텐서공간모델에 기반하여 심층 신경망 아키텍처를 제안하고 이를 활용한 문서분류기의 성능이 대폭 상승함을 보인다.

• 한국정보시스템학회지:정보시스템연구
• /
• 제29권4호
• /
• pp.171-191
• /
• 2020

Purpose The study aims to compare the online review writing behavior of users in China and the United States through text mining on online reviews' text content. In particular, existing studies have verified that there are differences in online reviews between different cultures. Therefore, the purpose of this study is to compare the differences between reviews written by Chinese and American tourists by analyzing text contents of online reviews based on cultural theory. Design/methodology/approach This study collected and analyzed online review data for hotels, targeting Chinese and US tourists who visited Korea. Then, we analyzed review data through text mining like sentiment analysis and topic modeling analysis method based on previous research analysis. Findings The results showed that Chinese tourists gave higher ratings and relatively less negative ratings than American tourists. And American tourists have more negative sentiments and emotions in writing online reviews than Chinese tourists. Also, through the analysis results using topic modeling, it was confirmed that Chinese tourists mentioned more topics about the hotel location, room, and price, while American tourists mentioned more topics about hotel service. American tourists also mention more topics about hotels than Chinese tourists, indicating that American tourists tend to provide more information through online reviews.

• 산업경영시스템학회지
• /
• 제43권4호
• /
• pp.33-40
• /
• 2020

In order to satisfy customers, it is important to identify the quality elements that affect customers' satisfaction. The Kano model has been widely used in identifying multi-dimensional quality attributes in this purpose. However, the model suffers from various shortcomings and limitations, especially those related to survey practices such as the data amount, reply attitude and cost. In this research, a model based on the text sentiment analysis is proposed, which aims to substitute the survey-based data gathering process of Kano models with sentiment analysis. In this model, from the set of opinion text, quality elements for the research are extracted using the morpheme analysis. The opinions' polarity attributes are evaluated using text sentiment analysis, and those polarity text items are transformed into equivalent Kano survey questions. Replies for the transformed survey questions are generated based on the total score of the original data. Then, the question-reply set is analyzed using both the original Kano evaluation method and the satisfaction index method. The proposed research model has been tested using a large amount of data of public IT service project evaluations. The result shows that it can replace the existing practice and it promises advantages in terms of quality and cost of data gathering. The authors hope that the proposed model of this research may serve as a new quality analysis model for a wide range of areas.

• International Journal of Computer Science & Network Security
• /
• 제22권8호
• /
• pp.242-248
• /
• 2022

The article presents the analysis of modern methods of automatic comparison of original and unoriginal text to detect textual plagiarism. The study covers two types of plagiarism - literal, when plagiarists directly make exact copying of the text without changing anything, and intelligent, using more sophisticated techniques, which are harder to detect due to the text manipulation, like words and signs replacement. Standard techniques related to extrinsic detection are string-based, vector space and semantic-based. The first, most common and most successful target models for detecting literal plagiarism - N-gram and Vector Space are analyzed, and their advantages and disadvantages are evaluated. The most effective target models that allow detecting intelligent plagiarism, particularly identifying paraphrases by measuring the semantic similarity of short components of the text, are investigated. Models using neural network architecture and based on natural language sentence matching approaches such as Densely Interactive Inference Network (DIIN), Bilateral Multi-Perspective Matching (BiMPM) and Bidirectional Encoder Representations from Transformers (BERT) and its family of models are considered. The progress in improving plagiarism detection systems, techniques and related models is summarized. Relevant and urgent problems that remain unresolved in detecting intelligent plagiarism - effective recognition of unoriginal ideas and qualitatively paraphrased text - are outlined.