• 제목/요약/키워드: Text processing

검색결과 1,187건 처리시간 0.03초

A Method for Text Information Separation from Floorplan Using SIFT Descriptor

  • Shin, Yong-Hee;Kim, Jung Ok;Yu, Kiyun
    • 대한원격탐사학회지
    • /
    • 제34권4호
    • /
    • pp.693-702
    • /
    • 2018
  • With the development of data analysis methods and data processing capabilities, semantic analysis of floorplans has been actively studied. Therefore, studies for extracting text information from drawings have been conducted for semantic analysis. However, existing research that separates rasterized text from floorplan has the problem of loss of text information, because when graphic and text components overlap, text information cannot be extracted. To solve this problem, this study defines the morphological characteristics of the text in the floorplan, and classifies the class of the corresponding region by applying the class of the SIFT key points through the SVM models. The algorithm developed in this study separated text components with a recall of 94.3% in five sample drawings.

Academic Registration Text Classification Using Machine Learning

  • Alhawas, Mohammed S;Almurayziq, Tariq S
    • International Journal of Computer Science & Network Security
    • /
    • 제22권1호
    • /
    • pp.93-96
    • /
    • 2022
  • Natural language processing (NLP) is utilized to understand a natural text. Text analysis systems use natural language algorithms to find the meaning of large amounts of text. Text classification represents a basic task of NLP with a wide range of applications such as topic labeling, sentiment analysis, spam detection, and intent detection. The algorithm can transform user's unstructured thoughts into more structured data. In this work, a text classifier has been developed that uses academic admission and registration texts as input, analyzes its content, and then automatically assigns relevant tags such as admission, graduate school, and registration. In this work, the well-known algorithms support vector machine SVM and K-nearest neighbor (kNN) algorithms are used to develop the above-mentioned classifier. The obtained results showed that the SVM classifier outperformed the kNN classifier with an overall accuracy of 98.9%. in addition, the mean absolute error of SVM was 0.0064 while it was 0.0098 for kNN classifier. Based on the obtained results, the SVM is used to implement the academic text classification in this work.

응집장치가 과학텍스트의 기억과 이해에 미치는 효과 (The Effect of Cohesive Devices on Memory and Understanding of Scientific Text)

  • 김세영;한광희;조숙환
    • 인지과학
    • /
    • 제13권2호
    • /
    • pp.1-13
    • /
    • 2002
  • 본 논문에서는 표층 언어 표현의 응집성 (coherence)이 과학 텍스트의 이해에 어떤 효과를 주는지에 대해 검토하였다 이 연구는 응집성의 강도가 과학 텍스트 이해의 정도와 관계가 있는 지 검토하고. 텍스트의 이해가 지엽적 응집성과 총체적 응집성의 관점으로 어떻게 설명될 수 있는지, 또는 다른 요인과 어떠한 관계가 있는지 조사하였다. 이해에 대한 응집성 강도의 효과를 알아보기 위하여 원인, 반복, 직시사 (deixis). 정박 (anchoring)등의 응집장치 (cohesive devices)를 이용하여 텍스트의 응집성 강도를 조작하였으며. 이에 대한 오프라인 처리 과제를 실시하였다 실험 결과, 응집성이 강한 텍스트가 보다 용이하게 이해된 것으로 나타났다 단락별로 분석된 회상 및 재인 검사의 결과에서는 응집장치의 종류에 따른 응집성 효과가 선택적으로 나타났다 이는 응집장치의 지엽적 효과가 일관적이지 않다는 것을 의미하는 것으로 보인다. 한편 텍스트의 주제가 얼마나 긴밀하게 연결되었는지 분석한 결과. 주제 연결 (topic continuity)의 긴밀성 정도가 텍스트 이해와 관련되어 있음을 발견하게 되었다 이러한 결과는 텍스트 이해가 지엽적 응집성의 선택적 효과에 의해 구축되는 상향적 (bottom-up) 과정뿐만 아니라. 텍스트 전체를 지배하는 하향적 (top-down) 과정에 의해 촉진됨을 암시한다

  • PDF

비정형 텍스트 데이터 정제를 위한 불용어 코퍼스의 활용에 관한 연구 (A Study on the Use of Stopword Corpus for Cleansing Unstructured Text Data)

  • 이원조
    • 문화기술의 융합
    • /
    • 제8권6호
    • /
    • pp.891-897
    • /
    • 2022
  • 빅데이터 분석에서 원시 텍스트 데이터는 대부분 다양한 비정형 데이터 형태로 존재하기 때문에 휴리스틱 전처리 정제와 컴퓨터를 이용한 후처리 정제과정을 거쳐야 분석이 가능한 정형 데이터 형태가 된다. 따라서 본 연구에서는 텍스트 데이터 분석 기법의 하나인 R 프로그램의 워드클라우드를 적용하기 위해서 수집된 원시 데이터 전처리를 통해 불필요한 요소들을 정제하고 후처리 과정에서 불용어를 제거한다. 그리고 단어들의 출현 빈도수를 계산하고 출현빈도가 높은 단어들을 핵심 이슈들로 표현해 주는 워드클라우드 분석의 사례 연구를 하였다. 이번 연구는 R의워드클라우드 기법으로 기존의 불용어 처리 방법인 "내포된 불용어 소스코드" 방법의 문제점을 개선하기 위하여 "일반적인 불용어 코퍼스"와 "사용자 정의 불용어 코퍼스"의 활용 방안을 제안하고 사례 분석을 통해서 제안된 "비정형 데이터 정제과정 모델"의 장단점을 비교 검증하여 제시하고 "제안된 외부 코퍼스 정제기법"을 이용한 워드클라우드 시각화 분석의 실무적용에 대한 효용성을 제시한다.

GPCR 경로 추출을 위한 생물학 기반의 목적지향 텍스트 마이닝 시스템 (BIOLOGY ORIENTED TARGET SPECIFIC LITERATURE MINING FOR GPCR PATHWAY EXTRACTION)

  • KIm, Eun-Ju;Jung, Seol-Kyoung;Yi, Eun-Ji;Lee, Gary-Geunbae;Park, Soo-Jun
    • 한국생물정보학회:학술대회논문집
    • /
    • 한국생물정보시스템생물학회 2003년도 제2차 연례학술대회 발표논문집
    • /
    • pp.86-94
    • /
    • 2003
  • Electronically available biological literature has been accumulated exponentially in the course of time. So, researches on automatically acquiring knowledge from these tremendous data by text mining technology become more and more prosperous. However, most of the previous researches are technology oriented and are not well focused in practical extraction target, hence result in low performance and inconvenience for the bio-researchers to actually use. In this paper, we propose a more biology oriented target domain specific text mining system, that is, POSTECH bio-text mining system (POSBIOTM), for signal transduction pathway extraction, especially for G protein-coupled receptor (GPCR) pathway. To reflect more domain knowledge, we specify the concrete target for pathway extraction and define the minimal pathway domain ontology. Under this conceptual model, POSBIOTM extracts interactions and entities of pathways from the full biological articles using a machine learning oriented extraction method and visualizes the pathways using JDesigner module provided in the system biology workbench (SBW) [14]

  • PDF

Construction of an Internet of Things Industry Chain Classification Model Based on IRFA and Text Analysis

  • Zhimin Wang
    • Journal of Information Processing Systems
    • /
    • 제20권2호
    • /
    • pp.215-225
    • /
    • 2024
  • With the rapid development of Internet of Things (IoT) and big data technology, a large amount of data will be generated during the operation of related industries. How to classify the generated data accurately has become the core of research on data mining and processing in IoT industry chain. This study constructs a classification model of IoT industry chain based on improved random forest algorithm and text analysis, aiming to achieve efficient and accurate classification of IoT industry chain big data by improving traditional algorithms. The accuracy, precision, recall, and AUC value size of the traditional Random Forest algorithm and the algorithm used in the paper are compared on different datasets. The experimental results show that the algorithm model used in this paper has better performance on different datasets, and the accuracy and recall performance on four datasets are better than the traditional algorithm, and the accuracy performance on two datasets, P-I Diabetes and Loan Default, is better than the random forest model, and its final data classification results are better. Through the construction of this model, we can accurately classify the massive data generated in the IoT industry chain, thus providing more research value for the data mining and processing technology of the IoT industry chain.

학위논문 전문데이터베이스 구축 및 서비스환경 구현 (Construction of Full-Text Database and Implementation of Service Environment for Electronic Theses and Dissertations)

  • 이기호;김진숙;윤화묵
    • 한국정보처리학회논문지
    • /
    • 제7권1호
    • /
    • pp.41-49
    • /
    • 2000
  • 1990년대 중반부터 다양하고 강력한 문서편집기의 보편화와 더불어 국내외의 대학에서는 책자형태의 논문제출과 동시에 전자형태 학위논문의 제출을 의무화하고 있다. 그러나 제출된 방대한 야의 전자형태의 논문들은 한글, MS-Word, Latexe 등 다양한 문서편집기로 작성되었고 문서형식의 표준화가 이루어지지 않아 효율적으로 활용되지 못하고 있는 실정이다. 본 논문에서는 다양한 형태로 존재하는 학위논문들을 하나의 통일된 중간포맷으로 변혼하고, 변환된 논물들을 전문데이터베이스(Full Text Datsbase)화하여 이를 인터넷을 통해 효육적으로 검색하고 서비스하기 위한 학위논문 전문검색시스템을 구현한다.

  • PDF

Automatic Single Document Text Summarization Using Key Concepts in Documents

  • Sarkar, Kamal
    • Journal of Information Processing Systems
    • /
    • 제9권4호
    • /
    • pp.602-620
    • /
    • 2013
  • Many previous research studies on extractive text summarization consider a subset of words in a document as keywords and use a sentence ranking function that ranks sentences based on their similarities with the list of extracted keywords. But the use of key concepts in automatic text summarization task has received less attention in literature on summarization. The proposed work uses key concepts identified from a document for creating a summary of the document. We view single-word or multi-word keyphrases of a document as the important concepts that a document elaborates on. Our work is based on the hypothesis that an extract is an elaboration of the important concepts to some permissible extent and it is controlled by the given summary length restriction. In other words, our method of text summarization chooses a subset of sentences from a document that maximizes the important concepts in the final summary. To allow diverse information in the summary, for each important concept, we select one sentence that is the best possible elaboration of the concept. Accordingly, the most important concept will contribute first to the summary, then to the second best concept, and so on. To prove the effectiveness of our proposed summarization method, we have compared it to some state-of-the art summarization systems and the results show that the proposed method outperforms the existing systems to which it is compared.