• 제목/요약/키워드: Training Document

검색결과 171건 처리시간 0.03초

Document Classification Model Using Web Documents for Balancing Training Corpus Size per Category

  • Park, So-Young;Chang, Juno;Kihl, Taesuk
    • Journal of information and communication convergence engineering
    • /
    • 제11권4호
    • /
    • pp.268-273
    • /
    • 2013
  • In this paper, we propose a document classification model using Web documents as a part of the training corpus in order to resolve the imbalance of the training corpus size per category. For the purpose of retrieving the Web documents closely related to each category, the proposed document classification model calculates the matching score between word features and each category, and generates a Web search query by combining the higher-ranked word features and the category title. Then, the proposed document classification model sends each combined query to the open application programming interface of the Web search engine, and receives the snippet results retrieved from the Web search engine. Finally, the proposed document classification model adds these snippet results as Web documents to the training corpus. Experimental results show that the method that considers the balance of the training corpus size per category exhibits better performance in some categories with small training sets.

원자력 통합안전경영시스템을 이용한 요르단연구로사업의 문서관리 (Document Management for Jordan Research and Training Reactor Project by ANSIM)

  • 박국남;최민호;권용세
    • 산업경영시스템학회지
    • /
    • 제39권2호
    • /
    • pp.113-118
    • /
    • 2016
  • Project management is a tool for smooth operation during a full cycle from the design to normal operation including the schedule, document, and budget management, and document management is an important work for big projects such as the JRTR (Jordan Research and Training Reactor). To manage the various large documents for a research reactor, a project management system was resolved, a project procedure manual was prepared, and a document control system was established. The ANSIM (Advanced Nuclear Safety Information Management) system consists of a document management folder, document container folder, project management folder, organization management folder, and EPC (Engineering, Procurement and Construction) document folder. First, the system composition is a computerized version of the Inter-office Correspondence (IOC), the Document Distribution for Agreement (DDA), Design Documents, and Project Manager Memorandum (PM Memo) works prepared for the research reactor design. Second, it reviews, distributes, and approves design documents in the system and approves those documents to register and supply them to the research reactor user. Third, it integrates the information of the document system-using organization and its members, as well as users' rights regarding the ANSIM document system. Throughout these functions, the ANSIM system has been contributing to the vitalization of united research. Not only did the ANSIM system realize a design document input, data load, and search system and manage KAERI's long-period experience and knowledge information properties using a management strategy, but in doing so, it also contributed to research activation and will actively help in the construction of other nuclear facilities and exports abroad.

NCS 의사소통능력과 연계된 부사관과의 자료통합적 문서 교육 연구 (The Study of Integrated Document Training Materials Related to NCS Communication Ability for Petty Officer Majors)

  • 유용태
    • 융합보안논문지
    • /
    • 제19권2호
    • /
    • pp.137-146
    • /
    • 2019
  • 본 연구는 NCS 의사소통능력과 부사관과 의사소통 교육의 연관성을 규명하여 교육목표와 성취 수준에 대하여 고찰하고 이에 적합한 자료통합적 문서 교육에 대하여 살펴보고자 한다. 부사관과 의사소통 교육의 목표는 실질적인 부사관의 의사소통 상황과 연관성을 지닌 문서이해능력과 문서작성능력을 함양하는 것이며 이에 대한 '중' 이상의 성취 수준을 달성하는 것이다. 교육구성은 부사관과의 특성을 고려하여 하위능력 요소에 따른 주차별 세부사항으로 설계하여 교육목표와 수준을 달성하도록 구성하였다. 이에 적합한 부사관과 자료통합적 문서 교육은 문서의 주제제시-팀 활동-최종활동보고서 제출이라는 3단계로 이루어지며 지속적인 평가지를 작성하여 성취 수준을 확인할 수 있도록 구성하였다. 자료통합적 문서 교육은 NCS의 중요성이 강조되는 시점에서 NCS와 연계된 부사관과의 의사소통 교육방안을 제시한 것이다. 앞으로 부사관과 학생들의 문서작성 역량 향상을 모색할 수 있는 다양한 논의가 진행되기를 기대한다.

Document Image Binarization by GAN with Unpaired Data Training

  • Dang, Quang-Vinh;Lee, Guee-Sang
    • International Journal of Contents
    • /
    • 제16권2호
    • /
    • pp.8-18
    • /
    • 2020
  • Data is critical in deep learning but the scarcity of data often occurs in research, especially in the preparation of the paired training data. In this paper, document image binarization with unpaired data is studied by introducing adversarial learning, excluding the need for supervised or labeled datasets. However, the simple extension of the previous unpaired training to binarization inevitably leads to poor performance compared to paired data training. Thus, a new deep learning approach is proposed by introducing a multi-diversity of higher quality generated images. In this paper, a two-stage model is proposed that comprises the generative adversarial network (GAN) followed by the U-net network. In the first stage, the GAN uses the unpaired image data to create paired image data. With the second stage, the generated paired image data are passed through the U-net network for binarization. Thus, the trained U-net becomes the binarization model during the testing. The proposed model has been evaluated over the publicly available DIBCO dataset and it outperforms other techniques on unpaired training data. The paper shows the potential of using unpaired data for binarization, for the first time in the literature, which can be further improved to replace paired data training for binarization in the future.

요르단연구로건설사업 문서관리시스템 구축 (Establishment of Document Control System for the Jordan Research and Training Reactor Project)

  • 박국남;고영철;우상익;오수열;이두정
    • 산업경영시스템학회지
    • /
    • 제34권4호
    • /
    • pp.49-56
    • /
    • 2011
  • The Project of Jordan Research and Training Reactor (JRTR) officially launched in Aug. 2010. JRTR is the first made-in-Korea nuclear system to be built abroad by year 2015, and Korea Atomic Energy Research Institute (KAERI) is responsible for the design of major systems including the reactor core. While the PDCS (Project Document Control System) being operated by EPC company controls all the documents of the whole Project, KAERI is supposed to have its own system for KAERI documents. Meeting such a need; KAERI has implemented a document control for the JRTR Project into already existing ANSIM (KAERI Advanced Nuclear Safety Information Management) system. The documents of JRTR project to be controlled are defined in the PPM (Project Procedures Manual), QAP (Quality Assurance Procedure) and PEP (Project Execution Program). The ANSIM consists of the document management holder, document container holder and organization management holder. The document management holder, which is the most important part of ANSIM-JRTR, consists of the DDA (Document Distribution for Agreement), IOC (Inter-office Correspondence), PM Memo. (Project Manager Memorandum) and cover sheets of design documents. Other materials such as meeting minutes, sub-department materials and design information materials are stored in an independent COP (Community of Practice). This established computerized document control system, ANSIM, could lessen a burden for project management team and enhance the productivity as well.

효율적인 kNN 알고리즘 (An Efficient kNN Algorithm)

  • 이재문
    • 정보처리학회논문지B
    • /
    • 제11B권7호
    • /
    • pp.849-854
    • /
    • 2004
  • 본 논문은 문서분류 방법인 kNN의 실행속도를 개선하는 알고리즘을 제안한다. 제안된 알고리즘은 기존의 kNN이 사용하는 <용어, 가중치>쌍의 목록 대신, <문서, 가중치>쌍의 목록을 사용하여 유사성 계산을 빠르게 함으로써 실행속도를 개선하는 것이다. <문서, 가중치>의 목록은 문서분류의 학습단계에서 <용어, 가중치>의 목록을 행렬 전치함으로써 구한다. 본 논문에서는 제안된 알고리즘을 시간복잡도 측면에서 분석하고 기존의 kNN과 비교 하였으며, 로이터-21578 데이터를 사용하여 실험적으로 성능을 비교 하였다. 실험결과, 본 논문에서 제안한 알고리즘이 기존의 kNN보다 실행속도측면에서 약 $90{\%}$정도의 우수함을 알 수 있었다.

Machine Learning Based Automatic Categorization Model for Text Lines in Invoice Documents

  • Shin, Hyun-Kyung
    • 한국멀티미디어학회논문지
    • /
    • 제13권12호
    • /
    • pp.1786-1797
    • /
    • 2010
  • Automatic understanding of contents in document image is a very hard problem due to involvement with mathematically challenging problems originated mainly from the over-determined system induced by document segmentation process. In both academic and industrial areas, there have been incessant and various efforts to improve core parts of content retrieval technologies by the means of separating out segmentation related issues using semi-structured document, e.g., invoice,. In this paper we proposed classification models for text lines on invoice document in which text lines were clustered into the five categories in accordance with their contents: purchase order header, invoice header, summary header, surcharge header, purchase items. Our investigation was concentrated on the performance of machine learning based models in aspect of linear-discriminant-analysis (LDA) and non-LDA (logic based). In the group of LDA, na$\"{\i}$ve baysian, k-nearest neighbor, and SVM were used, in the group of non LDA, decision tree, random forest, and boost were used. We described the details of feature vector construction and the selection processes of the model and the parameter including training and validation. We also presented the experimental results of comparison on training/classification error levels for the models employed.

위키피디아를 이용한 분류자질 선정에 관한 연구 (An Experimental Study on Feature Selection Using Wikipedia for Text Categorization)

  • 김용환;정영미
    • 정보관리학회지
    • /
    • 제29권2호
    • /
    • pp.155-171
    • /
    • 2012
  • 텍스트 범주화에 있어서 일반적인 문제는 문헌을 표현하는 핵심적인 용어라도 학습문헌 집합에 나타나지 않으면 이 용어는 분류자질로 선정되지 않는다는 것과 형태가 다른 동의어들은 서로 다른 자질로 사용된다는 점이다. 이 연구에서는 위키피디아를 활용하여 문헌에 나타나는 동의어들을 하나의 분류자질로 변환하고, 학습문헌 집합에 출현하지 않은 입력문헌의 용어를 가장 유사한 학습문헌의 용어로 대체함으로써 범주화 성능을 향상시키고자 하였다. 분류자질 선정 실험에서는 (1) 비학습용어 추출 시 범주 정보의 사용여부, (2) 용어의 유사도 측정 방법(위키피디아 문서의 제목과 본문, 카테고리 정보, 링크 정보), (3) 유사도 척도(단순 공기빈도, 정규화된 공기빈도) 등 세 가지 조건을 결합하여 실험을 수행하였다. 비학습용어를 유사도 임계치 이상의 최고 유사도를 갖는 학습용어로 대체하여 kNN 분류기로 분류할 경우 모든 조건 결합에서 범주화 성능이 0.35%~1.85% 향상되었다. 실험 결과 범주화 성능이 크게 향상되지는 못하였지만 위키피디아를 활용하여 분류자질을 선정하는 방법이 효과적인 것으로 확인되었다.

Document Summarization via Convex-Concave Programming

  • Kim, Minyoung
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제16권4호
    • /
    • pp.293-298
    • /
    • 2016
  • Document summarization is an important task in various areas where the goal is to select a few the most descriptive sentences from a given document as a succinct summary. Even without training data of human labeled summaries, there has been several interesting existing work in the literature that yields reasonable performance. In this paper, within the same unsupervised learning setup, we propose a more principled learning framework for the document summarization task. Specifically we formulate an optimization problem that expresses the requirements of both faithful preservation of the document contents and the summary length constraint. We circumvent the difficult integer programming originating from binary sentence selection via continuous relaxation and the low entropy penalization. We also suggest an efficient convex-concave optimization solver algorithm that guarantees to improve the original objective at every iteration. For several document datasets, we demonstrate that the proposed learning algorithm significantly outperforms the existing approaches.

마코프 논리 기반의 시맨틱 문서 검색 (Semantic Document-Retrieval Based on Markov Logic)

  • 황규백;봉성용;구현서;백은옥
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권6호
    • /
    • pp.663-667
    • /
    • 2010
  • 본 논문은 질의 문서와 의미가 유사한 문서를 검색하는 문제를 다룬다. 이 문제에 대한 기본적인 접근법은 각 문서를 bag-of-words 형태로 표현한 후, 코사인 유사도 등의 거리 기준에 기반하여 유사 문서를 판별하는 것이다. 그러나, 이처럼 문서에 출현하는 단어에만 의존하는 검색 방법은 의미적 유사성을 제대로 반영하기 어렵다는 단점을 가진다. 본 논문에서는 이러한 문제를 극복하기 위해 데이터 기반의 감독 학습(supervised learning) 기법과 관련 온톨로지 정보를 마코프 논리(Markov logic)에 기반하여 결합한다. 구체적으로, 단어들 사이에 존재하는 관계를 표현한 온톨로지와 유사도가 태깅된 문서 데이터에서 마코프 논리 망(Markov logic network)을 학습하며, 학습된 마코프 논리 망과 문서 데이터 및 새로 주어진 질의 문서에 대한 추론을 통해 질의 문서와 의미적으로 유사한 문서를 검색하는 기법을 제안한다. 제안하는 접근법은 서울시의 민원서비스 홈페이지에서 수집된 실제 민원 데이터에 적용되었으며, 적용 결과, 단순한 문서 간 거리에 기반한 유사 문서 검색 기법에 비해 월등히 높은 정확도를 보였다.