• Title/Summary/Keyword: 데이터생성

Search Result 7,167, Processing Time 0.033 seconds

RNN Based Natural Language Sentence Generation from a Knowledge Graph and Keyword Sequence (핵심어 시퀀스와 지식 그래프를 이용한 RNN 기반 자연어 문장 생성)

  • Kwon, Sunggoo;Noh, Yunseok;Choi, Su-Jeong;Park, Se-Young
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.425-429
    • /
    • 2018
  • 지식 그래프는 많은 수의 개채와 이들 사이의 관계를 저장하고 있기 때문에 많은 연구에서 중요한 자원으로 활용된다. 최근에는 챗봇과 질의응답과 같은 연구에서 자연어 생성을 위한 연구에 활용되고 있다. 특히 자연어 생성에서 최근 발전 된 심층 신경망이 사용되고 있는데, 이러한 방식은 모델 학습을 위한 많은 양의 데이터가 필요하다. 즉, 심층신경망을 기반으로 지식 그래프에서 문장을 생성하기 위해서는 많은 트리플과 문장 쌍 데이터가 필요하지만 학습을 위해 사용하기엔 데이터가 부족하다는 문제가 있다. 따라서 본 논문에서는 데이터 부족 문제를 해결하기 위해 핵심어 시퀀스를 추출하여 학습하는 방법을 제안하고, 학습된 모델을 통해 트리플을 입력으로 하여 자연어 문장을 생성한다. 부족한 트리플과 문장 쌍 데이터를 대체하기 위해 핵심어 시퀀스를 추출하는 모듈을 사용해 핵심어 시퀀스와 문장 쌍 데이터를 생성하였고, 순환 신경망 기반의 인코더 - 디코더 모델을 사용해 자연어 문장을 생성하였다. 실험 결과, 핵심어 시퀀스와 문장 쌍 데이터를 이용해 학습된 모델을 이용해 트리플에서 자연어 문장 생성이 원활히 가능하며, 부족한 트리플과 문장 쌍 데이터를 대체하는데 효과적임을 밝혔다.

  • PDF

A Goal-oriented Test Data Generation for Programs with Pointers based on SAT (SAT에 기반한 포인터가 있는 프로그램을 위한 목적 지향 테스트 데이터 생성)

  • Chung, In-Sang
    • Journal of Internet Computing and Services
    • /
    • v.9 no.2
    • /
    • pp.89-105
    • /
    • 2008
  • So far, most of research on automated test data generation(ATDG) deals with programs without pointers. Recently, few works hove been done on ATDG in the presence of pointers, but they ore path-oriented techniques which require the specification of on entire program path to be tested or a program to be executed. This paper presents a new technique for generating test data even without specifying a program path completely. The presented technique is a static technique which transforms the test data generation problem into a SAT(SATisfiability) problem and makes advantage of SAT solvers for ATDG. For the ends, we transform a program under test into Alloy which is the first-order relational logic and then produce test data via Alloy analyzer.

  • PDF

해무 제거 학습을 위한 가상 해무 데이터셋 생성 및 유효성 검증 연구

  • 전영수;김현철;이상훈;오세웅;옥수열
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2022.06a
    • /
    • pp.103-105
    • /
    • 2022
  • 인공지능을 기반으로 한 안개를 제거하는 기술은 많은 연구가 있다. 하지만 대부분의 연구가 육상을 타겟으로 하고 있기 때문에 해상에 발생하는 해무를 제거하기 위한 데이터 셋은 현저히 부족하다. 이를 해결하기 위해 가상의 해무를 생성하여 데이터 셋을 생성하고 유효성 검증을 하는 방법에 대하여 연구하였다.

  • PDF

Evaluation of Sentimental Texts Automatically Generated by a Generative Adversarial Network (생성적 적대 네트워크로 자동 생성한 감성 텍스트의 성능 평가)

  • Park, Cheon-Young;Choi, Yong-Seok;Lee, Kong Joo
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.8 no.6
    • /
    • pp.257-264
    • /
    • 2019
  • Recently, deep neural network based approaches have shown a good performance for various fields of natural language processing. A huge amount of training data is essential for building a deep neural network model. However, collecting a large size of training data is a costly and time-consuming job. A data augmentation is one of the solutions to this problem. The data augmentation of text data is more difficult than that of image data because texts consist of tokens with discrete values. Generative adversarial networks (GANs) are widely used for image generation. In this work, we generate sentimental texts by using one of the GANs, CS-GAN model that has a discriminator as well as a classifier. We evaluate the usefulness of generated sentimental texts according to various measurements. CS-GAN model not only can generate texts with more diversity but also can improve the performance of its classifier.

Generating Training Dataset of Machine Learning Model for Context-Awareness in a Health Status Notification Service (사용자 건강 상태알림 서비스의 상황인지를 위한 기계학습 모델의 학습 데이터 생성 방법)

  • Mun, Jong Hyeok;Choi, Jong Sun;Choi, Jae Young
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.9 no.1
    • /
    • pp.25-32
    • /
    • 2020
  • In the context-aware system, rule-based AI technology has been used in the abstraction process for getting context information. However, the rules are complicated by the diversification of user requirements for the service and also data usage is increased. Therefore, there are some technical limitations to maintain rule-based models and to process unstructured data. To overcome these limitations, many studies have applied machine learning techniques to Context-aware systems. In order to utilize this machine learning-based model in the context-aware system, a management process of periodically injecting training data is required. In the previous study on the machine learning based context awareness system, a series of management processes such as the generation and provision of learning data for operating several machine learning models were considered, but the method was limited to the applied system. In this paper, we propose a training data generating method of a machine learning model to extend the machine learning based context-aware system. The proposed method define the training data generating model that can reflect the requirements of the machine learning models and generate the training data for each machine learning model. In the experiment, the training data generating model is defined based on the training data generating schema of the cardiac status analysis model for older in health status notification service, and the training data is generated by applying the model defined in the real environment of the software. In addition, it shows the process of comparing the accuracy by learning the training data generated in the machine learning model, and applied to verify the validity of the generated learning data.

Generation of Simulated LIDAR Data via Geometric Sensor Modeling and Simulation (기하학적 모델링과 시뮬레이션을 통한 모의 라이다 데이터 생성)

  • Kim, Seong-Joon;Hong, Min-Seong;Lee, Im-Pyeong;Oh, So-Jung
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2008.06a
    • /
    • pp.400-404
    • /
    • 2008
  • 라이다는 데이터 획득의 신속성과 처리의 자동화라는 장점을 가지고 있어서 도시 모델의 생성, 변화탐지(Change Detection), 삼림지역의 DTM(Digital Terrain Model)의 생성, 등고선 추출, 나무의 높이 결정을 통한 산림관리, 해안 지형의 관리 등 다양한 분야에서 활용이 되고 있다. 이와 같이 라이다데이터 활용에 대한 많은 연구가 이루어지면서 다양한 처리 알고리즘이 개발되고 있다. 알고리즘을 개발하고 그 성능을 정확하게 평가를 위해서는 알고리즘을 다양한 형태의 시험데이터에 적용해 보아야 하지만, 성능평가를 위해 다양한 실측 데이터를 획득하기는 어려운 실정이다. 본 연구에서는 개발된 알고리즘의 성능평가를 위한 다양한 모의데이터를 실제 DEM으로부터 시뮬레이션을 통해 생성하는 방법을 제안한다 라이다 시스템에 대한 기하학적 모델링하여 센서방정식을 유도하고, 이를 기반으로 DEM상에서 플랫폼의 이동경로에 따라 취득되는 모의 라이다데이터를 생성한다. 본 연구에서 제안하는 시뮬레이션을 이용하면 라이터데이터를 이용하는 다양한 활용 알고리즘 개발과 경제적이고 정확한 성능평가에 도움이 될 것이다.

  • PDF

Copy-Transformer model using Copy-Mechanism and Inference Penalty for Document Abstractive Summarization (복사-메커니즘과 추론 단계의 페널티를 이용한 Copy-Transformer 기반 문서 생성 요약)

  • Jeon, Donghyeon;Kang, In-Ho
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.301-306
    • /
    • 2019
  • 문서 생성 요약은 최근 딥러닝을 이용한 end-to-end 시스템을 통해 유망한 결과들을 보여주고 있어 연구가 활발히 진행되고 있는 자연어 처리 분야 중 하나이다. 하지만 문서 생성 요약 모델을 구성하기 위해서는 대량의 본문과 요약문 쌍의 데이터 셋이 필요한데, 이를 구축하기가 쉽지 않다. 따라서 본 논문에서는 정교한 뉴스 기사 요약 데이터 셋을 기계적으로 구축하는 방법을 제안한다. 또한 딥러닝 기반의 생성 요약은 입력 문서와 다른 정보를 생성하거나, 또는 같은 단어를 반복하여 생성하는 문제점들이 존재한다. 이를 해결하기 위해 요약문을 생성할 때 입력 문서의 내용을 인용하는 복사-메커니즘과, 추론 단계에서 단어 반복을 직접적으로 제어하는 페널티를 사용하면 상대적으로 안정적인 문장이 생성될 수 있다. 그리고 Transformer 모델은 순환 신경망 모델보다 요약문 생성 과정에서 시퀀스 길이가 긴 본문의 정보를 적절히 인코딩하여 줄 수 있는 모델이다. 따라서 본 논문에서는 복사-메커니즘과 추론 단계의 페널티를 이용한 Copy-Transformer 모델을 한국어 문서 생성 요약 데이터에 적용하였다. 네이버 지식iN 질문 요약 데이터 셋과 뉴스 기사 요약 데이터 셋 상에서 실험한 결과, 제안한 모델을 이용한 생성 요약이 비교 모델들 대비 가장 좋은 성능을 보이고 양질의 요약을 생성하는 것을 확인하였다.

  • PDF

An Intelligent Web Logger for Business Intelligence (비즈니스 인텔러전스를 위한 지능적 웹 로거)

  • Lim, Yoon-Sun;Jeong, An-Mo;Kim, Myung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10a
    • /
    • pp.271-273
    • /
    • 2001
  • 웹 로그는 웹 서버를 통해 이루어지는 작업들에 관한 기록으로써, OLAP이나 데이터 마이닝과 같은 비즈니스 인텔리전스 기술로 분석되어 고부가가치 창출에 사용되는 중요한 자료이다. 웹 로그에는 파일 이름과 같은 물리적인 데이터가 저장되는데 이러한 데이터는 분석에 사용되기 전에 정제과정을 통해 의미 있는 데이터로 변환되거나 불필요한 경우에는 삭제된다. 웹 로그 데이터의 분량을 적정선으로 유지하면서 데이터 정제 작업의 일부가 해결되도록 하는 방법으로 웹로그 생성단계에서 시스템이 제공하는 필터를 쓸 수 있다. 그러나, 필터로는 웹 페이지의 내용이 동적으로 변경되는 경우 그 상황을 즉시 반영하기가 쉽지 않다. 본 연구에서는 웹 로그가 ‘지능적 웹 로거’를 통해 생성되도록 하여 이러한 문제를 해결하였다. ‘지능적 웹 로거’를 통해 불필요한 데이터의 생성을 막고, 물리적인 데이터를 신속하게 의미 있는 데이터로 변환하도록 하였다. 웹 페이지의 변경 내용을 웹 로그 생성에 즉시 반영하여 의미 있는 데이터 생성에 이용함으로써, 웹 로그 생성 후에 실행되던 데이터 정제작업 자체를 단순화시켰고, 웹사이트 관리자가 편리한 사용자 인터페이스로 로그 규칙을 만들어 적용할 수 있도록 하였다.

  • PDF

Vehicle Location Data Generator based on a User (사용자 지정 시나리오에 기반한 차량 위치 데이터 생성기)

  • Jung Young-Jin;Cho Eun-Sun;Ryu Keun-Ho
    • Journal of the Korea Society of Computer and Information
    • /
    • v.11 no.2 s.40
    • /
    • pp.101-110
    • /
    • 2006
  • ADevelopment of various geographic observations, GPS, and Wireless Communication technologies make it easy to control many moving objects and to build an intelligent transport system and transport vehicle management system. However it is difficult to make a suitable system in the real world with a variety of tests to evaluate the performance fairly because real vehicle data are not enough as evaluating and testing the transport plan in the system. Therefore some moving object data generator would be used in most researches. However they can not generate vehicle trajectory according to a user scenario defined to be applied to transport plan, because the existing data generators consider only a gauss distribution, road network. In this paper we design and implement a vehicle data generator for creating vehicle trajectory data based on the user-defined scenario. The designed data generator could make the vehicle location depending on user's transport plan. Besides we store the scenario as patterns and reutilize the used scenario.

  • PDF

Controllable data augmentation framework based on multiple large-scale language models (복수 대규모 언어 모델에 기반한 제어 가능형 데이터 증강 프레임워크)

  • Hyeonseok Kang;Hyuk Namgoong;Jeesu Jung;Sangkeun Jung
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.3-8
    • /
    • 2023
  • 데이터 증강은 인공지능 모델의 학습에서 필요한 데이터의 양이 적거나 편향되어 있는 경우, 이를 보완하여 모델의 성능을 높이는 데 도움이 된다. 이미지와는 달리 자연어의 데이터 증강은 문맥이나 문법적 구조와 같은 특징을 고려해야 하기 때문에, 데이터 증강에 많은 인적자원이 소비된다. 본 연구에서는 복수의 대규모 언어 모델을 사용하여 입력 문장과 제어 조건으로 프롬프트를 구성하는 데 최소한의 인적 자원을 활용한 의미적으로 유사한 문장을 생성하는 방법을 제안한다. 또한, 대규모 언어 모델을 단독으로 사용하는 것만이 아닌 병렬 및 순차적 구조로 구성하여 데이터 증강의 효과를 높이는 방법을 제안한다. 대규모 언어 모델로 생성된 데이터의 유효성을 검증하기 위해 동일한 개수의 원본 훈련 데이터와 증강된 데이터를 한국어 모델인 KcBERT로 다중 클래스 분류를 수행하였을 때의 성능을 비교하였다. 다중 대규모 언어 모델을 사용하여 데이터 증강을 수행하였을 때, 모델의 구조와 관계없이 증강된 데이터는 원본 데이터만을 사용하였을 때보다 높거나 그에 준하는 정확도를 보였다. 병렬 구조의 다중 대규모 언어 모델을 사용하여 400개의 원본 데이터를 증강하였을 때에는, 원본 데이터의 최고 성능인 0.997과 0.017의 성능 차이를 보이며 거의 유사한 학습 효과를 낼 수 있음을 보였다.

  • PDF