• Title/Summary/Keyword: 학습데이터 구축

Search Result 1,024, Processing Time 0.029 seconds

Test Dataset for validating the meaning of Table Machine Reading Language Model (표 기계독해 언어 모형의 의미 검증을 위한 테스트 데이터셋)

  • YU, Jae-Min;Cho, Sanghyun;Kwon, Hyuk-Chul
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2022.10a
    • /
    • pp.164-167
    • /
    • 2022
  • In table Machine comprehension, the knowledge required for language models or the structural form of tables changes depending on the domain, showing a greater performance degradation compared to text data. In this paper, we propose a pre-learning data construction method and an adversarial learning method through meaningful tabular data selection for constructing a pre-learning table language model robust to these domain changes in table machine reading. In order to detect tabular data sed for decoration of web documents without structural information from the extracted table data, a rule through heuristic was defined to identify head data and select table data was applied. An adversarial learning method between tabular data and infobax data with knowledge information about entities was applied. When the data was refined compared to when it was trained with the existing unrefined data, F1 3.45 and EM 4.14 increased in the KorQuAD table data, and F1 19.38, EM 4.22 compared to when the data was not refined in the Spec table QA data showed increased performance.

  • PDF

Building-up and Feasibility Study of Image Dataset of Field Construction Equipments for AI Training (인공지능 학습용 토공 건설장비 영상 데이터셋 구축 및 타당성 검토)

  • Na, Jong Ho;Shin, Hyu Soun;Lee, Jae Kang;Yun, Il Dong
    • KSCE Journal of Civil and Environmental Engineering Research
    • /
    • v.43 no.1
    • /
    • pp.99-107
    • /
    • 2023
  • Recently, the rate of death and safety accidents at construction sites is the highest among all kinds of industries. In order to apply artificial intelligence technology to construction sites, it is essential to secure a dataset which can be used as a basic training data. In this paper, a number of image data were collected through actual construction site, for which major construction equipment objects mainly operated in civil engineering sites were defined. The optimal training dataset construction was completed by annotation process of about 90,000 image dataset. Reliability of the dataset was verified with the mAP of over 90 % in use of YOLO, a representative model in the field of object detection. The construction equipment training dataset built in this study has been released which is currently available on the public data portal of the Ministry of Public Administration and Security. This dataset is expected to be freely used for any application of object detection technology on construction sites especially in the field of construction safety in the future.

Dialogue based multimodal dataset including various labels for machine learning research (대화를 중심으로 다양한 멀티모달 융합정보를 포함하는 동영상 기반 인공지능 학습용 데이터셋 구축)

  • Shin, Saim;Jang, Jinyea;Kim, Boen;Park, Hanmu;Jung, Hyedong
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.449-453
    • /
    • 2019
  • 미디어방송이 다양해지고, 웹에서 소비되는 콘텐츠들 또한 멀티미디어 중심으로 재편되는 경향에 힘입어 인공지능 연구에 멀티미디어 콘텐츠를 적극적으로 활용하고자 하는 시도들이 시작되고 있다. 본 논문은 다양한 형태의 멀티모달 정보를 하나의 동영상 콘텐츠에 연계하여 분석하여, 통합된 형태의 융합정보 데이터셋을 구축한 연구를 소개하고자 한다. 구축한 인공지능 학습용 데이터셋은 영상/음성/언어 정보가 함께 있는 멀티모달 콘텐츠에 상황/의도/감정 정보 추론에 필요한 다양한 의미정보를 부착하여 활용도가 높은 인공지능 영상 데이터셋을 구축하여 공개하였다. 본 연구의 결과물은 한국어 대화처리 연구에 부족한 공개 데이터 문제를 해소하는데 기여하였고, 한국어를 중심으로 다양한 상황 정보가 함께 구축된 데이터셋을 통하여 다양한 상황 분석 기반 대화 서비스 응용 기술 연구에 활용될 것으로 기대할 수 있다.

  • PDF

Performance analysis of deep learning based hologram watermarking according to hologram data (홀로그램 데이터에 따른 딥 러닝 기반 홀로그램 워터마킹의 성능 분석)

  • Lee, Ju-Won;Lee, Jae-Eun;Seo, Young-Ho;Kim, Dong-Wook
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.07a
    • /
    • pp.647-649
    • /
    • 2020
  • 본 논문에서는 홀로그램 영상 콘텐츠의 지적재산권 보호를 위하여 워터마킹을 딥 러닝을 기반으로 하는 네트워크로 수행한다고 가정하고, 이 네트워크를 학습시킬 때 학습 데이터 세트를 어떻게 구성하는 것이 워터마킹 네트워크에 가장 효율적인지에 대해, JPEG Pleno에서 표준 데이터 세트로 제공하고 있는 홀로그램들을 사용하여 분석한다. 이 홀로그램들의 표준편차에 따라 학습 데이터세트의 구성을 달리하여 동일한 워터마킹 네트워크에 학습시킨 후 학습에 사용되지 않은 시험 데이터세트를 시험하여 나온 결과의 비가시성과 워터마크, 데이터의 추출률을 비교함으로써 학습 데이터세트 구축 방식에 대해 분석한다.

  • PDF

Implementation of Image electronic Dictionary to Study Language for Speech Disorders (언어장애인의 언어학습을 위한 이미지 전자사전의 구축)

  • Cho, Jin-Kyoung;Ryu, Je;Han, Kwang-Rok
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.11a
    • /
    • pp.669-672
    • /
    • 2005
  • 단어가 지니는 의미를 이미지로 처리하면 그 단어의 이미지가 단순화되면서 높은 인식률을 가질 수 있다는 장점을 지닌다. 이러한 장점을 이용하여 언어장애인들을 위한 유용한 보완대체 의사소통 학습도구에 하나로 이미지 전자 사전을 구축하고자 한다. 우선 동사와 조합되는 용어들의 패턴들을 면밀히 조사하여 그 패턴들을 영역과 자질의 카테고리로 분류하고, 그 카테고리에 속하는 기본 데이터들을 정리하여 분류된 데이터를 하위범주화 방식을 통해 검색을 보다 용이하게 하였다. 더욱이 언어장애인들이 많이 쓰이는 단어를 조사하고, 그 단어를 중심으로 한 모듈을 이용하여, 각각에게 해당되는 이미지를 수집함으로 단어들의 의미를 표현하고 인식할 수 있도록 하는 인터페이스를 구축하는데 중점을 두었다. 또한 언어장애인이 직접 명사와 동사를 조합하여 그 완성여부를 검토할 수 있는 학습기능을 추가함으로 인해 보다 실생활에 유용하고 교육적인 이미지 전자 사전을 구축하였다.

  • PDF

Blockchain Based Data-Preserving AI Learning Environment Model for Cyber Security System (AI 사이버보안 체계를 위한 블록체인 기반의 Data-Preserving AI 학습환경 모델)

  • Kim, Inkyung;Park, Namje
    • The Journal of Korean Institute of Information Technology
    • /
    • v.17 no.12
    • /
    • pp.125-134
    • /
    • 2019
  • As the limitations of the passive recognition domain, which is not guaranteed transparency of the operation process, AI technology has a vulnerability that depends on the data. Human error is inherent because raw data for artificial intelligence learning must be processed and inspected manually to secure data quality for the advancement of AI learning. In this study, we examine the necessity of learning data management before machine learning by analyzing inaccurate cases of AI learning data and cyber security attack method through the approach from cyber security perspective. In order to verify the learning data integrity, this paper presents the direction of data-preserving artificial intelligence system, a blockchain-based learning data environment model. The proposed method is expected to prevent the threats such as cyber attack and data corruption in providing and using data in the open network for data processing and raw data collection.

A Vector and Thickness-Based Data Augmentation that Efficiently Generates Accurate Crack Data (정확한 균열 데이터를 효율적으로 생성하는 벡터와 두께 기반의 데이터 증강)

  • Ju-Young Yun;Jong-Hyun Kim
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2023.01a
    • /
    • pp.377-380
    • /
    • 2023
  • 본 논문에서는 합성곱 신경망(Convolutional Neural Networks, CNN)과 탄성왜곡(Elastic Distortion) 기법을 통한 데이터 증강 기법을 활용하여 학습 데이터를 구축하는 프레임워크를 제안한다. 실제 균열 이미지는 정형화된 형태가 없고 복잡한 패턴을 지니고 있어 구하기 어려울 뿐만 아니라, 데이터를 확보할 때 위험한 상황에 노출될 우려가 있다. 이러한 데이터베이스 구축 문제점을 본 논문에서 제안하는 데이터 증강 기법을 통해 비용적, 시간적 측면에서 효율적으로 해결한다. 세부적으로는 DeepCrack의 데이터를 10배 이상 증가하여 실제 균열의 특징을 반영한 메타 데이터를 생성하여 U-net을 학습하였다. 성능을 검증하기 위해 균열 탐지 연구를 진행한 결과, IoU 정확도가 향상되었음을 확인하였다. 데이터를 증강하지 않았을 경우 잘못 예측(FP)된 경우의 비율이 약 25%였으나, 데이터 증강을 통해 3%까지 감소하였음을 확인하였다.

  • PDF

Self-learning Method Based Slot Correction for Spoken Dialog System (자기 학습 방법을 이용한 음성 대화 시스템의 슬롯 교정)

  • Choi, Taekyoon;Kim, Minkyoung;Lee, Injae;Lee, Jieun;Park, Kyuyon;Kim, Kyungduk;Kang, Inho
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.353-360
    • /
    • 2021
  • 음성 대화 시스템에서는 사용자가 잘못된 슬롯명을 말하거나 음성인식 오류가 발생해 사용자의 의도에 맞지 않는 응답을 하는 경우가 있다. 이러한 문제를 해결하고자 말뭉치나 사전 데이터를 활용한 질의 교정 방법들이 제안되지만, 이는 지속적으로 사람이 개입하여 데이터를 주입해야하는 한계가 있다. 본 논문에서는 축적된 로그 데이터를 활용하여 사람의 개입 없이 음악 재생에 필요한 슬롯을 교정하는 자기 학습(Self-learning) 기반의 모델을 제안한다. 이 모델은 사용자가 특정 음악을 재생하고자 유사한 질의를 반복하는 상황을 이용하여 비지도 학습 기반으로 학습하고 음악 재생에 실패한 슬롯을 교정한다. 그리고, 학습한 모델 결과의 정확도에 대한 불확실성을 해소하기 위해 질의 슬롯 관계 유사도 모델을 이용하여 교정 결과에 대한 검증을 하고 슬롯 교정 결과에 대한 안정성을 보장한다. 모델 학습을 위한 데이터셋은 사용자가 연속으로 질의한 세션 데이터로부터 추출하며, 음악 재생 슬롯 세션 데이터와 질의 슬롯 관계 유사도 데이터를 각각 구축하여 슬롯 교정 모델과 질의 슬롯 관계 유사도 모델을 학습한다. 교정된 슬롯을 분석한 결과 발음 정보가 유사한 슬롯 뿐만 아니라 의미적인 관계가 있는 슬롯으로도 교정하여 사전 기반 방식보다 다양한 유형의 교정이 가능한 것을 보였다. 3 개월 간 수집된 로그 데이터로 학습한 음악 재생 슬롯 교정 모델은 일주일 동안 반복한 고유 질의 기준, 음악 재생 실패의 12%를 개선하는 성능을 보였다.

  • PDF

Analysis of Building Object Detection Based on the YOLO Neural Network Using UAV Images (YOLO 신경망 기반의 UAV 영상을 이용한 건물 객체 탐지 분석)

  • Kim, June Seok;Hong, Il Young
    • Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography
    • /
    • v.39 no.6
    • /
    • pp.381-392
    • /
    • 2021
  • In this study, we perform deep learning-based object detection analysis on eight types of buildings defined by the digital map topography standard code, leveraging images taken with UAV (Unmanned Aerial Vehicle). Image labeling was done for 509 images taken by UAVs and the YOLO (You Only Look Once) v5 model was applied to proceed with learning and inference. For experiments and analysis, data were analyzed by applying an open source-based analysis platform and algorithm, and as a result of the analysis, building objects were detected with a prediction probability of 88% to 98%. In addition, the learning method and model construction method necessary for the high accuracy of building object detection in the process of constructing and repetitive learning of training data were analyzed, and a method of applying the learned model to other images was sought. Through this study, a model in which high-efficiency deep neural networks and spatial information data are fused will be proposed, and the fusion of spatial information data and deep learning technology will provide a lot of help in improving the efficiency, analysis and prediction of spatial information data construction in the future.

Fine-grained Sentiment Lexicon Construction via Semi-supervised Learning (준지도학습을 통한 세부감성 어휘 구축)

  • Jo, Yo-Han;Oh, Hyo-Jung;Lee, Chung-Hee;Kim, Hyun-Ki
    • Annual Conference on Human and Language Technology
    • /
    • 2013.10a
    • /
    • pp.33-38
    • /
    • 2013
  • 소셜미디어를 통한 여론분석과 브랜드 모니터링에 대한 요구가 증가하면서, 빅데이터로부터 감성을 분석하는 기술에 대한 필요가 늘고 있다. 이를 위해, 본 논문에서는 단순 긍/부정 감성이 아닌 20종류의 세분화된 감성을 분석하기 위한 감성어휘 구축 알고리즘을 제시한다. 감성어휘 구축을 위해서는 준지도학습을 사용하였으며, 도메인에 특화되지 않은 일반 감성어휘를 구축하도록 학습되었다. 학습된 감성어휘를 인물, 스마트기기, 정책 등 다양한 도메인의 트위터 데이터에 적용하여 세부감성을 분석한 결과, 알고리즘의 특성상 재현율이 낮다는 한계를 가지고 있었으나, 대부분의 감성에 대해 높은 정확도를 지닌 감성어휘를 구축할 수 있었고, 감성을 직간접적으로 나타내는 표현들을 학습할 수 있었다.

  • PDF