• Title/Summary/Keyword: 데이터셋 재구성

Search Result 18, Processing Time 0.025 seconds

Method of constructing a table search dataset by reconstructing queries assigned to tables (테이블에 할당된 질의 재구성을 통한 테이블 검색 데이터셋 구축 방법)

  • Joosang Lee;Geunyeong Jeong;Juoh Sun;Seokwon Jeong;Harksoo Kim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.634-638
    • /
    • 2022
  • 테이블은 행과 열로 이루어진 데이터 집합으로, 핵심 정보를 효율적으로 저장하고 표현하기 위해 널리 사용된다. 테이블을 활용하는 다양한 연구 중에서도 테이블 검색은 다른 테이블 관련 연구의 선행 모듈로서 기능하기 때문에 특히 중요하다. 그러나 테이블 검색을 위한 한국어 데이터셋이 전무하여 이에 관한 연구를 수행하기 어렵다. 본 논문은 이러한 문제를 해결하고자 공개된 테이블 질의응답 데이터셋으로부터 테이블에 할당된 질의를 재구성하는 방법을 통해 테이블 검색 데이터셋을 구축한다. 추가로, 검증 모델을 통해 구축된 데이터셋의 유효성을 확인한다.

  • PDF

A Crowdsourcing-Based Paraphrased Opinion Spam Dataset and Its Implication on Detection Performance (크라우드소싱 기반 문장재구성 방법을 통한 의견 스팸 데이터셋 구축 및 평가)

  • Lee, Seongwoon;Kim, Seongsoon;Park, Donghyeon;Kang, Jaewoo
    • KIISE Transactions on Computing Practices
    • /
    • v.22 no.7
    • /
    • pp.338-343
    • /
    • 2016
  • Today, opinion reviews on the Web are often used as a means of information exchange. As the importance of opinion reviews continues to grow, the number of issues for opinion spam also increases. Even though many research studies on detecting spam reviews have been conducted, some limitations of gold-standard datasets hinder research. Therefore, we introduce a new dataset called "Paraphrased Opinion Spam (POS)" that contains a new type of review spam that imitates truthful reviews. We have noticed that spammers refer to existing truthful reviews to fabricate spam reviews. To create such a seemingly truthful review spam dataset, we asked task participants to paraphrase truthful reviews to create a new deceptive review. The experiment results show that classifying our POS dataset is more difficult than classifying the existing spam datasets since the reviews in our dataset more linguistically look like truthful reviews. Also, training volume has been found to be an important factor for classification model performance.

Layer-wise Model Inversion Attack (계층별 모델 역추론 공격)

  • Hyun-Ho Kwon;Han-Jun Kim
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2024.05a
    • /
    • pp.69-72
    • /
    • 2024
  • 모델 역추론 공격은 공격 대상 네트워크를 훈련하기 위해 사용되는 훈련 데이터셋 중 개인 데이터셋을 공개 데이터셋을 사용하여 개인 훈련 데이터셋을 복원하는 것이다. 모델 역추론 방법 중 적대적 생성 신경망을 사용하여 모델 역추론 공격을 하는 과거의 논문들은 딥러닝 모델 전체의 역추론에만 초점을 맞추기 때문에, 이를 통해 얻은 원본 이미지의 개인 데이터 정보는 제한적이다. 따라서, 본 연구는 대상 모델의 중간 출력을 사용하여 개인 데이터에 대한 더 품질 높은 정보를 얻는데 초점을 맞춘다. 본 논문에서는 적대적 생성 신경망 모델이 원본 이미지를 생성하기 위해 사용되는 계층별 역추론 공격 방법을 소개한다. MNIST 데이터셋으로 훈련된 적대적 생성 신경망 모델을 사용하여, 원본 이미지가 대상 모델의 계층을 통과하면서 얻은 중간 계층의 출력 데이터를 기반으로 원본 이미지를 재구성하고자 한다. GMI 의 공격 방식을 참고하여 공격 모델의 손실 함수를 구성한다. 손실 함수는 사전 손실 및 정체성 손실항을 포함하며, 역전파를 통해서 원본 이미지와 가장 유사하게 복원할 수 있는 표현 벡터 Z 를 찾는다. 원본 이미지와 공격 이미지 사이의 유사성을 분류 라벨의 정확도, SSIM, PSNR 값이라는 세 가지 지표를 사용하여 평가한다. 공격이 이루어지는 계층에서 복원한 이미지와 원본 이미지를 세 가지 지표를 가지고 평가한다. 실험 결과, 공격 이미지가 원본 이미지의 대상 분류 라벨을 정확하게 가지며 원본 이미지의 필체를 유사하게 복원하였음을 보여준다. 평가 지표 또한 원본 이미지와 유사하다는 것을 나타낸다.

Data Quality Management Method base on Seasonality from Time series Data (시계열 데이터 특성 기반 품질 관리 방법 연구)

  • Lee, Jihoon;Moon, Jaewon;Hwang, Jisoo
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2022.06a
    • /
    • pp.93-96
    • /
    • 2022
  • IoT 기기의 보급 및 확산으로 많은 산업군에서 이를 바탕으로 시계열 데이터를 획득하고 분석하려는 시도가 확대되고 있다. 시간의 흐름에 따라 저장된 데이터들은 주기에 따라 특정 패턴을 갖는 경우가 많으며 이러한 패턴을 파악한다면 주요 산업군의 의사 결정에 도움이 된다. 그러나 IoT 기기의 수집 오류 및 네트워크 환경에 의해 대부분의 시계열 데이터들은 누락 데이터, 이상 데이터를 갖고 있으며 이를 처리하지 않고 분석할 경우 오히려 잘못된 결과를 초래한다. 본 논문에서는 패턴 파악을 위해 '시간, 일, 주, 월, 년' 등 시간의 주기를 기준으로 데이터를 분할하며 이에 기반하여 데이터셋을 재구성하고 활용 가능한 데이터와 불가능한 데이터로 구분한다. 선별된 데이터셋은 클러스터링에 적용하였으며, 제안하는 방법을 적용할 경우 주기를 갖는 시계열 데이터를 활용하는 분석 및 학습에서 더 나은 결과를 보임을 확인하였다.

  • PDF

A Re-configuration Scheme for Social Network Based Large-scale SMS Spam (소셜 네트워크 기반 대량의 SMS 스팸 데이터 재구성 기법)

  • Jeong, Sihyun;Noh, Giseop;Oh, Hayoung;Kim, Chong-Kwon
    • Journal of KIISE
    • /
    • v.42 no.6
    • /
    • pp.801-806
    • /
    • 2015
  • The Short Message Service (SMS) is one of the most popular communication tools in the world. As the cost of SMS decreases, SMS spam has been growing largely. Even though there are many existing studies on SMS spam detection, researchers commonly have limitation collecting users' private SMS contents. They need to gather the information related to social network as well as personal SMS due to the intelligent spammers being aware of the social networks. Therefore, this paper proposes the Social network Building Scheme for SMS spam detection (SBSS) algorithm that builds synthetic social network dataset realistically, without the collection of private information. Also, we analyze and categorize the attack types of SMS spam to build more complete and realistic social network dataset including SMS spam.

Image Anomaly Detection Using MLP-Mixer (MLP-Mixer를 이용한 이미지 이상탐지)

  • Hwang, Ju-hyo;Jin, Kyo-hong
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2022.05a
    • /
    • pp.104-107
    • /
    • 2022
  • autoencoder deep learning model has excellent ability to restore abnormal data to normal data, so it is not appropriate for anomaly detection. In addition, the Inpainting method, which is a method of restoring hidden data after masking (masking) a part of the data, has a problem in that the restoring ability is poor for noisy images. In this paper, we use a method of modifying and improving the MLP-Mixer model to mask the image at a certain ratio and to reconstruct the image by delivering compressed information of the masked image to the model. After constructing a model learned with normal data from the MVTec AD dataset, a reconstruction error was obtained by inputting normal and abnormal images, respectively, and anomaly detection was performed through this. As a result of the performance evaluation, it was found that the proposed method has superior anomaly detection performance compared to the existing method.

  • PDF

A Study of Automatic Deep Learning Data Generation by Considering Private Information Protection (개인정보 보호를 고려한 딥러닝 데이터 자동 생성 방안 연구)

  • Sung-Bong Jang
    • The Journal of the Convergence on Culture Technology
    • /
    • v.10 no.1
    • /
    • pp.435-441
    • /
    • 2024
  • In order for the large amount of collected data sets to be used as deep learning training data, sensitive personal information such as resident registration number and disease information must be changed or encrypted to prevent it from being exposed to hackers, and the data must be reconstructed to match the structure of the built deep learning model. Currently, these tasks are performed manually by experts, which takes a lot of time and money. To solve these problems, this paper proposes a technique that can automatically perform data processing tasks to protect personal information during the deep learning process. In the proposed technique, privacy protection tasks are performed based on data generalization and data reconstruction tasks are performed using circular queues. To verify the validity of the proposed technique, it was directly implemented using C language. As a result of the verification, it was confirmed that data generalization was performed normally and data reconstruction suitable for the deep learning model was performed properly.

A Study on the Use of Contrast Agent and the Improvement of Body Part Classification Performance through Deep Learning-Based CT Scan Reconstruction (딥러닝 기반 CT 스캔 재구성을 통한 조영제 사용 및 신체 부위 분류 성능 향상 연구)

  • Seongwon Na;Yousun Ko;Kyung Won Kim
    • Journal of Broadcast Engineering
    • /
    • v.28 no.3
    • /
    • pp.293-301
    • /
    • 2023
  • Unstandardized medical data collection and management are still being conducted manually, and studies are being conducted to classify CT data using deep learning to solve this problem. However, most studies are developing models based only on the axial plane, which is a basic CT slice. Because CT images depict only human structures unlike general images, reconstructing CT scans alone can provide richer physical features. This study seeks to find ways to achieve higher performance through various methods of converting CT scan to 2D as well as axial planes. The training used 1042 CT scans from five body parts and collected 179 test sets and 448 with external datasets for model evaluation. To develop a deep learning model, we used InceptionResNetV2 pre-trained with ImageNet as a backbone and re-trained the entire layer of the model. As a result of the experiment, the reconstruction data model achieved 99.33% in body part classification, 1.12% higher than the axial model, and the axial model was higher only in brain and neck in contrast classification. In conclusion, it was possible to achieve more accurate performance when learning with data that shows better anatomical features than when trained with axial slice alone.

A Study on Pre-processing for the Classification of Rare Classes (희소 클래스 분류 문제 해결을 위한 전처리 연구)

  • Ryu, Kyungjoon;Shin, Dongkyoo;Shin, Dongil
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.05a
    • /
    • pp.472-475
    • /
    • 2020
  • 실생활의 사례를 바탕으로 생성된 여러 분야의 데이터셋을 기계학습 (Machine Learning) 문제에 적용하고 있다. 정보보안 분야에서도 사이버 공간에서의 공격 트래픽 데이터를 기계학습으로 분석하는 많은 연구들이 진행 되어 왔다. 본 논문에서는 공격 데이터를 유형별로 정확히 분류할 때, 실생활 데이터에서 흔하게 발생하는 데이터 불균형 문제로 인한 분류 성능 저하에 대한 해결방안을 연구했다. 희소 클래스 관점에서 데이터를 재구성하고 기계학습에 악영향을 끼치는 특징들을 제거하고 DNN(Deep Neural Network) 모델을 사용해 분류 성능을 평가했다.

Human Action Recognition in Various Viewpoints with a Key-Pose Distribution (핵심-포즈 분포 기반 다중 시점에서의 휴먼 행동 인식)

  • Kim, Sun-Woo;Suk, Heung-Il;Lee, Seong-Whan
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06c
    • /
    • pp.507-511
    • /
    • 2010
  • 휴먼 행동 인식은 크게 3D 모델 기반 방법과 템플릿 기반 방법으로 나눌 수 있다. 3D 모델 기반 방법은 휴먼의 포즈를 3D로 재구성한 뒤 특징을 추출하는 것으로 인식 정확도는 높으나 연산량이 많아 매우 비효율적이다. 반면 템플릿 기반의 방법은 간단하고 수행 시간이 빠르기 때문에 여러 논문들에서 채택되고 있다. 그러나 템플릿을 이용한다는 특성 때문에 시점, 행동 스타일의 변화 등에 따라 실루엣의 변화가 심해 인식 성능에 한계점을 가진다. 본 논문에서는 핵심-포즈들의 히스토그램으로 표현되는 핵심-포즈 분포와 광류의 변화를 이용하여 다중 시점에서의 휴먼 행동 인식 방법을 제안한다. 제안하는 방법은 IXMAS 데이터 셋을 이용한 실험에서 적은 수의 템플릿을 이용하면서도 평균 87.9%의 높은 인식률을 보였다.

  • PDF