• 제목/요약/키워드: 데이터셋 재구성

검색결과 18건 처리시간 0.024초

테이블에 할당된 질의 재구성을 통한 테이블 검색 데이터셋 구축 방법 (Method of constructing a table search dataset by reconstructing queries assigned to tables)

  • 이주상;정근영;선주오;정석원;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.634-638
    • /
    • 2022
  • 테이블은 행과 열로 이루어진 데이터 집합으로, 핵심 정보를 효율적으로 저장하고 표현하기 위해 널리 사용된다. 테이블을 활용하는 다양한 연구 중에서도 테이블 검색은 다른 테이블 관련 연구의 선행 모듈로서 기능하기 때문에 특히 중요하다. 그러나 테이블 검색을 위한 한국어 데이터셋이 전무하여 이에 관한 연구를 수행하기 어렵다. 본 논문은 이러한 문제를 해결하고자 공개된 테이블 질의응답 데이터셋으로부터 테이블에 할당된 질의를 재구성하는 방법을 통해 테이블 검색 데이터셋을 구축한다. 추가로, 검증 모델을 통해 구축된 데이터셋의 유효성을 확인한다.

  • PDF

크라우드소싱 기반 문장재구성 방법을 통한 의견 스팸 데이터셋 구축 및 평가 (A Crowdsourcing-Based Paraphrased Opinion Spam Dataset and Its Implication on Detection Performance)

  • 이성운;김성순;박동현;강재우
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권7호
    • /
    • pp.338-343
    • /
    • 2016
  • 웹이 정보 교환의 주된 수단으로 사용되면서, 온라인 리뷰의 중요도가 증가하는 동시에 사용자의 올바른 의사결정을 저해하는 의견 스팸 이슈가 부각되고 있으며, 관련 연구가 활발하게 진행되고 있다. 하지만 분석 및 학습에 필요한 기준 데이터셋의 부족함과 한계점들은 관련 연구의 발전을 더디게 하고 있다. 본 논문에서는 사실 리뷰를 모사한 새로운 형태의 Paraphrased Opinion Spam(POS) 데이터셋을 소개한다. 우리는 실제 스패머들이 스팸을 작성할 때 실제 리뷰를 참고한다는 경향에 착안하여, 실제 리뷰어들이 작성한 리뷰를 의역하는 과정을 통하여 본문에 포함되어 있는 사실 정보와 경험을 담은 스팸 데이터 셋을 생성하였다. 실험 결과, 새롭게 생성된 POS 데이터셋이 언어학적으로 실제 리뷰들과 유사하여 스팸 분류 모델을 이용하여 분류 시 기존의 데이터셋들보다 더 분류하기 힘들다는 것을 발견했다. 또한 데이터의 학습량에 따라서 스팸 리뷰의 분류 정확도가 비례적으로 증가하는 것을 확인함으로써, 데이터의 양이 스팸 분류 모델 성능에 중요한 요소로 작용한다는 것을 확인할 수 있었다.

계층별 모델 역추론 공격 (Layer-wise Model Inversion Attack)

  • 권현호;김한준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.69-72
    • /
    • 2024
  • 모델 역추론 공격은 공격 대상 네트워크를 훈련하기 위해 사용되는 훈련 데이터셋 중 개인 데이터셋을 공개 데이터셋을 사용하여 개인 훈련 데이터셋을 복원하는 것이다. 모델 역추론 방법 중 적대적 생성 신경망을 사용하여 모델 역추론 공격을 하는 과거의 논문들은 딥러닝 모델 전체의 역추론에만 초점을 맞추기 때문에, 이를 통해 얻은 원본 이미지의 개인 데이터 정보는 제한적이다. 따라서, 본 연구는 대상 모델의 중간 출력을 사용하여 개인 데이터에 대한 더 품질 높은 정보를 얻는데 초점을 맞춘다. 본 논문에서는 적대적 생성 신경망 모델이 원본 이미지를 생성하기 위해 사용되는 계층별 역추론 공격 방법을 소개한다. MNIST 데이터셋으로 훈련된 적대적 생성 신경망 모델을 사용하여, 원본 이미지가 대상 모델의 계층을 통과하면서 얻은 중간 계층의 출력 데이터를 기반으로 원본 이미지를 재구성하고자 한다. GMI 의 공격 방식을 참고하여 공격 모델의 손실 함수를 구성한다. 손실 함수는 사전 손실 및 정체성 손실항을 포함하며, 역전파를 통해서 원본 이미지와 가장 유사하게 복원할 수 있는 표현 벡터 Z 를 찾는다. 원본 이미지와 공격 이미지 사이의 유사성을 분류 라벨의 정확도, SSIM, PSNR 값이라는 세 가지 지표를 사용하여 평가한다. 공격이 이루어지는 계층에서 복원한 이미지와 원본 이미지를 세 가지 지표를 가지고 평가한다. 실험 결과, 공격 이미지가 원본 이미지의 대상 분류 라벨을 정확하게 가지며 원본 이미지의 필체를 유사하게 복원하였음을 보여준다. 평가 지표 또한 원본 이미지와 유사하다는 것을 나타낸다.

시계열 데이터 특성 기반 품질 관리 방법 연구 (Data Quality Management Method base on Seasonality from Time series Data)

  • 이지훈;문재원;황지수
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2022년도 하계학술대회
    • /
    • pp.93-96
    • /
    • 2022
  • IoT 기기의 보급 및 확산으로 많은 산업군에서 이를 바탕으로 시계열 데이터를 획득하고 분석하려는 시도가 확대되고 있다. 시간의 흐름에 따라 저장된 데이터들은 주기에 따라 특정 패턴을 갖는 경우가 많으며 이러한 패턴을 파악한다면 주요 산업군의 의사 결정에 도움이 된다. 그러나 IoT 기기의 수집 오류 및 네트워크 환경에 의해 대부분의 시계열 데이터들은 누락 데이터, 이상 데이터를 갖고 있으며 이를 처리하지 않고 분석할 경우 오히려 잘못된 결과를 초래한다. 본 논문에서는 패턴 파악을 위해 '시간, 일, 주, 월, 년' 등 시간의 주기를 기준으로 데이터를 분할하며 이에 기반하여 데이터셋을 재구성하고 활용 가능한 데이터와 불가능한 데이터로 구분한다. 선별된 데이터셋은 클러스터링에 적용하였으며, 제안하는 방법을 적용할 경우 주기를 갖는 시계열 데이터를 활용하는 분석 및 학습에서 더 나은 결과를 보임을 확인하였다.

  • PDF

소셜 네트워크 기반 대량의 SMS 스팸 데이터 재구성 기법 (A Re-configuration Scheme for Social Network Based Large-scale SMS Spam)

  • 정시현;노기섭;오하영;김종권
    • 정보과학회 논문지
    • /
    • 제42권6호
    • /
    • pp.801-806
    • /
    • 2015
  • SMS는 현대 통신 수단 중 가장 많이 사용되고 있는 방법 중 하나로서, 그 사용 비용이 저렴해짐에 따라 SMS에서의 스팸도 함께 증가하였다. SMS 스팸을 탐지하는 연구들은 부득이하게 사용자의 발신번호, 수신번호 및 SMS내용 등의 즉 개인정보를 필요로 하게 된다는 점에서 데이터 수집 측면에서 큰 한계를 가지고 있다. 더욱이, 소셜 네트워크가 활성화됨에 따라 SMS 스팸들은 더욱 지능화되고 있으며 결과, SMS 스팸 탐지 기법 연구 수행시 해당 SMS관련 개인정보는 물론 사용자의 소셜 네트워크 관련 정보까지 필요로 한다. 따라서, 본 논문에서는 SMS 스팸을 탐지하기 위해 필요한 소셜 네트워크 데이터 셋을 사생활 침해 문제 없이 실제와 유사하게 재구성해주는 SBSS(Social network Building Scheme for SMS spam detection) 기법을 제안한다. 또한, 현재 존재하는 SMS 스팸의 공격 유형을 처음으로 구체화하고 분류하여 이를 반영했다.

MLP-Mixer를 이용한 이미지 이상탐지 (Image Anomaly Detection Using MLP-Mixer)

  • 황주효;진교홍
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.104-107
    • /
    • 2022
  • 오토인코더 딥러닝 모델은 이상 데이터도 정상 데이터로 복원하는 능력이 우수하여 이상탐지에 적절하지 못한 경우가 발생한다. 그리고 데이터의 일부를 가린(마스킹) 후 가린 데이터를 복원하는 방식인 Inpainting 방식은 잡음이 많은 이미지에 대해서는 복원능력이 떨어지는 문제점을 가지고 있다. 본 논문에서는 MLP-Mixer 모델을 수정·개선하여 이미지를 일정 비율로 마스킹하고 마스킹된 이미지의 압축된 정보를 모델에 전달해 이미지를 재구성하는 방식을 사용하였다. MVTec AD 데이터 셋의 정상 데이터로 학습한 모델을 구축한 뒤, 정상과 이상 이미지를 각각 입력하여 재구성 오류를 구하고 이를 통해 이상탐지를 수행하였다. 성능 평가 결과 제안된 방식이 기존의 방식에 비해 이상탐지 성능이 우수한 것으로 나타났다.

  • PDF

개인정보 보호를 고려한 딥러닝 데이터 자동 생성 방안 연구 (A Study of Automatic Deep Learning Data Generation by Considering Private Information Protection)

  • 장성봉
    • 문화기술의 융합
    • /
    • 제10권1호
    • /
    • pp.435-441
    • /
    • 2024
  • 수집된 대량의 데이터셋이 딥러닝 학습데이터로 사용되기 위해서는 주민번호, 질병 정보등과 같이 민감한 개인정보는 해커에게 노출되지 않도록 값을 변경하거나 암호화해야 하고 구축된 딥러닝 모델의 구조와 일치 하도록 데이터를 재구성 해주어야 한다. 현재, 이러한 작업은 전문가에 의해 수동으로 이루어지기 때문에, 시간과 비용이 많이 소요 된다. 이러한 문제점을 해결하기 위해, 본 논문에서는 딥러닝 과정에서 개인정보 보호를 위한 데이터 처리 작업을 자동으로 수행할 수 있는 기법을 제안한다. 제안된 기법에서는 데이터 일반화에 기반한 개인정보 보호 작업을 수행하고 원형큐를 사용하여 데이터 재구성 작업을 수행한다. 제안된 기법의 타당성을 검증하기 위해, C언어를 사용하여 직접 구현하였다. 검증 결과, 데이터 일반화가 정상적으로 수행되고 딥러닝 모델에 맞는 데이터 재구성이 제대로 수행됨을 확인 할 수 있었다.

딥러닝 기반 CT 스캔 재구성을 통한 조영제 사용 및 신체 부위 분류 성능 향상 연구 (A Study on the Use of Contrast Agent and the Improvement of Body Part Classification Performance through Deep Learning-Based CT Scan Reconstruction)

  • 나성원;고유선;김경원
    • 방송공학회논문지
    • /
    • 제28권3호
    • /
    • pp.293-301
    • /
    • 2023
  • 표준화되지 않은 의료 데이터 수집 및 관리는 여전히 수동으로 진행되고 있어, 이 문제를 해결하기 위해 딥 러닝을 사용해 CT 데이터를 분류하는 연구들이 진행되고 있다. 하지만 대부분 연구에서는 기본적인 CT slice인 axial 평면만을 기반으로 모델을 개발하고 있다. CT 영상은 일반 이미지와 다르게 인체 구조만 묘사하기 때문에 CT scan을 재구성하는 것만으로도 더 풍부한 신체적 특징을 나타낼 수 있다. 이 연구는 axial 평면뿐만 아니라 CT 데이터를 2D로 변환하는 여러가지 방법들을 통해 보다 높은 성능을 달성할 수 있는 방법을 찾고자 한다. 훈련은 5가지 부위의 CT 스캔 1042개를 사용했고, 모델 평가를 위해 테스트셋 179개, 외부 데이터셋으로 448개를 수집했다. 딥러닝 모델 개발을 위해 ImageNet으로 사전 학습된 InceptionResNetV2를 백본으로 사용하였으며, 모델의 전체 레이어를 재 학습했다. 실험결과 신체 부위 분류에서는 재구성 데이터 모델이 99.33%를 달성하며 axial 모델보다 1.12% 더 높았고, 조영제 분류에서는 brain과 neck에서만 axial모델이 높았다. 결론적으로 axial slice로만 훈련했을 때 보다 해부학적 특징이 잘 나타나는 데이터로 학습했을 때 더 정확한 성능 달성이 가능했다.

희소 클래스 분류 문제 해결을 위한 전처리 연구 (A Study on Pre-processing for the Classification of Rare Classes)

  • 류경준;신동규;신동일
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.472-475
    • /
    • 2020
  • 실생활의 사례를 바탕으로 생성된 여러 분야의 데이터셋을 기계학습 (Machine Learning) 문제에 적용하고 있다. 정보보안 분야에서도 사이버 공간에서의 공격 트래픽 데이터를 기계학습으로 분석하는 많은 연구들이 진행 되어 왔다. 본 논문에서는 공격 데이터를 유형별로 정확히 분류할 때, 실생활 데이터에서 흔하게 발생하는 데이터 불균형 문제로 인한 분류 성능 저하에 대한 해결방안을 연구했다. 희소 클래스 관점에서 데이터를 재구성하고 기계학습에 악영향을 끼치는 특징들을 제거하고 DNN(Deep Neural Network) 모델을 사용해 분류 성능을 평가했다.

핵심-포즈 분포 기반 다중 시점에서의 휴먼 행동 인식 (Human Action Recognition in Various Viewpoints with a Key-Pose Distribution)

  • 김선우;석흥일;이성환
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
    • /
    • pp.507-511
    • /
    • 2010
  • 휴먼 행동 인식은 크게 3D 모델 기반 방법과 템플릿 기반 방법으로 나눌 수 있다. 3D 모델 기반 방법은 휴먼의 포즈를 3D로 재구성한 뒤 특징을 추출하는 것으로 인식 정확도는 높으나 연산량이 많아 매우 비효율적이다. 반면 템플릿 기반의 방법은 간단하고 수행 시간이 빠르기 때문에 여러 논문들에서 채택되고 있다. 그러나 템플릿을 이용한다는 특성 때문에 시점, 행동 스타일의 변화 등에 따라 실루엣의 변화가 심해 인식 성능에 한계점을 가진다. 본 논문에서는 핵심-포즈들의 히스토그램으로 표현되는 핵심-포즈 분포와 광류의 변화를 이용하여 다중 시점에서의 휴먼 행동 인식 방법을 제안한다. 제안하는 방법은 IXMAS 데이터 셋을 이용한 실험에서 적은 수의 템플릿을 이용하면서도 평균 87.9%의 높은 인식률을 보였다.

  • PDF