• 제목/요약/키워드: 평가 데이터셋

검색결과 483건 처리시간 0.031초

Research on improving KGQA efficiency using self-enhancement of reasoning paths based on Large Language Models

  • Min-Ji Seo;Myung-Ho Kim
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권9호
    • /
    • pp.39-48
    • /
    • 2024
  • 본 연구에서는 KGQA의 답변 성능 및 설명력을 높이기 위해 제공된 추론 경로를 스스로 평가하고 보강하는 방법을 제안한다. 제안하는 방법에서는 LLMs와 GNN을 활용하여 질의와 관련된 추론 경로를 지식 그래프에서 검색하였다. 검색된 추론 경로를 LLMs가 자가적으로 평가하여 보완이 필요하다고 판단될 경우, 질문과 관련된 외부 정보를 찾고 트리플로 변환하여 지식 그래프에 추가하였다. 이에 따라 LLMs가 보강된 트리플 셋을 통해 정답과 이유를 설명할 수 있도록 하였다. 추론 경로는 추론 결과 혹은 경로가 의미상으로 질문과 관계가 있는지 LLMs 스스로 평가하도록 하였으며, 텍스트 유사도를 통해 질문과 관련된 텍스트를 찾아내어 추론 경로를 보강하여 LLMs가 기존보다 정확하게 질문에 대한 정답을 설명할 수 있도록 하였다. WebQuestion Semantic Parsing 데이터셋을 이용하여 제안 방법의 성능을 평가한 결과, 기존 방법으로 생성한 추론 경로보다 높은 정확도로 정답을 제공하고 더 많은 종류의 질문에 설명을 출력하는 것을 증명하였다.

영역객체의 공간 범위질의에 관한 선택률 추정기법 분석 (Analysis of Selectivity Estimation Techniques for Spatial Range Query of Region Objects)

  • 정재혁;이진열;지정희;김상호;류근호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (하)
    • /
    • pp.1383-1386
    • /
    • 2003
  • 최근 공간 데이터베이스의 선택률 추정 문제에 대한 관심이 증가하면서, 데이터분포의 편중, 중복 계산, 메모리 공간 최소화등의 문제를 고려한 다양한 기법들이 제안되고 있다. 그러나 이들 기법들 간의 성능 분석을 통한 비교평가는 이루어지지 않고 있다. 따라서, 이 논문에서는 공간 영역 객체의 범위질의에 관한 선택률 추정 기법인 Min-Skew, 웨이블릿, 누적밀도, 오일러 히스토그램을 비교 분석한다. 즉, 실제 데이터셋을 기반으로 여러 형태의 질의에 대한 성능 비교를 통해 각 기법들을 비교 평가한다. 이 연구 결과는 새로운 기법 도출에 이용될 수 있다.

  • PDF

희소 클래스 분류 문제 해결을 위한 전처리 연구 (A Study on Pre-processing for the Classification of Rare Classes)

  • 류경준;신동규;신동일
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.472-475
    • /
    • 2020
  • 실생활의 사례를 바탕으로 생성된 여러 분야의 데이터셋을 기계학습 (Machine Learning) 문제에 적용하고 있다. 정보보안 분야에서도 사이버 공간에서의 공격 트래픽 데이터를 기계학습으로 분석하는 많은 연구들이 진행 되어 왔다. 본 논문에서는 공격 데이터를 유형별로 정확히 분류할 때, 실생활 데이터에서 흔하게 발생하는 데이터 불균형 문제로 인한 분류 성능 저하에 대한 해결방안을 연구했다. 희소 클래스 관점에서 데이터를 재구성하고 기계학습에 악영향을 끼치는 특징들을 제거하고 DNN(Deep Neural Network) 모델을 사용해 분류 성능을 평가했다.

Epipolar geometry를 활용한 개선된 depth 평가 방법 (Improved depth evaluation using Epipolar geometry)

  • 김성민;한종기
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2022년도 추계학술대회
    • /
    • pp.99-102
    • /
    • 2022
  • 실재하는 물체나 장소를 디지털 카메라나 휴대폰 카메라로 여러 장 촬영하여 얻은 2차원 이미지 데이터셋으로부터 3차원 영상을 얻기 위해서 이미지를 이루는 각 pixel의 depth 정보를 얻는 것은 필수적인 과정이다. 주어진 이미지에서 depth 정보를 얻기 위해 Shuhan Shen은 PatchMatch 알고리즘을 활용하는 것을 제안하였다. 그 이후 PatchMatch 기반의 알고리즘은 널리 사용되며 우수한 성능을 보이고 있다. PatchMatch 기반의 알고리즘을 사용해 depth를 추정하는 과정에서 depth와 법선 벡터를 Zero-mean Normalized Cross Correlation(ZNCC)를 사용해 평가한다. 하지만, ZNCC는 depth를 평가하려는 pixel의 주변 pixel들의 밝기 값 혹은 색상 값의 분포를 사용하기 때문에 밝기 값이나 색상 값의 변화가 적은 texture-less region에서는 신뢰성이 떨어진다. 본 논문에서는 이 문제를 epipolar geometry를 활용한 기하학적 정보를 이용하여 개선하고자 한다.

  • PDF

SVD에 기반한 모델 경량화를 통한 문서 그라운딩된 응답 생성 (Lightweight Language Models based on SVD for Document-Grounded Response Generation)

  • 이검;서대룡;전동현;강인호;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.638-643
    • /
    • 2023
  • 문서 기반 대화 시스템은 크게 질문으로부터 문서를 검색하는 과정과 응답 텍스트를 생성하는 과정으로 나뉜다. 이러한 대화 시스템의 응답 생성 과정에 디코더 기반 LLM을 사용하기 위해서 사전 학습된 LLM을 미세 조정한다면 많은 메모리, 연산 자원이 소모된다. 본 연구에서는 SVD에 기반한 LLM의 경량화를 시도한다. 사전 학습된 polyglot-ko 모델의 행렬을 SVD로 분해한 뒤, full-fine-tuning 해보고, LoRA를 붙여서 미세 조정 해본 뒤, 원본 모델을 미세 조정한 것과 점수를 비교하고, 정성평가를 수행하여 경량화된 모델의 응답 생성 성능을 평가한다. 문서 기반 대화를 위한 한국어 대화 데이터셋인 KoDoc2Dial에 대하여 평가한다.

  • PDF

스마트폰 사용패턴 분석을 위한 원격 로그데이터 수집 시스템 구현 (Implementation of a remote log-data collecting system for the analysis on smartphone usage pattern)

  • 송현지;이민경;정희원;유석종
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.237-239
    • /
    • 2014
  • 다수 사용자의 스마트폰 사용패턴을 협업적인 방법으로 분석할 경우 모바일 기기에 대한 선호도 분석, 과몰입 정도 판단 등 다양한 관련 연구에 활용될 수 있다. 본 연구는 스마트폰의 사용패턴 분석을 통한 사용자 맞춤형 서비스 개발을 위하여 로그데이터를 추출하여 서버에 저장하는 시스템을 설계하고 구현하는 것을 목표로 한다. 사용자의 스마트 폰 로그데이터를 수집하기 위하여 모바일앱을 개발하고 모바일앱을 통해서 추출된 로그데이터를 저장할 서버 DB 를 구축하고 유사성 분석을 위한 협업필터링 엔진을 개발하였다. 개발된 시스템의 성능 평가를 위하여 일부 사용자에 대한 사용패턴 데이터셋 구축 실험을 수행하였으며 후속 연구를 위한 실험 환경을 설계하였다.

정규화 흐름 기반 시계열 이상 탐지 시스템 연구 (Research on Normalizing Flow-Based Time Series Anomaly Detection System)

  • 전영훈;곽정환
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.283-285
    • /
    • 2023
  • 이상 탐지는 데이터에서 일반적인 범주에서 크게 벗어나는 인스턴스 또는 패턴을 식별하는 중요한 작업이다. 본 연구에서는 시계열 데이터의 특징 추출을 위한 비지도 학습 기반 방법과 정규화 흐름의 결합을 통한 이상 탐지 프레임워크를 제안한다. 특징 추출기는 1차원 합성곱 신경망 기반의 오토인코더로 구성되며, 정상적인 시퀀스로만 구성된 훈련 데이터를 압축하고 복원하는 과정을 통해 최적화된다. 추출된 시계열 데이터의 특징 맵은 가능도를 최대화하도록 훈련된 정규화 흐름의 입력으로 사용된다. 이와 같은 방식으로 훈련된 이상 탐지 시스템은 테스트 샘플에 대한 이상치를 계산하며, 최종적으로 임계값과의 비교를 통해 이상 여부를 예측한다. 성능 평가를 위해 시계열 이상 탐지를 위한 공개 데이터셋을 이용하여 공정하게 이상 탐지 성능을 비교하였으며, 실험 결과는 제안하는 정규화 흐름 기법이 시계열 이상 탐지 시스템에 활용될수 있는 잠재성을 시사한다.

  • PDF

추천 시스템을 위한 단계적 평가치 예측 방안 (A Stepwise Rating Prediction Method for Recommender Systems)

  • 이수정
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권4호
    • /
    • pp.183-188
    • /
    • 2021
  • 협력 필터링 기반의 추천 시스템은 현재 다양한 분야의 상업용 시스템의 필수불가결한 기능으로서, 사용자들이 선호할만한 상품을 맞춤형으로 제공해 주는 유용한 서비스이다. 그러나, 사용자들의 평가 데이타가 불충분할 경우 선호상품의 예측이 부정확할 우려가 크다. 본 연구에서는 이러한 단점을 해결하기 위하여 단계적으로 상품의 평가치를 예측하는 방안을 제시한다. 각 단계에 해당하는 예측 방법의 적용 조건을 만족하지 못할 경우 다음 단계의 방법을 적용한다. 제안 방법의 성능 평가를 위해, 공개 데이터셋을 활용한 실험을 진행하였으며, 제안 방법은 여러 전통적 유사도 척도를 도입한 협력 필터링 시스템의 예측 성능과 정밀도 성능을 크게 향상시켰고, 평가데이터 희소성 해결을 위한 기존 방식들의 성능을 능가하는 결과를 보였다.

그룹특징기반 슬라이딩 윈도우 클러스터링에서의 k-means와 k-medoids 비교 평가 (Comparison between k-means and k-medoids Algorithms for a Group-Feature based Sliding Window Clustering)

  • 양주연;심준호
    • 한국전자거래학회지
    • /
    • 제23권3호
    • /
    • pp.225-237
    • /
    • 2018
  • 대용량 데이터의 발생과 처리가 대중화되면서 대용량 데이터 스트림 처리에 대한 수요가 급격하게 증가하고 있다. 이 수요에 따라 다양한 대용량 데이터 처리 기술이 개발되고 있다. 한 분야로 주목받고 있는 방식은 슬라이딩 윈도우를 사용한 데이터 스트림 클러스터링이다. 슬라이딩 윈도우를 사용한 데이터 스트림 클러스터링은 윈도우가 이동할 때마다 새로운 클러스터를 생성한다. 기존의 슬라이딩 윈도우 상의 클러스터링 기법은 코어셋(Coreset)을 기반으로 데이터 스트림 클러스터링을 구현하고 있다. 이 연구에서는 코어셋을 활용한 그룹특징을 이용한 알고리즘 내에서 이용하는 클러스터링 알고리즘을 변경하였다. 그리고 이를 통해 제안 알고리즘과 기존 알고리즘의 파라미터 값 변화에 따른 성능 비교 실험을 진행하였다. 개선된 사항에 대해 논하여 두 알고리즘을 비교하고 실험자에게 파라미터에 따른 이용 방향을 제시한다.

가중치 VAE 오버샘플링(W-VAE)을 이용한 보안데이터셋 샘플링 기법 연구 (A Data Sampling Technique for Secure Dataset Using Weight VAE Oversampling(W-VAE))

  • 강한바다;이재우
    • 한국정보통신학회논문지
    • /
    • 제26권12호
    • /
    • pp.1872-1879
    • /
    • 2022
  • 최근 인공지능 기술이 발전하면서 해킹 공격을 탐지하기 위해 인공지능을 이용하려는 연구가 활발히 진행되고 있다. 하지만, 인공지능 모델 개발에 핵심인 학습데이터를 구성하는데 있어서 보안데이터가 대표적인 불균형 데이터라는 점이 큰 장애물로 인식되고 있다. 이에 본 눈문에서는 오버샘플링을 위한 데이터 추출에 딥러닝 생성 모델인 VAE를 적용하고 K-NN을 이용한 가중치 계산을 통해 클래스별 오버샘플링 개수를 설정하여 샘플링을 하는 W-VAE 오버샘플링 기법을 제안한다. 본 논문에서는 공개 네트워크 보안 데이터셋인 NSL-KDD를 통해 ROS, SMOTE, ADASYN 등 총 5가지 오버샘플링 기법을 적용하였으며 본 논문에서 제안한 오버샘플링 기법이 F1-Score 평가지표를 통해 기존 오버샘플링 기법과 비교하여 가장 효과적인 샘플링 기법임을 증명하였다.