• 제목/요약/키워드: F1-스코어

검색결과 23건 처리시간 0.023초

순위회귀모형의 새로운 스코어 함수의 효율성 연구 (Asymptotic Relative Efficiency for New Score Functions in Rank Regression Models)

  • 최영훈
    • 응용통계연구
    • /
    • 제17권2호
    • /
    • pp.269-280
    • /
    • 2004
  • 본 연구를 통하여 순위를 이용한 선형회귀모형의 가정된 분포형태가 우리가 실질적으로 많이 접하게 되는 비대칭분포이면서 만일 가정된 분포가 오른쪽으로 늘어진 경우일 때에는, 본 논문에서 제안된 스코어의 가능한 한 0 보다 크고 1 보다 작은 r 및 1 보다 큰 s 를 선택 (0 〈 r 〈 1, s 〉 1) 하는 것이 윌콕슨 스코어보다 높은 효율성을 나타낸다. 이와 반대로 만일 가정된 비대칭분포가 왼쪽으로 늘어진 경우일 때에는, 제안된 스코어의 가능한 한 1 보다 큰 r 및 0 보다 크고 1 보다 작은 s 를 선택 (r 〉 1, 0 〈 s 〈 1) 하는 것이 윌콕슨 스코어보다 높은 효율성을 나타낸다. 아울러 바람직한 r 과 s 를 결정하기 위한 가정된 분포의 대칭성 검정기법도 제시한다.

사용자 선호도를 사용한 군집 기반 추천 시스템 (Clustering-Based Recommendation Using Users' Preference)

  • 김영현;신원용
    • 한국정보통신학회논문지
    • /
    • 제21권2호
    • /
    • pp.277-284
    • /
    • 2017
  • 사용자가 좋아할만한 콘텐츠를 정확하게 추천하는 것은 추천 시스템에서 매우 중요한 요소 중 하나이다. 원치 않는 콘텐츠를 추천하거나, 원하는 것을 추천하지 않는 것은 사용자 만족도 측면에서 안 좋은 영향을 끼친다. 본 연구에서는 콘텐츠의 정확한 추천을 위해 사용자 군집 기반 추천 시스템을 제안한다. 제안하는 알고리즘에서 사용자들의 실제 선호도 점수와 피어슨 상관 계수를 기반으로 사용자들을 여러 군집으로 나눈다. 이 후, 특정 사용자에게 어떤 콘텐츠의 추천 여부 결정은, 같은 군집 내에 있는 다른 사용자들의 해당 콘텐츠의 실제 선호도 점수를 근거로 정한다. 제안하는 알고리즘은 군집화를 사용하지 않는 아이템 기반 협력 필터링 알고리즘보다 정밀도, 재현율, F1 스코어와 같은 추천 정확도에 있어서 의미 있는 성능 향상을 보인다.

데이터 확장을 통한 토지피복분류 U-Net 모델의 성능 개선 (The Performance Improvement of U-Net Model for Landcover Semantic Segmentation through Data Augmentation)

  • 백원경;이명진;정형섭
    • 대한원격탐사학회지
    • /
    • 제38권6_2호
    • /
    • pp.1663-1676
    • /
    • 2022
  • 최근 딥러닝을 활용한 토지피복분류 기법 연구가 다수 수행되고 있다. 그런데 양질의 토지피복 학습데이터를 충분하게 구축되지 못하여 성능이 저하되는 양상이 확인되었다. 이에 따라 본 연구에서는 데이터 확장 기법의 적용을 통한 토지피복분류 성능의 향상을 확인하였다. 분류 모델로는 U-Net이 활용되었으며 AI Hub에서 제공하는 토지피복 위성 이미지 자료를 연구자료로 활용하였다. 원본 데이터로 학습한 모델과 데이터 확장 기법이 적용된 데이터로 학습한 모델의 픽셀 정확도는 각각 0.905와 0.923이었으며 평균 F1 스코어는 각각 0.720과 0.775로 데이터 확장 기법을 적용하였을 때가 보다 우수한 성능을 나타내는 사실을 확인할 수 있었다. 또한 원본 학습데이터를 활용하여 학습한 모델의 경우 건물, 도로, 논, 밭, 산림, 비대상 지역 클래스에 대한 F1 스코어가 0.770, 0.568, 0.733, 0.455, 0.964 그리고 0.830이었으며, 데이터 확장을 적용하였을 때에 각 클래스에 대한 F1 스코어는 각각 0.838, 0.660, 0.791, 0.530, 0.969 그리고 0.860으로 모든 클래스에 대해 데이터 확장이 성능향상에 유효하다는 사실을 확인하였다. 또한, 클래스 균형에 대한 고려없이 데이터 확장을 적용했음에도 불구하고 데이터 불균형에 의한 클래스별 성능 왜곡을 완화할 수 있다는 사실을 확인할 수 있었다. 이는 절대적인 학습데이터의 양이 증가했기 때문이라 판단된다. 본 연구 결과는 다양한 영상 처리 분야에서 데이터 확장 기법의 중요성과 효과를 증명하는 기반 자료의 역할을 수행할 것으로 기대한다.

합성곱-장단기 기억 신경망의 하이브리드 결합 모델을 이용한 부정맥 분류 (Arrhythmia Classification using Hybrid Combination Model of CNN-LSTM)

  • 조익성;권혁숭
    • 한국정보통신학회논문지
    • /
    • 제26권1호
    • /
    • pp.76-84
    • /
    • 2022
  • 부정맥은 심장 박동이 비정상 혹은 불규칙하게 뛰고 있는 상태를 말하며, 실신이나 심장돌연사 등과 같은 위험한 상황을 유발할 수 있기 때문에 이의 조기 검출은 매우 중요하다. 하지만 심전도 신호의 개인차로 인해 분류 시 성능하락이 나타날 수밖에 없다. 본 연구에서는 CNN-LSTM 하이브리드 결합 모델을 이용한 부정맥 분류 방법을 제안한다. 이를 위해 먼저 잡음을 제거한 ECG 신호에서 R파를 검출하고 단일 비트 세그먼트를 추출하였다. 이후 부정맥 신호의 특징을 세밀하게 추출하도록 8개의 합성곱 계층으로 구성하고 이를 LSTM의 입력으로 사용한 후 가중치를 학습시키고 검증 데이터로 모델을 평가한 후 정상 및 부정맥 분류의 변화를 확인하였다. 제안한 방법의 타당성 검증을 위해 MIT-BIH 부정맥 데이터베이스를 사용하여 정확도(accuracy), 정밀도(precision), 재현율(recall), F1 스코어가 사용되었다. 성능평가 결과, 정확도, 정밀도, 재현율, F1 스코어는 각각 92.3%, 90.98%, 92.20%, 90.72%의 우수한 분류율을 나타내었다.

KorQuAD 2.0: 웹문서 기계독해를 위한 한국어 질의응답 데이터셋 (KorQuAD 2.0: Korean QA Dataset for Web Document Machine Comprehension)

  • 김영민;임승영;이현정;박소윤;김명지
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.97-102
    • /
    • 2019
  • KorQuAD 2.0은 총 100,000+ 쌍으로 구성된 한국어 질의응답 데이터셋이다. 기존 질의응답 표준 데이터인 KorQuAD 1.0과의 차이점은 크게 세가지가 있는데 첫 번째는 주어지는 지문이 한두 문단이 아닌 위키백과 한 페이지 전체라는 점이다. 두 번째로 지문에 표와 리스트도 포함되어 있기 때문에 HTML tag로 구조화된 문서에 대한 이해가 필요하다. 마지막으로 답변이 단어 혹은 구의 단위뿐 아니라 문단, 표, 리스트 전체를 포괄하는 긴 영역이 될 수 있다. Baseline 모델로 구글이 오픈소스로 공개한 BERT Multilingual을 활용하여 실험한 결과 F1 스코어 46.0%의 성능을 확인하였다. 이는 사람의 F1 점수 85.7%에 비해 매우 낮은 점수로, 본 데이터가 도전적인 과제임을 알 수 있다. 본 데이터의 공개를 통해 평문에 국한되어 있던 질의응답의 대상을 다양한 길이와 형식을 가진 real world task로 확장하고자 한다.

  • PDF

스크린 사용 여부 및 사용 디바이스 감지를 위한 머신러닝 모델 성능 비교 (Performance Comparison of Machine Learning Models to Detect Screen Use and Devices)

  • 황상원;김동우;이주환;강승우
    • 한국정보통신학회논문지
    • /
    • 제24권5호
    • /
    • pp.584-590
    • /
    • 2020
  • 일상생활에서 디지털 스크린을 오랜 시간 사용하면 눈의 피로, 안구 건조, 두통 등 컴퓨터 시각 증후군을 경험하게 된다. 컴퓨터 시각 증후군을 예방하기 위해서는 스크린 사용 시간을 제한하고 수시로 휴식을 취하는 것이 중요하다. 최근 스마트폰에서는 스크린 사용 시간을 알 수 있도록 도와주는 다양한 애플리케이션이 존재한다. 하지만, 사용자는 스마트폰 스크린뿐만 아니라 데스크탑, 노트북, 태블릿 등 다양한 스크린을 보기 때문에 이러한 앱만으로는 한계가 있다. 본 논문에서는 color, IMU, lidar 센서 데이터를 이용하여, 사용 중인 스크린 디바이스를 감지하는 머신 러닝 기반 모델을 제안하고 여러 가지 모델의 성능을 비교한다. 성능 비교 결과 신경망 기반 모델이 전통적인 머신 러닝 모델보다 높은 F1 스코어를 보였다. 신경망 기반 모델에서는 MLP, CNN 기반 모델이 LSTM 기반 모델보다 높은 스코어를 보였으며, 전통적인 머신 러닝 모델에서는 RF 모델이 가장 우수했으며, 다음으로는 SVM 모델이었다.

부스팅 알고리즘 기반 신용 카드 이상 거래 탐지 (Credit Card Fraud Detection based on Boosting Algorithm)

  • 이하랑;김신;윤경로
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 춘계학술발표대회
    • /
    • pp.621-623
    • /
    • 2023
  • 전자금융거래 시장이 활발해지며 이에 따라 신용 카드 이상 거래가 증가하고 있다. 따라서 많은 금융 기관은 신용 카드 이상 거래 탐지 시스템을 사용하여 신용 카드 이상 거래를 탐지하고 개인 피해를 줄이는 등 소비자를 보호하기 위해 큰 노력을 하고 있으며, 이에 따라 높은 정확도로 신용 카드 이상 거래를 탐지할 수 있는 실시간 자동화 시스템에 대한 개발이 요구되었다. 이에 본 논문에서는 머신러닝 기법 중 부스팅 알고리즘을 사용하여 더욱 정확한 신용 카드 이상 거래 탐지 시스템을 제안하고자 한다. XGBoost, LightGBM, CatBoost 부스팅 알고리즘을 사용하여 보다 정확한 신용 카드 이상 거래 탐지 시스템을 개발하였으며, 실험 결과 평균적으로 정밀도 99.95%, 재현율 99.99%, F1-스코어 99.97%를 취득하여 높은 신용 카드 이상 거래 탐지 성능을 보여주는 것을 확인하였다.

대학수학능력시험 독서 영역의 교육 목표를 위한 자연어처리 기법을 통한 검증 (Verification of educational goal of reading area in Korean SAT through natural language processing techniques)

  • 이수민;김경민;임희석
    • 한국융합학회논문지
    • /
    • 제13권1호
    • /
    • pp.81-88
    • /
    • 2022
  • 대학수학능력시험 국어 과목에서 중요한 비중을 차지하는 독서 영역의 주된 교육 목표는 주어진 지문을 온전히 이해할 수 있는가를 평가하는 데에 있다. 따라서 해당 지문에 포함된 질의를 주어진 지문만으로 풀이할 수 있는지는 해당 영역의 교육 목표와 관련이 깊다. 본 연구에서는 처음으로, 교육학 분야와 딥러닝을 접목하여 이러한 교육 목표가 실제로도 타당하게 실현 가능한지를 입증하고자 한다. 대학수학능력시험의 독서 영역의 개별지문과 그에 수반된 다수의 문장 쌍(sentence pair)을 정제하여 추출하고, 해당 문장 쌍을 주어진 지문에 비추어 적절하거나(T), 적절하지 않은지(F)를 판단하는 이진 분류 태스크(binary classification task)에 적용하여 평가하고자 한다. 그 결과, F1 스코어 기준 59.2%의 human performance를 뛰어넘는 성능을 62.49%의 KoELECTRA를 비롯한 대부분의 언어 모델에서 확인할 수 있었으며, 또한 데이터 전처리 과정에 변화를 줌으로써 언어 모델의 구조적 한계를 극복할 수 있었다.

전이 학습을 이용한 패션 스타일 검색 서비스 (Fashion Search Service Using Transfer Learning)

  • 이병준;심주용;이준영;이성욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.432-434
    • /
    • 2022
  • 우리는 전이 학습을 이용하여 원하는 특정 패션 스타일 분류기를 학습하였다. 패션 스타일 검색 결과물을 온라인 쇼핑몰과 연결하는 웹 서비스를 사용자에게 제공한다. 패션 스타일 분류기는 구글에서 이미지 검색을 통해 수집된 데이터를 이용하여 ResNet34[1]에 전이 학습하였다. 학습된 분류 모델을 이용하여 사용자 이미지로부터 패션 스타일을 17가지 클래스로 분류하였고 F1 스코어는 평균 65.5%를 얻었다. 패션 스타일 분류 결과를 네이버 쇼핑몰과 연결하여 사용자가 원하는 패션 상품을 구매할 수 있는 서비스를 제공한다.

한국어-영어 대화체 번역시스템을 위한 영형 대명사 해소 (Zero Pronoun Resolution for Korean-English Spoken Language MT)

  • 박아름;지은별;홍문표
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2011년도 제23회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.98-101
    • /
    • 2011
  • 이 논문은 한-영 대화체 번역 시스템에서 영형 대명사 해소를 위한 새로운 방법론을 제시하였다. 영형 대명사는 문맥, 상황, 세상 지식으로부터 추론될 수 있는 문장에서 생략된 요소이다. 이 논문은 특히 주어-대명사 생략 현상에 대해 다루고 있는데, 그 이유는 드라마 대본이나 인스턴트 메신저 채팅과 같은 한국어 대화체에서는 매우 일반적인 현상이기 때문이다. 이 논문에서 우리는 많은 양의 지식을 요구하지 않는 간단한 방법론을 제시하였다. 평가결과 우리의 방법은 0.79의 F-measure 스코어를 달성하였고, 전체번역률의 측면에서는 약 4.1% 정도의 향상효과가 있었다.

  • PDF