• 제목/요약/키워드: False Negative

검색결과 511건 처리시간 0.024초

검색 모델 성능 향상을 위한 Hard Negative 추출 및 False Negative 문제 완화 방법 (Improving Dense Retrieval Performance by Extracting Hard Negative and Mitigating False Negative Problem)

  • 박성흠;김홍진;황금하;권오욱;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.366-371
    • /
    • 2023
  • 신경망 기반의 검색 모델이 활발히 연구됨에 따라 효과적인 대조학습을 위한 다양한 네거티브 샘플링 방법이 제안되고 있다. 대표적으로, ANN전략은 하드 네거티브 샘플링 방법으로 질문에 대해 검색된 후보 문서들 중에서 정답 문서를 제외한 상위 후보 문서를 네거티브로 사용하여 검색 모델의 성능을 효과적으로 개선시킨다. 하지만 질문에 부착된 정답 문서를 통해 후보 문서를 네거티브로 구분하기 때문에 실제로 정답을 유추할 수 있는 후보 문서임에도 불구하고 네거티브로 분류되어 대조학습을 진행할 수 있다는 문제점이 있다. 이러한 가짜 네거티브 문제(False Negative Problem)는 학습과정에서 검색 모델을 혼란스럽게 하며 성능을 감소시킨다. 본 논문에서는 False Negative Problem를 분석하고 이를 완화시키기 위해 가짜 네거티브 분류기(False Negative Classifier)를 소개한다. 실험은 오픈 도메인 질의 응답 데이터셋인 Natural Question에서 진행되었으며 실제 False Negative를 확인하고 이를 판별하여 기존 성능보다 더 높은 성능을 얻을 수 있음을 보여준다.

  • PDF

Improving accessibility and distinction between negative results in biomedical relation extraction

  • Sousa, Diana;Lamurias, Andre;Couto, Francisco M.
    • Genomics & Informatics
    • /
    • 제18권2호
    • /
    • pp.20.1-20.4
    • /
    • 2020
  • Accessible negative results are relevant for researchers and clinicians not only to limit their search space but also to prevent the costly re-exploration of research hypotheses. However, most biomedical relation extraction datasets do not seek to distinguish between a false and a negative relation among two biomedical entities. Furthermore, datasets created using distant supervision techniques also have some false negative relations that constitute undocumented/ unknown relations (missing from a knowledge base). We propose to improve the distinction between these concepts, by revising a subset of the relations marked as false on the phenotype-gene relations corpus and give the first steps to automatically distinguish between the false (F), negative (N), and unknown (U) results. Our work resulted in a sample of 127 manually annotated FNU relations and a weighted-F1 of 0.5609 for their automatic distinction. This work was developed during the 6th Biomedical Linked Annotation Hackathon (BLAH6).

과탐지 감소를 위한 NSA 기반의 다중 레벨 이상 침입 탐지 (Negative Selection Algorithm based Multi-Level Anomaly Intrusion Detection for False-Positive Reduction)

  • 김미선;박경우;서재현
    • 정보보호학회논문지
    • /
    • 제16권6호
    • /
    • pp.111-121
    • /
    • 2006
  • 인터넷이 빠르게 성장함에 따라 네트워크 공격기법이 변화되고 새로운 공격 형태가 나타나고 있다. 네트워크상에서 알려진 침입의 탐지는 효율적으로 수행되고 있으나 알려지지 않은 침입에 대해서는 오탐지(false negative)나 과탐지(false positive)가 너무 높게 나타난다. 또한, 네트워크상에서 지속적으로 처리되는 대량의 패킷에 대하여 실시간적인 탐지와 새로운 침입 유형에 대한 대응방법과 인지능력에 한계가 있다. 따라서 다양한 대량의 트래픽에 대해서 탐지율을 높이고 과탐지를 감소할 수 있는 방법이 필요하다. 본 논문에서는 네트워크 기반의 이상 침입 탐지 시스템에서 과탐지를 감소하고, 침입 탐지 능력을 향상시키기 위하여 다차원 연관 규칙 마이닝과 수정된 부정 선택 알고리즘(Negative Selection Algorithm)을 결합한 다중 레벨 이상 침입 탐지 기술을 제안한다. 제안한 알고리즘의 성능 평가를 위하여 기존의 이상 탐지 알고리즘과 제안된 알고리즘을 수행하여, 각각의 과탐지율을 평가, 제시하였다.

Acidic hydrogen peroxide로 혈액을 증강할 때의 위양성 및 위음성 반응 (False positive and false negative reactions of acidic hydrogen peroxide for enhancing blood)

  • 이원영;홍성욱
    • 분석과학
    • /
    • 제35권3호
    • /
    • pp.124-128
    • /
    • 2022
  • 혈액을 증강하기 위해 사용하는 시약은 혈액 이외의 다른 물질의 영향을 받아 위양성 혹은 위음성을 나타낼 수 있다. 이런 반응이 일어나면 혈액 증거를 잘못 해석할 수 있으므로 혈흔 증강 시약의 위양성 및 위음성 가능성에 대한 조사는 필수적이다. 산성 과산화수소(acidic hydrogen peroxide, AHP)는 최근에 알려진 혈액 증강 시약으로, 위양성 혹은 위음성을 유발하는지에 대해 알려진 바가 없다. 이를 확인하기 위해 금속 표면, 플라스틱 표면, 종이 표면, 페인트 표면, 음식류, 식물성 기름, 세제류, 석유계 탄화수소에 혈액 20 µL을 남긴 후 AHP를 처리하였다. 이 혈액을 505 nm 광원을 비추며 오렌지색 필터를 통해 관찰 한 결과 모든 물질에서 위양성 혹은 위음성 반응이 관찰되지 않았다. 그러나 polyethylene terephthalate 표면, polyvinylchloride 표면, 일부 페인트 표면, 음식류는 AHP를 처리한 혈액 관찰 조건에서 자체 광발광을 나타내 혈액 관찰을 방해한다는 점을 확인할 수 있었다.

세침 천자 검사로 진단된 유방종양의 세포병리학적 연구 (Fine Needle Aspiration Biopsy Cytology of Breast Tumors)

  • 김인숙;이중달
    • 대한세포병리학회지
    • /
    • 제1권1호
    • /
    • pp.51-59
    • /
    • 1990
  • Fine needle aspiration biopsy cytology (FNA) for diagnosis of a variety of breast tumors has been proven to be a simple, safe, and cost saving diagnostic methodology with high accuracy. Cytologic specimens from 1,029 fine needle aspirations of the breast during last 3-year period were reviewed and subsequent biopsies from 107 breast lesions were reevaluated for cytohistological correlation. FNA had a sensitivity of 81.6% and a specificity of 98.3%. One oui of 107 cases biopsied revealed a false positive result (0.9%) and the case was due to misinterpretation of apocrine metaplastic cells in necrotic backgound as malignant cells. A false negative rate was 8.4% (9 of 107 cases biopsied). Six of 9 false negative cases were resulted from insufficient aspirates for diagnosis, and remaining three of 9 false negative cases revealed extensive necrosis with no or scanty viable cells on smears. The results indicate that for reducing false positive and false negative rates of FNA, an experienced cytopathologist and a proficient aspirator are of great importance.

  • PDF

False Alarm Rate 변화에 따른 DoS/DDoS 탐지 알고리즘의 성능 분석 (Performance Analysis of DoS/DDoS Attack Detection Algorithms using Different False Alarm Rates)

  • 장범수;이주영;정재일
    • 한국시뮬레이션학회논문지
    • /
    • 제19권4호
    • /
    • pp.139-149
    • /
    • 2010
  • 인터넷은 확장성과 최선형 라우팅 서비스를 목적으로 설계되었기 때문에 보안상에 취약점을 가진다. 이에 IP spoofing과 DoS/DDoS 공격을 탐지하기 위한 다양한 공격 탐지 방법들이 제안되었다. DoS/DDoS 공격은 공격이 시작되고 짧은 시간 내에 목적을 이루기 때문에 공격 탐지 알고리즘들은 빠른 시간 내에 정확한 탐지를 하는 것이 중요하다. 공격 탐지 알고리즘들은 미탐지율과 오탐지율로 이루어진 오경고율을 가지며 공격 탐지 알고리즘의 성능을 평가하는 중요한 요소가 된다. 본 논문에서는 공격 탐지 알고리즘의 특징을 살펴보고 그 성능을 분석하였다. 공격 탐지 알고리즘의 성능은 미탐지율과 오탐지율을 변화시켰을 시, 공격 트래픽 및 일반 트래픽에 미치는 영향을 시뮬레이션을 통해 각각 분석하였다. 이를 통해 전송되는 공격 패킷의 수는 미탐지율에 비례하며, 전송되는 일반 패킷의 수는 일정 치 이하의 미탐지율과 오탐지율에 반비례하는 것을 확인하였다. 또 공격 탐지 알고리즘의 미탐지율 변화에 따른 오탐지율의 변화를 분석하여 미탐지율과 오탐지율의 관계를 도출하고 공격탐지 알고리즘의 한계를 분석하였다. 이러한 한계를 극복하기 위해 정확한 네트워크 상태를 판단하여 공격 탐지 알고리즘의 한계를 줄이고 성능을 개선하는 방안을 제안하였고 그 결과, 공격 탐지 알고리즘의 성능이 보다 향상됨을 확인하였다.

TPR-TNR plot for confusion matrix

  • Hong, Chong Sun;Oh, Tae Gyu
    • Communications for Statistical Applications and Methods
    • /
    • 제28권2호
    • /
    • pp.161-169
    • /
    • 2021
  • The two-dimensional confusion matrix used in credit assessment, biostatistics, and many other fields consists of true positive, true negative, false positive, and false negative. Their rates, such as the true positive rate (TPR), true negative rate (TNR), false positive rate, and false negative rate, can be applied to measure its accuracy. In this study, we propose the TPR-TNR plot, a graphical method that can geometrically describe and explain these rates based on the confusion matrix. The proposed TPR-TNR plot consists of two right-angled triangles. We obtain that the TPR and TNR describe the acute angles of right-angled triangles in the plot. These acute angles can be used to determine optimal thresholds corresponding to lots of accuracy measures.

대기행렬을 이용한 위음성률이 있는 코로나 취합검사 시스템의 분석 (The Analysis of COVID-19 Pooled-Testing Systems with False Negatives Using a Queueing Model)

  • 김길환
    • 산업경영시스템학회지
    • /
    • 제44권4호
    • /
    • pp.154-168
    • /
    • 2021
  • COVID-19 has been spreading all around the world, and threatening global health. In this situation, identifying and isolating infected individuals rapidly has been one of the most important measures to contain the epidemic. However, the standard diagnosis procedure with RT-PCR (Reverse Transcriptase Polymerase Chain Reaction) is costly and time-consuming. For this reason, pooled testing for COVID-19 has been proposed from the early stage of the COVID-19 pandemic to reduce the cost and time of identifying the COVID-19 infection. For pooled testing, how many samples are tested in group is the most significant factor to the performance of the test system. When the arrivals of test requirements and the test time are stochastic, batch-service queueing models have been utilized for the analysis of pooled-testing systems. However, most of them do not consider the false-negative test results of pooled testing in their performance analysis. For the COVID-19 RT-PCR test, there is a small but certain possibility of false-negative test results, and the group-test size affects not only the time and cost of pooled testing, but also the false-negative rate of pooled testing, which is a significant concern to public health authorities. In this study, we analyze the performance of COVID-19 pooled-testing systems with false-negative test results. To do this, we first formulate the COVID-19 pooled-testing systems with false negatives as a batch-service queuing model, and then obtain the performance measures such as the expected number of test requirements in the system, the expected number of RP-PCR tests for a test sample, the false-negative group-test rate, and the total cost per unit time, using the queueing analysis. We also present a numerical example to demonstrate the applicability of our analysis, and draw a couple of implications for COVID-19 pooled testing.

Framework for False Alarm Pattern Analysis of Intrusion Detection System using Incremental Association Rule Mining

  • Chon Won Yang;Kim Eun Hee;Shin Moon Sun;Ryu Keun Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2004년도 Proceedings of ISRS 2004
    • /
    • pp.716-718
    • /
    • 2004
  • The false alarm data in intrusion detection systems are divided into false positive and false negative. The false positive makes bad effects on the performance of intrusion detection system. And the false negative makes bad effects on the efficiency of intrusion detection system. Recently, the most of works have been studied the data mining technique for analysis of alert data. However, the false alarm data not only increase data volume but also change patterns of alert data along the time line. Therefore, we need a tool that can analyze patterns that change characteristics when we look for new patterns. In this paper, we focus on the false positives and present a framework for analysis of false alarm pattern from the alert data. In this work, we also apply incremental data mining techniques to analyze patterns of false alarms among alert data that are incremental over the time. Finally, we achieved flexibility by using dynamic support threshold, because the volume of alert data as well as included false alarms increases irregular.

  • PDF

갑상선 병변의 세침흡인 세포검사의 유용성에 관한 연구 (A Study of Usefulness of Fine Needle Aspiration Cytology of the Thyroid Lesions)

  • 진계현;진소영;이동화
    • 대한세포병리학회지
    • /
    • 제7권2호
    • /
    • pp.111-121
    • /
    • 1996
  • Fine needle aspiration cytology(FNAC) is preferred because of simplicity, safety, and reliability in the evaluation of patients with thyroid nodule or hyperplasia. However, there are a few limitations such as false-negative or false-positive cases and non-diagnostic material. To evaluate the usefulness of FNAC in thyroid lesions, we reviewed 704 FNAC cases of thyroid nodules from 1988 to 1994 at Soonchunhyang University Hospital. The results are as follows. 1. Among 704 FNAC cases of thyroid gland, 571(81.1%) cases were benign, 12(1.7%) were suspicious, 71(10.1%) were malignancy, and 50(7.1%) were material insufficiency. The cytologic diagnoses of the benign lesions included 168 cases of follicular neoplasm, 139 cases of adenomatous goiter, 162 cases of follicular lesion such as follicular neoplasm or adenomatous goiter, 61 cases of Hashimoto's thyroiditis, 13 cases of subacute thyroiditis, and 28 cases of colloidal nodule or benign nodule. The malignant lesions included 68 cases of papillary carcinona, two medullary carcinomas and a case of metastatic colon cancer. 2. The average number of cytologic smear slides was $4.12{\pm}1.81$ in material insufficiency and $5.63{\pm}1.79$ in diagnostic cases. This difference was statistically significant(p<0.00001). 3. Histological assessment of 150 cases revealed 2 false negative and 1 false positive cases. The false negative cases were a case of marked sclerosis in papillary carcinoma and an occult case of papillary carcinoma. The false positive case resulted from pseudo-ground glass nuclei due to marked dry artifact. 4. Comparison between the FNAC and the histologic diagnosis revealed that FNAC had a sensitivity of 93.5%, a specificity of 99.2%, a false negative rate of 6.6%, a false positive rate of 0.8%, and an overall diagnostic accuracy of 98.0%. Therefore, FNAC of thyroid gland is a very reliable diagnostic method with excellent accuracy rate.

  • PDF