• 제목/요약/키워드: 편향법

검색결과 125건 처리시간 0.022초

Sentence BERT 임베딩을 이용한 과편향 뉴스 판별 (Hypernews Detection using Sentence BERT Embedding)

  • 임정우;황태선;오동석;양기수;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.388-391
    • /
    • 2019
  • 과편향 뉴스 판별(hyperpartisan news detection)은 뉴스 기사가 특정 인물 또는 정당에 편향되었는지 판단하는 task이다. 이를 위해 feature-based ELMo + CNN 모델이 제안되었으나, 이는 문서 임베딩이 아닌 단어 임베딩의 평균을 사용한다는 한계가 존재한다. 따라서 본 논문에서는 feature-based 접근법을 따르며 Sentence-BERT(SentBERT)의 문서 임베딩을 이용한 feature-based SentBERT 기반의 과편향 뉴스 판별 모델을 제안한다. 제안 모델의 효과를 입증하기 위해 ELMO, BERT, SBERT와 CNN, BiLSTM을 적용한 비교 실험을 진행하였고, 기존 state-of-the-art 모델보다 f1-score 기준 1.3%p 높은 성능을 보였다.

  • PDF

Self-adaptive hp 유한요소법을 이용한 단.장노말 전기검층에서 손데의 편향 효과 수치모델링 (Simulation of eccentricity effects on short- and long-normal logging measurements using a Fourier-hp-finite-element method)

  • 남명진;;;황세호;박권규;이창현
    • 지구물리와물리탐사
    • /
    • 제13권1호
    • /
    • pp.118-127
    • /
    • 2010
  • 전기검층은 지층의 전기비저항을 측정하는 물리검층법으로 전극배열에 따른 전기비저항 변화에서 지층내의 수포화도를 평가하는데 이용된다. 전기검층은 시추공 효과 및 인접한 지층의 두께와 전기비저항 들에 의해 많은 영향을 받는다. 이러한 시추공 효과 및 인접 지층의 영향은 시추공 내에서 전기검층 손데가 중심으로부터 편향되었을 때 더 커진다. 노말검층 손데가 시추공 내에서 편향되었을 때, 단노말과 장노말 검층자료의 정확한 해석의 기초를 마련하기 위해 검층손데의 편향에 의한 전기검층 자료의 왜곡을 수치모델링을 이용하여 분석하였다. 이를 위해 노말검층 손데의 편향으로 인한 3차원적 기하학적 구조를 단순화 시킬 수 있는 새로운 좌표 체계를 제안하고, 이 좌표계에서 Fourier 급수 전개(Fourier series expansion)를 수행하였다. 여러 개의 서로 연동된 이차원 문제들을 풀기 위하여 이차원 hp goal-oriented high-order self-adaptive hp (h는 셀의 크기, p는 근사 차수를 의미) 유한요소법에 기초한 알고리즘을 적용하였다. 이 알고리즘은 모델링 영역 내에서 자동적으로 각 격자 셀에서의 h와 p를 바꿔가면서 최적의 격자를 생생하여 원하는 정밀도의 해를 도출할 수 있다. 수치모델링 결과, 이 연구에서 제안한 알고리즘으로 정확하고 신뢰성 있는 해를 얻을 수 있었다. 검층손데의 편향 영향은 시추공경이나 시추공 이수의 전기비저항이 큰 경우, 그리고 지층의 전기비저항이 낮은 경우에 큰 것을 알 수 있었다.

전수층 무응답 편향보정 추정법에 관한 연구 (A study on non-response bias adjusted estimation for take-all stratum)

  • 정희영;신기일
    • 응용통계연구
    • /
    • 제33권4호
    • /
    • pp.409-420
    • /
    • 2020
  • 사업체조사에서는 흔히 수정절사법이 사용되며 이 방법을 사용함으로써 표본의 수를 줄이면서도 추정의 정확성을 향상 시킬 수 있다. 그러나 전수층의 무응답률은 크게 높아지고 있으며 예비표본을 이용한 표본대체가 불가능하기 때문에 전수층에서 발생한 무응답은 추정의 정확성을 크게 떨어뜨리고 있다. 특히 무응답이 관심변수에 영향을 받는 경우에는 편향이 발생할 가능성이 매우 높기 때문에 이를 적절히 처리하는 것은 매우 중요하다. 본 연구에서는 전수층에서 발생한 무응답을 적절히 처리하는 방법의 하나로 편향보정 추정법을 제안하였다. 특히 Chung과 Shin(2020)에서 제안한 편향보정 추정량을 전수층 편향보정에 적용하였으며 전수층이라는 특수한 경우에 맞는 새로운 추정 방법을 제안하였다. 또한 모의실험을 통해 제안된 방법의 우수성을 살펴보았으며 실제 자료 분석을 실시하여 본 논문에서 제안한 방법의 우수성을 확인하였다.

LRFD 설계를 위한 쇄석다짐말뚝공법의 저항편향계수 산정 (Evaluation of the Resistance Bias Factors to Develop LRFD for Gravel Compaction Piles)

  • 한용배;박준모;장연수
    • 한국지반공학회논문집
    • /
    • 제28권2호
    • /
    • pp.43-55
    • /
    • 2012
  • 본 연구에서는 연약지반개량공법의 하나인 쇄석다짐말뚝공법의 저항계수를 산정하기 위한 저항편향계수를 산정하였다. 쇄석다짐말뚝공법의 저항편향계수를 산정하기 위하여 국내외 현장에서 수행된 41개 말뚝의 재하시험 결과로부터 산출된 2.54cm 침하량기준의 극한지지력과 말뚝직경의 2~3배의 깊이에서 팽창파괴가 지배적인 파괴유형이므로 팽창파괴에 대한 7개의 극한지지력공식을 사용하여 저향편향계수를 분석한 결과 확률밀도함수는 쇄석다짐말뚝의 7개 팽창파괴에 대한 극한지지력식 모두 로그정규분포 형태를 보였고, 저항편향계수/변동계수는 Greenwood(1970) 제안식에서는 0.91/0.38, Hughes & Withers(1974) 제안식에서는 1.19/0.39로 팽창파괴에 대한 극한지지력식 중에서 저항계수설계법의 저항계수 산정 시 적합한 제안식으로 분석되었다.

층화 다단계 샘플링에서 설계 기반 분산추정 (Design-based Variance Estimation under Stratified Multi-stage Sampling)

  • 김규성
    • 한국조사연구학회지:조사연구
    • /
    • 제2권1호
    • /
    • pp.59-71
    • /
    • 2001
  • 층화 다단계 샘플링에서 모총계 추정을 위하여 동질선형추정량을 고려하고. 이 추정량의 설계기반 분산추정법을 고찰하였다. 한 방법은 분산을 일단계 분산과 이단계 분산으로 구분하여 각 층에서 각각을 비편향 추정하는 방법이고, 또 다른 방법은 이단계 표본에서 선정한 부하표본을 이용하여 일단계 분산만을 추정하여 전체분산을 비편향 추정하는 방법이다. 전자는 이단계 분산이 추정 가능할 때 이용하기 좋으며 후자는 이단계 분산을 추정할 수 없을 때 용이하게 쓸 수 있다. 각각의 추정법에 대하여 동질선형추정량에 대한 비음 비편향 분산 추정량의 형태를 제안하였다. 향 후 실제 조사에서 본 논문에서 제안한 분산추정법이 효과적으로 사용될 수 있기를 기대한다.

  • PDF

층화 다단계 샘플링에서 설계 기반 분산추정 (Design-based Variance Estimation under stratified Multi-stage Sampling)

  • 김규성
    • 한국조사연구학회:학술대회논문집
    • /
    • 한국조사연구학회 2001년도 춘계학술대회
    • /
    • pp.59-71
    • /
    • 2001
  • 층화 다단계 샘플링에서 모총계 추정을 위하여 동질선형추정량을 고려하고, 이 추정량의 설계기반분산추정법을 고찰하였다. 한 방법은 분산을 일단계 분산과 이단계 분산으로 구분하여 각 층에서 각각을 비편향 추정하는 방법이고, 또 다른 방법은 이단계 표본에서 선정한 부차표본을 이용하여 일단계 분산만을 추정하여 전체분산을 비편향 추정하는 방법이다. 전자는 이단계 분산이 추정 가능할 때 이용하기 좋으며 후자는 이단계 분산을 추정할 수 없을 때 용이하게 쓸 수 있다. 각각의 추정법에 대하여 동질선형추정량에 대한 비음 비편향 분산 추정량의 형태를 제안하였다. 향후 실제 조사에서 본 논문에서 제안한 분산추정법이 효과적으로 사용될 수 있기를 기대한다.

표본 추출법에서 R-지수의 민감도에 관한 연구 (A study on sensitivity of representativeness indicator in survey sampling)

  • 이유진;신기일
    • 응용통계연구
    • /
    • 제30권1호
    • /
    • pp.69-82
    • /
    • 2017
  • R-지수(representativeness indicator)는 무응답이 발생했을 때 표본의 대표성을 나타내주는 지표이다. 표본의 대표성은 모수 추정의 정확성(accuracy)과 관계가 있으며 정확성은 편향(bias)와 관계가 있다. 따라서 표본의 대표성을 나타내는 R-지수가 높으면 대표성이 높아 편향이 없고 정확성이 높은 결과를 얻을 수 있다. R-지수는 일반화선형모형의 로짓 또는 프로빗 모형을 적합한 후 얻어진 경향 점수(propensity score)에 의해 계산된다. 본 논문에서는 R-지수와 이질적인 층별 응답률과의 관련성을 연구하였으며 편향, 제곱근 RMSE 등과 같은 비교통계량이 무응답에 얼마나 민감한지 등을 모의실험을 통하여 살펴보았다. 또한 변형된 2010년 경제총조사 자료를 이용하여 실제 자료분석도 실시하였다.

쇄석다짐말뚝의 극한지지력 데이터베이스 구축 및 통계학적 분석 (Constructing Database and Probabilistic Analysis for Ultimate Bearing Capacity of Aggregate Pier)

  • 박준모;김범주;장연수
    • 한국지반공학회논문집
    • /
    • 제30권8호
    • /
    • pp.25-37
    • /
    • 2014
  • 국내 외 하중저항계수설계법의 저항계수 보정 시 수집된 데이터베이스의 신뢰성을 향상시키기 위하여 저항편향계수 산정 단계에서 저항편향치의 ${\pm}2{\sigma}$ 범위의 데이터만을 선택하거나 가정된 확률분포 검정을 만족하도록 꼬리(tail)부분의 데이터를 제거하는 방법을 적용하고 있다. 그러나 이들 방법에서는 데이터베이스 내에 우연히 포함된 저품질의 데이터를 확인할 수 없는 단점이 발견되었다. 본 연구에서는 정재하시험의 품질, 원지반의 공학적 특성, 쇄석다짐말뚝의 제원 등의 품질기준을 이용하여 데이터베이스 구축 단계에서 수행할 수 있는 품질평가법을 제안하였으며, 국내 외 문헌 및 정재하시험 보고서로부터 65개소의 정재하시험 데이터를 수집하여 데이터베이스의 구축 및 품질평가를 수행하였다. 데이터베이스의 품질 평가 상태에 따른 저항편향계수와 변동계수, 저항계수를 비교한 결과, 기존의 데이터베이스 처리과정과 품질평가법을 병행할 경우에 저항편향계수의 불확실성이 감소되며, 신뢰도 높은 LRFD 저항계수 보정에 효과적인 것으로 판단된다.

표본의 대표성과 추정의 효율성 (Representative of Sample and Efficiency of Estimation)

  • 김규성
    • 한국조사연구학회지:조사연구
    • /
    • 제6권1호
    • /
    • pp.39-62
    • /
    • 2005
  • 본 논문에서는 표본조사에서 흔히 말하여지는 ‘표본의 대표성’과 추정의 ‘일치성’, ‘비편향성’, ‘효율성’의 개념을 알아보았다. 표본의 대표성은 표집에 연관된 개념으로 조사모집단의 포함률 및 기초조사의 응답률, 표본섭외 과정의 승락률과 밀접한 관련이 있다. 그리고 추정의 일치성, 비편향성 및 효율성은 표집설계 및 추정량에 동시에 연관된 개념이다. 일치성 및 비편향성은 표본의 대표성을 전제로 한 개념인 반면, 효율성은 표본의 대표성을 전제로 하지 않는다. 표본의 대표성은 포함률, 응답률, 승낙률 등을 제고함으로써 높일 수 있다. 일치성은 관심변수의 일치성과 보조변수의 일치성으로 구분할 수 있으며, 잘 알려진 래킹비 가중법은 모집단 크기를 일치시키는 방법으로 보조변수의 일치성을 높이고자 하는 방법이다. 효율성은 표본의 대표성과는 직접적인 관련이 없으며, 층화표집에서 비례배정과 네이만 배정같은 표본배정, 그리고 사후층화 등은 모두 표본의 대표성이 만족된다는 전제 아래 추정의 효율성을 높이고자 하는 방법들이다.

  • PDF