• 제목/요약/키워드: 데이터 편향성

검색결과 42건 처리시간 0.024초

형태소 임베딩과 SVM을 이용한 뉴스 기사 정치적 편향성의 자동 분류 (Automatic Bias Classification of Political News Articles by using Morpheme Embedding and SVM)

  • 조단비;이현영;박지훈;강승식
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.451-454
    • /
    • 2020
  • 딥러닝 기술을 이용한 정치적 성향의 편향성 분류를 위하여 신문 뉴스 기사를 수집하고, 머신러닝을 위한 학습 데이터를 구축하였다. 학습 데이터의 구축은 보수 성향과 진보 성향을 대표하는 6개 언론사의 뉴스에서 정치적 성향을 이진 분류 데이터로 구축하였다. 뉴스 기사의 수집 방법으로 최근 이슈들 중에서 정치적 성향과 밀접하게 관련이 있는 키워드 15개를 선정하고 이에 관한 뉴스 기사들을 수집하였다. 그 결과로 11,584개의 학습 및 실험용 데이터를 구축하였으며, 정치적 편향성 분류를 위한 머신러닝 모델을 설계하였다. 머신러닝 기법으로 학습 및 실험을 위해 형태소 단위의 임베딩을 이용하여 문장 및 문서 임베딩으로 확장하였으며, SVM(Support Vector Machine)을 이용하여 정치적 편향성 분류 실험을 수행한 결과로 75%의 정확도를 달성하였다.

품질이 관리된 스트레스 측정용 테이터셋 구축을 위한 제언 (Recommendations for the Construction of a Quslity-Controlled Stress Measurement Dataset)

  • 김태훈;나인섭
    • 스마트미디어저널
    • /
    • 제13권2호
    • /
    • pp.44-51
    • /
    • 2024
  • 스트레스 측정용 데이터셋의 구축은 건강, 의료분야, 심리향동, 교육분야 등 현대의 다양한 응용 분야에서 핵심적인 역할을 수행하교 있다. 특히, 스트레스 측정용 인공지능 모델의 효율적인 훈련을 위해서는 다양한 편향성을 제거하고 품질 관리된 데이터셋을 구축하는 것이 중요하다. 본 논문에서는 다양한 편향성 제거를 통한 품질의 관리된 스트레스 측정용 데이터셋 구축에 관하여 제안하였다. 이를 위해 스트레스 정의 및 측정도구 소개, 스트레스 인공지능 데이터 셋 구축과정, 품질향상을 위한 편향성 극복 전략 그리고 스트레스 데이터 수집시 고려사항을 제시하였다. 특히, 데이터셋 품질을 관리하기 위해 데이터셋 구축시 고려사항과, 발생할 수 있는 선택편향, 측정편향, 인과관계편향, 확증편향, 인공지능편향과 같은 다양한 편향서에 대해 검토하였다. 본 논문을 통해 스트레스 데이터 수집시 고려사항과 스트레스 데이터셋의 구축에서 발생할 수 있는 다양한 편향성을 체계적으로 이해하고, 이를 극복하여 품질이 보장된 데이터셋을 구축하는데 기여할 것으로 기대된다.

머신러닝 편향성 관점에서 비식별화의 영향분석에 대한 연구 (A Study on Impacts of De-identification on Machine Learning's Biased Knowledge)

  • 하수현;김진송;손예은;원가은;최유진;박소연;김형종;강은성
    • 한국시뮬레이션학회논문지
    • /
    • 제33권2호
    • /
    • pp.27-35
    • /
    • 2024
  • 본고에서는 인공지능 모델 학습에 사용하는 데이터셋에 내재한 편향성이 인공지능 예측 결과에 미치는 영향을 분석함으로써, 위의 경우가 사회적 격차를 고착화시키는 문제를 조명하고자 하였다. 따라서 데이터 편향성이 인공지능 모델에 끼치는 영향을 분석하기 위해, 성별 임금 격차에 관한 편향이 포함된 원본 데이터셋을 제작하였으며 해당 데이터셋을 비식별 처리한 데이터셋을 만들었다. 또한 의사결정트리 알고리즘을 통해 원본 데이터셋과 비식별화 된 데이터셋을 학습한 각각의 인공지능 모델 간의 산출물을 비교함으로써, 데이터 비식별화가 인공지능 모델이 산출한 결과의 편향에 어떠한 영향을 미치는지 분석하였다. 이를 통해 데이터 비식별화가 개인정보 보호뿐만 아니라, 데이터의 편향에도 중요한 역할을 할 수 있음을 도출하고자 하였다.

부분 단어 토큰화 기법을 이용한 뉴스 기사 정치적 편향성 자동 분류 및 어휘 분석 (Automatic Classification and Vocabulary Analysis of Political Bias in News Articles by Using Subword Tokenization)

  • 조단비;이현영;정원섭;강승식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권1호
    • /
    • pp.1-8
    • /
    • 2021
  • 뉴스 기사의 정치 분야는 보수, 진보와 같이 양극화된 편향적 특성이 존재하며 이를 정치적 편향성이라고 한다. 뉴스 기사로부터 편향성 문제를 분류하기 위해 키워드 기반의 학습 데이터를 구축하였다. 대부분의 임베딩 연구에서는 미등록어로 인한 문제를 완화시키기 위해 형태소 단위로 문장을 구성한다. 본 논문에서는 문장을 언어 모델에 의해 세부적으로 분할하는 부분 단어로 문장을 구성할 경우 미등록어 수가 감소할 것이라 예상하였다. 부분 단어 토큰화 기법을 이용한 문서 임베딩 모델을 제안하며 이를 SVM과 전방향 뉴럴 네트워크 구조에 적용하여 정치적 편향성 분류 실험을 진행하였다. 형태소 토큰화 기법을 이용한 문서 임베딩 모델과 비교 실험한 결과, 부분 단어 토큰화 기법을 이용한 문서 임베딩 모델이 78.22%로 가장 높은 정확도를 보였으며 부분 단어 토큰화를 통해 미등록어 수가 감소되는 것을 확인하였다. 분류 실험에서 가장 성능이 좋은 임베딩 모델을 이용하여 정치적 인물을 기반한 어휘를 추출하였으며 각 성향의 정치적 인물 벡터와의 평균 유사도를 통해 어휘의 편향성을 검증하였다.

빅데이터의 위험 요소에 대한 고찰 (A Study on Risks of Big Data)

  • 천윤수;박재경
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.631-633
    • /
    • 2023
  • 본 논문에서는 빅데이터의 활용이 확산되는 현대 사회에서 빅데이터의 수집, 관리, 이용 등에서 나타날 수 있는 문제를 확인하고 그 문제에 대한 기존의 대응 방법과 보완점을 시사한다. 빅데이터의 위험성은 개인 정보유출, 디지털 디바이드, 편향성과 신뢰성, 의존성과 통제 가능성 등이 있다. 해당 문제는 빅데이터의 보편화가 가중될수록 큰 규모의 사회적 문제로 대두될 가능성이 높다. 이를 보완하기 위한 대응 방법을 크게 기술적 대응, 법적 대응, 사회적 대응으로 나누어 알아보고 각 부분의 취약점을 분석하여 개선의 방향을 제시한다.

  • PDF

도로 위험 탐지를 위한 데이터 편향성 최적화 기반 연관 추론 모델 (Data Bias Optimization based Association Reasoning Model for Road Risk Detection)

  • 류성은;김현진;구병국;권혜정;박찬홍;정경용
    • 한국융합학회논문지
    • /
    • 제11권9호
    • /
    • pp.1-6
    • /
    • 2020
  • 본 연구에서는 도로 위험 탐지를 위한 데이터 편향성 최적화 기반 연관 추론 모델을 제안한다. 이는 사용자의 개인적 특성과 주변 환경 데이터를 수집하고 교통사고 방지 서비스를 제공하기 위한 연관분석 기반의 마이닝 모델이다. 이는 다양한 상황 변수들로 구성된 트랜잭션 데이터를 생성한다. 생성된 정보를 바탕으로 연관 패턴 분석을 통해 각 트랜잭션 내 변수들의 유의미한 연관관계를 도출한다. 분류된 범주형 데이터의 편향성을 고려하여 최적화된 지지도 및 신뢰도 값으로 가지치기를 진행한다. 추출된 상위 연관규칙을 바탕으로 사용자에게 개인 특성과 주행 도로 상황에 대한 위험 탐지모델을 제공한다. 이는 데이터 편향성 문제를 극복하고 데이터간 연관성을 고려하여 잠재적인 도로 사고를 예방하는 교통 서비스가 가능하다. 성능 평가는 제안하는 방법이 정확도에서 0.778, Kappa 계수에서 0.743로 우수하게 평가된다.

반응편향성을 내포한 리커트형 척도 자료의 분석방법 - 통계 상담 사례 연구 -

  • 김상룡;조길호;이수형
    • Journal of the Korean Data and Information Science Society
    • /
    • 제5권2호
    • /
    • pp.107-116
    • /
    • 1994
  • 이 논문은 통계상담사례연구의 일종으로 설문지를 이용한 통계자료분석에 도움이 되도록 소개하고자 한다. 여러항목을 종합하여 한 척도를 구성하고 각 항목마다 중요도나 선호도 등에 따라 다품등 리커트형 척도를 묻는 자료는 개인의 성향이나 지리적 문화적 여건에 따라 그 응답경향이 달라 가질지도 모르는 반응편향성(Response Set Bias)을 감소시켜 보다 좋은 통계자료분석을 할 수 있는 통계적 방법을 소개하며, 이 방법을 적용시킨 통계상담을 예시하고자 한다.

  • PDF

한국어 언어 모델의 정치 편향성 검증 및 정량적 지표 제안 (Measurement of Political Polarization in Korean Language Model by Quantitative Indicator)

  • 김정욱;김경민;;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.16-21
    • /
    • 2022
  • 사전학습 말뭉치는 위키백과 문서 뿐만 아니라 인터넷 커뮤니티의 텍스트 데이터를 포함한다. 이는 언어적 관념 및 사회적 편향된 정보를 포함하므로 사전학습된 언어 모델과 파인튜닝한 언어 모델은 편향성을 내포한다. 이에 따라 언어 모델의 중립성을 평가할 수 있는 지표의 필요성이 대두되었으나, 아직까지 언어 인공지능 모델의 정치적 중립성에 대해 정량적으로 평가할 수 있는 척도는 존재하지 않는다. 본 연구에서는 언어 모델의 정치적 편향도를 정량적으로 평가할 수 있는 지표를 제시하고 한국어 언어 모델에 대해 평가를 수행한다. 실험 결과, 위키피디아로 학습된 언어 모델이 가장 정치 중립적인 경향성을 나타내었고, 뉴스 댓글과 소셜 리뷰 데이터로 학습된 언어 모델의 경우 정치 보수적, 그리고 뉴스 기사를 기반으로 학습된 언어 모델에서 정치 진보적인 경향성을 나타냈다. 또한, 본 논문에서 제안하는 평가 방법의 안정성 검증은 각 언어 모델의 정치적 편향 평가 결과가 일관됨을 입증한다.

  • PDF

적응적 상관도를 이용한 주성분 분석에 관한 연구 (A Study on PCA using Adaptive Correlation)

  • 고명숙
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.13-14
    • /
    • 2020
  • 고차원의 데이터를 처리하기 위해서는 데이터의 성질을 유지하면서 특징을 잘 반영할 수 있는 특징 추출 방법이 필요하며 주성분분석 방법은 대표적인 특징 추출 방법이다. 본 연구에서는 데이터가 고차원인 경우 데이터 특징 추출을 위한 주성분 분석의 주성분 변수 선정시 적응적 상관도(Correlation)를 기반으로 한 주성분 분석 방법을 제안한다. 제안하는 방법은 입력 데이터간의 상관관계를 기반으로 상관도를 적응적으로 반영하여 데이터의 주성분을 분석함으로써 실제 데이터의 특징을 나타내는 세분화 변수 선정 시 데이터 편향성의 영향을 줄이기 위한 방법이다.

시간 지역성과 인기 편향성을 가진 데이터 참조의 모델링 (Modeling of Data References with Temporal Locality and Popularity Bias)

  • 반효경
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권6호
    • /
    • pp.119-124
    • /
    • 2023
  • 본 논문은 시간 지역성과 인기 편향성을 가진 데이터 참조를 나타낼 수 있는 새로운 참조 모델을 제안한다. 기존의 참조 모델 중 대표적인 LRU 스택 모델은 시간 지역성, 즉 최근에 참조된 데이터가 다시 참조될 가능성이 높은 성질을 나타낼 수 있으나, 데이터의 서로 다른 인기도를 고려할 수 없는 약점이 있다. 이와 반대로 데이터의 서로 다른 인기도를 반영할 수 있는 모델로 독립 참조 모델이 있으나, 시간에 따른 데이터 참조 성향의 변화를 모델링할 수 없는 한계가 있다. 본 논문이 제시하는 참조 모델은 이 두 모델의 한계를 극복하여 서로 다른 데이터의 인기도와 시간에 따른 참조 성향의 변화를 모두 반영할 수 있는 특징이 있다. 또한, 본 논문에서는 캐쉬 교체 알고리즘과 참조 모델의 연관성에 대해 살펴보고 제안한 모델의 최적성에 대해 보인다.