• 제목/요약/키워드: 영어 문장처리

검색결과 131건 처리시간 0.036초

한국의 사회적 맥락에서의 ChatGPT의 독성 및 편향성 분석 (Analysis of Toxicity and Bias of ChatGPT within Korean Social Context)

  • 이승윤;박찬준;김경민;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.539-545
    • /
    • 2023
  • 초거대 언어모델은 심화된 언어적 이해를 요구하는 여러 분야에 높은 영향력을 미치고 있으나, 그에 수반되는 편향성과 윤리성에 대한 우려 또한 함께 증대되었다. 특히 편향된 언어모델은 인종, 성적 지향 등과 같은 다양한 속성을 가진 개인들에 대한 편견을 강화시킬 수 있다. 그러나 이러한 편향성에 관한 연구는 대부분 영어 문화권에 한정적이며 한국어에 관한 연구 또한 한국에서 발생하는 지역 갈등, 젠더 갈등 등의 사회적 문제를 반영하지 못한다. 이에 본 연구에서는 ChatGPT의 내재된 편향성을 도출하기 위해 의도적으로 다양한 페르소나를 부여하고 한국의 사회적 쟁점들을 기반으로 프롬프트 집합을 구성하여 생성된 문장의 독성을 분석하였다. 실험 결과, 특정 페르소나 또는 프롬프트에 관해서는 지속적으로 유해한 문장을 생성하는 경향성이 나타났다. 또한 각 페르소나-쟁점에 대해 사회가 갖는 편향된 시각이 모델에 그대로 반영되어, 각 조합에 따라 생성된 문장의 독성 분포에 유의미한 차이를 보이는 것을 확인했다.

  • PDF

영한 기계번역을 위한 영어 복합명사 자동 수집 (Automatic Collection of English Composition Nouns for English-Korean Machine Translation)

  • 조재호;김성동
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.407-410
    • /
    • 2011
  • 영한 기계번역에서 복합명사는 어휘분석, 구문분석을 복잡하게 하고 사전에 의미가 등록되어 있지 않을 경우에는 올바르게 번역하기 어렵다. 또한 복합명사는 계속하여 새로 나타나고 있어, 정확하고 자연스러운 번역을 위해서는 복합명사를 독립적으로 처리하는 모듈이 필요하다. 본 논문에서는 복합명사를 구성하지 못하는 불용어를 파악하고 빈도수를 이용하여 복합명사를 자동으로 수집하는 방법을 제안한다. 문서를 번역하기 전에 복합명사를 파악하면, 복합명사에 대한 정보를 활용하여 어휘분석과 구문분석의 복잡도를 줄이고 복합명사를 포함한 문장을 보다 자연스럽게 번역할 수 있어 영한 기계번역 시스템의 성능 개선에 기여할 것이다.

한국어 ELECTRA 모델을 이용한 자연어처리 다운스트림 태스크 (Korean ELECTRA for Natural Language Processing Downstream Tasks)

  • 황태선;김정욱;이새벽
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.257-260
    • /
    • 2020
  • 사전 학습을 기반으로 하는 BERT계열의 모델들이 다양한 언어 및 자연어 처리 태스크들에서 뛰어난 성능을 보이고 있지만, masked language model의 경우 입력 문장의 15%만 마스킹을 함으로써 학습 효율이 떨어지고 미세 조정 시 마스킹 토큰이 등장하지 않는 불일치 문제도 존재한다. 이러한 문제를 효과적으로 해결한 ELECTRA는 영어 벤치마크에서 기존의 언어모델들 보다 뛰어난 성능을 보여주었지만 한국어에 대한 관련 연구는 부족한 실정이다. 본 연구에서는 ELECTRA를 한국어 코퍼스에 대해 학습시키고, 다양한 한국어 자연어 이해 태스크들에 대해 실험을 진행한다. 실험을 통해 ELECTRA의 모델 크기별 성능 평가를 진행하였고, 여러 한국어 태스크들에 대해서 평가함으로써 ELECTRA 모델이 기존의 언어 모델들보다 좋은 성능을 보인다는 것을 입증하였다.

  • PDF

한국어 특성을 고려한 감성 분류 (Sentiment Classification considering Korean Features)

  • 김정호;김명규;차명훈;인주호;채수환
    • 감성과학
    • /
    • 제13권3호
    • /
    • pp.449-458
    • /
    • 2010
  • 다양한 분야에서 인터넷 상의 방대한 양의 문서 혹은 리뷰로부터 유용한 정보를 얻고자 하는 노력이 높아짐에 따라 문서 혹은 리뷰 상의 생각 및 의견에 대한 자동 분류 연구의 필요성이 대두되었다. 이러한 자동분류를 감성 분류라 하며, 감성 분류 연구는 크게 세 가지 단계를 가지는데, 첫 번째로 주관적인 생각이나 느낌을 표현하는 문장을 추출하기 위한 주관성 분류 연구, 두 번째로 문서 또는 문장을 긍정, 부정으로 나누는 극성 분류 연구, 그리고 세 번째로 문서 또는 문장이 어느 정도의 주관성 및 극성을 갖는지 그 강도를 구하는 강도 분류 연구이다. 최근 의견 분류에 대한 연구들을 살펴보면, 분류를 위해 자질(Feature)로서 단일어(Single word)가 아닌 2개 이상의 N-gram 단어, 어휘 구문 패턴 및 통사 구문 패턴 등을 사용하는 것을 확인할 수 있다. 특히, 패턴은 단일어나 N-gram 단어에 비해 유연하고, 언어학적으로 풍부한 정보를 표현할 수 있기 때문에 이를 이용한 많은 연구가 이루어져 왔다. 그럼에도 불구하고, 이러한 연구들은 주로 영어에 대한 연구들이었으며, 한국어에 패턴을 적용하여 주관성을 갖는 문장을 분류하거나, 극성을 분류하는 연구들은 아직 미비하다. 한편, 한국어는 용언의 활용이 발달되어 있어, 어미의 변화가 다양하며, 그 변화에 따라 의미가 미묘하게 변화한다. 그러나 기존 한국어에 대한 의견 분류 연구들은 단어의 핵심 의미만을 파악하기 위해 어미부분을 제거하고 어간만을 취해서 처리하여 어미에 대한 의미변화를 고려하지 못하였다. 그래서 본 연구는 영어에 적용된 패턴을 이용한 기존 방법들을 정리하고, 그 방법들 중에서 극성을 지닌 문장성분 패턴을 한국어에 적용하였다. 그리고 어미의 변화에 대한 패턴을 추출하여 이 변화가 의견 분류의 성능에 미치는 영향을 분석하였다.

  • PDF

문법성과 어휘 응집성 기반의 영어 작문 평가 시스템 (An English Essay Scoring System Based on Grammaticality and Lexical Cohesion)

  • 김동성;김상철;채희락
    • 인지과학
    • /
    • 제19권3호
    • /
    • pp.223-255
    • /
    • 2008
  • 본 논문에서 우리는 문장의 문법성과 텍스트의 어휘 응집성 측정을 위주로 하는 영어 작문 자동평가시스템을 소개하려고 한다. 문법 검사를 위해서는 링크 파서를 사용하고 어휘 연쇄를 측정하기 위해서는 로제 시소러스를 사용한다. 자동 평가 시스템의 채점 신뢰도를 측정하기 위해서 자동 채점과 수동 채점의 결과를 통계적으로 비교한다. 카파 통계와 다국면 Rasch 모형에 따른 분석 결과 자동 채점은 수동 채점과 유사성이 크며 수동 채점과 비교해서 신뢰성에 특별한 문제가 없다는 결론을 내리게 된다. 본 연구의 가장 큰 의의는 다양한 종류의 기술과 도구를 바탕으로 신뢰할 만한 수준의 영작문 자동 평가 시스템을 개발했다는 것이다. 평가 대상이 문장 단위를 넘어 선 텍스트 단위이며, 단어나 문법 등의 형식적 측면만 검사하는 것이 아니라 내용적 측면도 평가한다.

  • PDF

한국어 발음열 자동 생성을 위한 형태소 태그 정보 기반의 텍스트 전처리기 (Text Preprocessor for Generating Korean Automatic Pronunciation Variants Using Morpheme-trg Information)

  • 이경님;정민화
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
    • /
    • pp.199-201
    • /
    • 2001
  • 일반적으로 발음열 자동 생성기는 음성 인식 및 음성 합성에 사용되며, 그 주된 역할은 입력된 한글 철자에 대해 발음 나는 데로 표기된 음소열로 출력하는 것이다. 그러나 실제 입력되는 문장에는 특수 기호 및 알파벳. 아라비아 숫자, 영어 단어, 알파벳과 숫자가 혼용된 약어, 기호 단위 명사 등이 포함되어 있다. 게다가 아라비아 숫자의 경우 단위 명사의 종류에 따라서 뿐만 아니라, 문맥에 따라 숫자를 읽는 방식이 달라지게 된다. 이러한 모든 현상들을 발음열 생성기 내부에서 처리하게 되면 선행작업이 상대적으로 크게 되어 과부하 문제 가 발생된다. 또한 어절 내의 문맥 정보만으로 정확한 변환 결과를 얻기 힘들기 때문에 형태소 분석 수행 결과 및 예외처리를 위 한 루틴을 포함하여 한글 자소 단위의 입력형식으로 변환하는 전처리 시스템을 구성하였다.

  • PDF

개념그래프에 기반한 한국어 시제의 기술 (A Description of Korean Tenses Based on Conceptual Graph)

  • 이병희;최윤수;서정현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (상)
    • /
    • pp.573-576
    • /
    • 2002
  • 본 논문에서는 언어학의 관점에서 시제와 상의 특성을 알아 보고, Reichenbach 의 시제와 상을 살펴 보며, 상의 기술에 있어서 언어학자의 여러 주장과 문제점을 고찰하며, 한국어의 시제를 영어의 12 시제와 비교한다. 그리고 한국어의 여러 시제 의미를 분석하고, 시제의 구조를 개념그래프 이론에 의거하여 기술한다. 실험에서는 시제가 포함된 문장을 입력 받아 개념그래프로 변환하는 프로그램을 구현하고 그 결과를 기술한다.

  • PDF

딥러닝 기법을 이용한 가짜뉴스 탐지 (Fake news detection using deep learning)

  • 이동호;이정훈;김유리;김형준;박승면;양유준;신웅비
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.384-387
    • /
    • 2018
  • SNS가 급속도로 확산되며 거짓 정보를 언론으로 위장한 형태인 가짜뉴스는 큰 사회적 문제가 되었다. 본 논문에서는 이를 해결하기 위해 한글 가짜뉴스 탐지를 위한 딥러닝 모델을 제시한다. 기존 연구들은 영어에 적합한 모델들을 제시하고 있으나, 한글은 같은 의미라도 더 짧은 문장으로 표현 가능해 딥러닝을 하기 위한 특징수가 부족하여 깊은 신경망을 운용하기 어렵다는 점과, 형태소 중의성으로 인한 의미 분석의 어려움으로 인해 기존 오델들을 적용하기에는 한계가 있다. 이를 해결하기 위해 얕은 CNN 모델과 음절 단위로 학습된 단어 임베딩 모델인 'Fasttext'를 활용하여 시스템을 구현하고, 이를 학습시켜 검증하였다.

웹기반 TOEIC 문법 문제 자동 생성 시스템 (A Web-Based System for Automatic Generation of TOEIC Grammar Test)

  • 정형구;김상철;채희락;이찬종
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 추계학술발표대회
    • /
    • pp.602-604
    • /
    • 2007
  • 본 논문에서는 웹기반의 TOEIC 문법 문제 자동 생성 시스템을 제안한다. 본 시스템은 웹에서 문서를 가져온 후, 문서의 각 문장이 데이터베이스에 저장된 문제 패턴에 일치하는 지를 검사하여 문제를 생성한다. 본 시스템을 통해서 생성되는 문법 문제를 영어 전문가를 통해서 검중한 결과, 대부분의 문제가 TOEIC 실전 문제로 사용하기에 충분한 것이었다. 우리의 조사에 의하면, TOEIC 문법 문제의 자동 생성에 관한 기존 연구는 거의 발표되고 있지 않다.

Praat소프트웨어 프로그램을 이용한 영어모음 길이에 관한 실험적 연구 (An Experimental Study on the English Vowel Lengths Using the Praat Software Program)

  • 박희석
    • 디지털콘텐츠학회 논문지
    • /
    • 제13권3호
    • /
    • pp.279-290
    • /
    • 2012
  • 본 연구는 Praat 소프트웨어 프로그램을 이용하여 영어이중모음 /eɪ/ 와 /aɪ/, 그리고 영어전설저모음 /æ/의 발음 길이에 관해 한국인 피 실험자와 원어민 피 실험자를 대상으로 그 차이를 비교분석해보고자 한 연구이다. 이 연구를 위해서 영어문장이 발화되고 녹음되었으며, 피 실험자는 한국인과 원어민 각각 6명씩 참가하였으며, 모두 여성이었고 나이는 23세에서 35세에 위치하고 있다. 음향특질중 하나인 길이측정을 위해서 Praat소프트웨어 프로그램을 활용하였으며, 그 결과를 통계 처리하였다. 실험결과 /eɪ/ 와 /aɪ/에서는 한국인들이 더 길게 발음하였지만 그 차이가 통계상 유의미한 수준은 아니었다. 그러나 /æ/의 발음에서는 한국인들의 발음 길이가 원어민에 비해 훨씬 짧았으며, 그 차이도 통계상 유의미한 수준으로 나타났다.