• 한국컴퓨터정보학회논문지
• /
• 제26권8호
• /
• pp.47-54
• /
• 2021

핵심구 추출은 문서의 내용을 대표하는 주제 용어를 자동 추출하는 작업이다. 비지도 방식 핵심구 추출에서는 문서 텍스트로부터 핵심구 후보 용어가 되는 단어나 구를 추출하고 후보 용어에 부여된 중요도에 기반하여 최종 핵심구들이 선택된다. 본 논문에서는 비지도 방식 핵심구 후보 용어 중요도 계산에서 단어 유형 후보 용어와 구 유형 후보 용어의 중요도를 조정하는 방법을 제안한다. 이를 위해 핵심구 추출 대상 문서 텍스트로부터 후보 용어 집합의 타입-토큰 비율과 고빈도 대표 용어의 정보량을 단어 유형과 구 유형으로 구분하여 수집한 후 중요도 조정에 활용한다. 실험에서는 영어로 작성된 full-text 논문을 대상으로 구축된 4개 서로 다른 핵심구 추출 평가집합들을 사용하여 성능 평가를 수행하였고, 제안된 중요도 조정 방법은 3개 평가집합들에서 베이스 라인 및 비교 방법들보다 높은 성능을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.22-25
• /
• 2022

본 연구는 대화형 인공지능이 비윤리적 표현을 학습하거나 생성하는 것을 방지하기 위한 기초적 연구로, 메신저 대화에 나타나는 단어 단위, 구 단위 이상의 비윤리적 표현을 수집하고 그 특성을 분석하였다. 비윤리적 표현은 '욕설, 혐오 및 차별 표현, 공격적 표현, 성적 표현'이 해당된다. 메신저 대화에 나타난 비윤리적 표현은 욕설이 가장 많은 비중을 차지했는데, 욕설에서는 비표준형뿐만 아니라 '존-', '미치다' 등과 같이 맥락을 고려하여 판단해야 하는 경우가 있다. 가장 높은 빈도로 나타난 욕설 '존나류, 씨발류, 새끼류'의 타입-토큰 비율(TTR)을 확인한 결과 '새끼류'의 TTR이 가장 높게 나타났다. 다음으로 메신저 대화에서는 공격적 표현이나 성적인 표현에 비해 혐오 및 차별 표현의 비중이 높았는데, '국적/인종'과 '젠더' 관련된 혐오 및 차별 표현이 특히 높게 나타났다. 혐오 및 차별 표현은 단어 단위보다는 구 단위 이상의 표현의 비중이 높았고 문장 단위로 떨어지기 보다는 대화 전체에 걸쳐 나타나는 것을 확인하였다. 따라서 혐오 및 차별 표현을 탐지하기 위해서는 단어 단위보다는 구 단위 이상 표현의 탐지에 대한 필요성이 있음을 학인하였다.

• 한국콘텐츠학회논문지
• /
• 제17권6호
• /
• pp.408-414
• /
• 2017

본 연구는 고려말에 저자미상의 실용적인 목적으로 만들어진 외국어 교재 "노걸대"에 대하여 어떻게 고려말부터 조선 500년 동안 지속적으로 외국어 교재로 사용될 수 있었는지 외국어 교재로서 그 지속성의 가치는 어디에 있는지를 알아보고자 하는데 있다. 이를 위해서 "노걸대"에 있는 대화문 구성된 의사소통 상황별로 정광의 "노걸대" 역주본에 나와 있는 106편의 대화를 만남(12편), 숙박(17편), 대도행(21편), 대도 생활(34편), 귀국(11편)으로 구분하여 평균문장길이, 어휘길이, 타입-토큰 비율, 본동사 앞 단어 수, 명사구 평균 수식어수 항목 측정치를 활용하여 외국어 교재로서의 계열성을 파악하고자 한다. "노걸대"는 제시된각 의사소통기능에서 일부 명사구 내의 계열성이 무시된 경우를 제외하면 전체적으로 복잡도의 계열성을 확인할 수 있었다. 문장 길이, 문장의 복잡도 계열성은 전체적으로 확인되었다. 어휘의 다양성은 계열성이 제대로 구성되었다고 볼 수는 없으나 어휘의 반복율이 높은 것은 기본적인 어휘의 사용이 많이 이루어졌다는 것을 의미한다.