• 한국비블리아학회지
• /
• 제11권2호
• /
• pp.49-64
• /
• 2000

디지털기술의 급속한 발전으로 인해 현재 대부분의 문서가 디지털화된 형태를 이루고 있으며 이러한 정보는 지속적으로 증가하고 있는 상황이다. 웹 및 문서저작도구의 발전과 함께, 정보의 생성과 공유가 쉬워지면서 중복적으로 존재하는 정보의 비율이 갈수록 높아지고 있으며 일부를 표절하여 자신의 정보로 사용하는 문서의 불법적인 복제문제가 발생할 수 있다. 현재 온라인 상에서 제공되고 있는 수많은 정보는 그것을 접하는 사용자들에게 유용하게 사용될 수도 있지만 불법복제 (illegal copy)나 표절(plagiarism)과 같은 형태로 이용될 수 있는 가능성도 높다. 두 경우에 있어서 원문의 부분 또는 전체를 그대로 사용하는 경우가 있으며, 특히, 표절의 경우에 있어서는 문장의 재구성, 유사단어로 대체하는 것처럼 원문과는 다른 형태로 나타날 수 있다. 그러나 표절에 있어서 엄청난 양의 정보중에서 일부를 표절한 사실을 알아내기란 쉽지가 않다 왜냐하면 표절을 판별하기 위해서는 기존에 존재하는 모든 정보를 알고 있어야 하는데 이것은 이론상으로 사람의 힘으로는 불가능하기 때문이다. 또한 저작자의 동의 없이 이루어지는 불법적인 복제는 디지털콘텐츠의 유통을 위한 커다란 걸림돌이 되고 있다. 따라서 기존의 문서와의 유사성 판별을 통해서 자동적으로 표절의 가능성을 제시해 줄 수 있는 기술과 함께 근본적으로 디지털 저작물에 대한 불법적인 복제를 막을 수 있는 방법이 필요하다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.432-436
• /
• 2023

초거대언어모델(LLM)의 도래에 따라 다양한 과업들이 도메인 관계 없이 제로샷으로 추론이 가능해짐에 따라서 LLM이 다양한 산업분야에 적용되고 있다. 대표적으로 ChatGPT와 GPT-4는 상용 API로 서비스를 제공하여 용이한 서비스 접근으로 다양한 이용층을 끌어들이고 있다. 그러나 현재 상용 API로 제공되고 있는 ChatGPT 및 GPT-4는 사용자의 대화 내역 데이터를 수집해 기업의 보안 문제를 야기할 수 있고 또한 생성된 결과물의 환각 문제로 인한 기업 문서의 신뢰성 저하를 초래할 수 있다. 특히 LLM 생성 글은 인간의 글과 유사한 수준으로 유창성을 확보한만큼 산업현장에서 LLM 작성 글이 판별되지 못할 경우 기업 활동에 큰 제약을 줄 수 있다. 그러나 현재 한국어 LLM 작성 글 탐지 서비스가 전무한 실정이다. 본 논문에서는 한국어 초거대언어모델 작성 글 판별기: KoCheckGPT 를 제안한다.KoCheckGPT는 산업현장에서 자주 사용되는 문어체, 개조식 글쓰기로 작성된 문서 도메인을 목표로 하여 글 전체와 문장 단위의 판별 정보를 결합하여 주어진 문서의 LLM 작성 여부를 효과적으로 판별한다. 다국어 LLM 작성 글 판별기 ZeroGPT와의 비교 실험 결과 KoCheckGPT는 우수한 한국어 LLM 작성 글 탐지 성능을 보였다.

• 정보관리학회지
• /
• 제23권4호
• /
• pp.41-67
• /
• 2006

웹의 보도기사에 관한 자동요약시스템을 구축하기 위하여 담화구조와 지식기반 기법을 적용한 글구조 프레임과 제 규칙들을 작성하였다. 프레임에는 문단과 문장 및 절의 역할, 문단과 문장의 성질, 역할을 구분하는 판별규칙, 주요문장 발췌규칙, 그리고 요약문 작성규칙 슬롯이 포함되었다. 문맥정의, 고유명사 등을 안내하는 'if-needed'와 변화된 슬롯 값을 알려주는 if-changed 패싯도 구비되었다. 슬롯이나 패싯의 실제 값들을 추출 표현하는 과정에서 문구의 수사적 역할과 단어 최상위 범주 및 줄거리 단위를 참조하였다. 의미흐름의 연결성을 유지하면서 요약 문장들을 통합, 분리, 합성하는 재구성은 유사도공식, 구문정보, 담화구조와 지식기반 방법에서 도출한 제 규칙 및 문맥정의를 이용하였고 비평과 같은 새로운 문장을 생성하였다.

• 말소리와 음성과학
• /
• 제12권4호
• /
• pp.27-36
• /
• 2020

본 논문은 중국인 한국어학습자들이 발화한 한국어 동형다의 종결어미 '-(으)ㄹ 걸' 대한 한국어 원어민화자들의 지각양상을 분석하고 이를 바탕으로 '-(으)ㄹ 걸'의 청지각적 의미 변별에 결정적인 역할을 하는 운율변수를 한국어 교육적 관점에서 분석하는 데 목적이 있다. 동형다의 종결어미는 하나의 형태로 두 개 이상의 의미를 전달하는 종결어미를 일컫는다. 지금까지 외국인학습자들을 대상으로 한 동형다의 종결어미에 대한 연구는 외국인학습자들의 발화문을 원어민 화자의 발화문과 비교·분석하여 음운론적·음성학적 유사점과 차이점을 분석하여 발화정확도나 오류유형을 측정하는 데 집중되었다. 이로 인해 원어민화자와의 유사성과 차이점이 '-(으)ㄹ 걸'의 의미 판별에 실제로 유의미한 작용을 하는지에 대한 청지각적 연구는 이루어지지 못했다. 본 연구에서는 중국인 한국어학습자들의 동형다의 종결어미 문장이 한국어 원어민화자들에게 어떤 양상으로 지각되는지 분석하여 동형다의 종결어미 억양교육에 필요한 운율 규범을 상정해 보고자 한다. 본 연구의 실험자료 산출에는 한국어 숙달도 중·고급에 해당하는 10명의 중국인 한국어학습자들이, 지각 실험에는 20대의 한국인 원어민화자들이 참가하였다. 분석 자료는 '-(으)ㄹ 걸'이 추측으로 사용된 두 문장과 후회로 사용된 두 문장이다. 10명의 중국인화자들이 4개의 실험문장을 4회 반복 발화분이 지각실험 자료로 사용되었다. 지각실험참가자들은 실험 자료를 들으면서 문장 경계성조의 억양에만 의존하여 '-(으)ㄹ 걸'의 의미와 정확성 정도를 판별하였다. 25명의 청취실험자들의 지각실험 결과를 바탕으로 정확한 추측, 추측, 모호함, 후회, 정확한 후회로 지각된 문장들의 운율변수, 즉 경계성조, 경계성조의 기울기, 경계음절과 선행음절 간 피치편차, 경계음절의 피치레벨을 측정하였다. 통계분석 결과 상기된 모든 운율변수가 '-(으)ㄹ 걸'의 의미변별과 유의미한 관련이 있음을 알 수 있었다. 즉 운율변수가 커질수록 추측으로 작아질수록 후회문장으로 지각됨을 관찰할 수 있었다. 그러나 로지스틱 회귀분석을 통해 의미변별에 가장 핵심적인 역할을 수행하는 운율변수는 피치편차임을 알 수 있었다. 이러한 결과는 '(으)ㄹ 걸'의 발화에서 마지막 두 음절의 피치 조절로 두 의미를 변별하여 발화할 수 있음을 의미하며 '-(으)ㄹ 걸'의 억양교육에서 보다 객관적이고 유의미한 규범적 운율 요소로 적용될 수 있을 것이다.

• 지능정보연구
• /
• 제25권4호
• /
• pp.105-122
• /
• 2019

텍스트 데이터가 특정 범주에 속하는지 판별하는 문장 분류에서, 문장의 특징을 어떻게 표현하고 어떤 특징을 선택할 것인가는 분류기의 성능에 많은 영향을 미친다. 특징 선택의 목적은 차원을 축소하여도 데이터를 잘 설명할 수 있는 방안을 찾아내는 것이다. 다양한 방법이 제시되어 왔으며 Fisher Score나 정보 이득(Information Gain) 알고리즘 등을 통해 특징을 선택 하거나 문맥의 의미와 통사론적 정보를 가지는 Word2Vec 모델로 학습된 단어들을 벡터로 표현하여 차원을 축소하는 방안이 활발하게 연구되었다. 사전에 정의된 단어의 긍정 및 부정 점수에 따라 단어의 임베딩을 수정하는 방법 또한 시도하였다. 본 연구는 문장 분류 문제에 대해 선택적 단어 제거를 수행하고 임베딩을 적용하여 문장 분류 정확도를 향상시키는 방안을 제안한다. 텍스트 데이터에서 정보 이득 값이 낮은 단어들을 제거하고 단어 임베딩을 적용하는 방식과, 정보이득 값이 낮은 단어와 코사인 유사도가 높은 주변 단어를 추가로 선택하여 텍스트 데이터에서 제거하고 단어 임베딩을 재구성하는 방식이다. 본 연구에서 제안하는 방안을 수행함에 있어 데이터는 Amazon.com의 'Kindle' 제품에 대한 고객리뷰, IMDB의 영화리뷰, Yelp의 사용자 리뷰를 사용하였다. Amazon.com의 리뷰 데이터는 유용한 득표수가 5개 이상을 만족하고, 전체 득표 중 유용한 득표의 비율이 70% 이상인 리뷰에 대해 유용한 리뷰라고 판단하였다. Yelp의 경우는 유용한 득표수가 5개 이상인 리뷰 약 75만개 중 10만개를 무작위 추출하였다. 학습에 사용한 딥러닝 모델은 CNN, Attention-Based Bidirectional LSTM을 사용하였고, 단어 임베딩은 Word2Vec과 GloVe를 사용하였다. 단어 제거를 수행하지 않고 Word2Vec 및 GloVe 임베딩을 적용한 경우와 본 연구에서 제안하는 선택적으로 단어 제거를 수행하고 Word2Vec 임베딩을 적용한 경우를 비교하여 통계적 유의성을 검정하였다.

• 정보과학회 논문지
• /
• 제42권12호
• /
• pp.1522-1534
• /
• 2015

본 연구에서는 미리 구축해 놓은 학습데이터 없이도 입력된 작문이 주어진 작문 주제에 적합한 내용인지 아닌지를 자동으로 판단할 수 있는 방법을 제안한다. ConceptNet은 다양한 종류의 문서에서 추출한 자연언어 문장들로부터 구축된 그래프 형태의 지식베이스이다. 본 연구에서는 작문 주제에 해당하는 작문 프롬프트(essay prompt)와 ConceptNet만을 이용하여 문서의 주제-이탈 여부를 판별하는 방법을 제안한다. ConceptNet에서 두 개념간의 최단 경로를 찾고 이에 대한 의미 유사도를 계산하는 방법을 제안한다. 이를 이용하여 작문 프롬프트와 수험생 작문 내용을 ConceptNet의 개념들로 매핑하고 이 개념들 사이의 의미 유사도를 계산하여 작문 프롬프트와 수험생 작문 사이의 주제 부합 여부를 판단한다. 8개의 작문 시험을 수행하여 얻은 수험생 작문 데이터에 대하여 평가를 수행한 결과 기존의 연구에 비해 좋은 성능을 얻을 수 있었다. ConceptNet을 활용하면 유의미한 단순 추론이 가능하기 때문에 본 연구에서 제안한 방법은 추론을 요하는 작문 문제에도 적용 가능함을 보였다.