• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 추계학술대회
• /
• pp.267-268
• /
• 2022

최근, 빅데이터 분석은 기계학습의 발전에 따른 다양한 기법들을 이용할 수 있다. 현실에서 수집된 빅데이터는 단어 간의 관계성에 대한 의미적 분석을 바탕으로 같거나 유사한 용어에 대한 자동화된 정제기법이 부족하다. 빅데이터는 보통 문장의 형태로 구성되어 있고, 이에 대한 형태소 분석이나 문장의 이해가 필요하다. 이에 자연어를 분석하기 위한 기법인 NLP는 단어의 관계성과 문장을 이해할 수 있다. 본 논문에서는 빅데이터를 시계열 접근법인 RNN의 단점을 보완한 기법인 트랜스포머와 리포머의 장단점에 대해 연구한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 1995년도 제7회 한글 및 한국어 정보처리 학술대회
• /
• pp.300-309
• /
• 1995

언어표현에 대한 해석은 그 구성요소들의 통사적-어휘적 구조에 덧붙여 대명사의 동일지시를 살펴야 할 필요가 있다. 조응의 분석과 조응적 선행사를 찾기 위한 효과적인 방법을 발견하는 것이 컴퓨터 언어학(computational linguistics), 특히 자연언어 이해체계(Natural Language understanding system)에 관한 연구의 중심적인 문제라고 할 수 있다. 이 논문의 목적은 영어 조응표현을 개념구조 이론(Conceptual Structure Theory)의 개념도식(conceptual graph)에 의하여 기술함으로써 단문에서뿐만 아니라 복문, 양화구문, 그리고 담화에 이르기까지 언어 전반에 걸쳐 나타나는 동일지시성(coreferenciality)을 간단하고 일관성 있게 설명하는 것이다. 이러한 조응현상을 설명하기 위하여 필자는 개념도식상의 개념을 중심개념, 직접개념, 간접개념으로 구분하고 이들이 문맥깊이 등과 더불어 동일지시성을 설명하는데 중심적 역할을 함을 보이고자 한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 1992년도 제4회 한글 및 한국어정보처리 학술대회
• /
• pp.637-646
• /
• 1992

컴퓨터를 이용하여 자연언어를 처리하려는 연구가 진행되고 있다. 언어가 사고와 밀접한 관계에 있다는 점에서 이러한 연구가 성공한다면 인공지능의 발전과 더불어 인간의 마음에 대한 이해의 폭을 넓히게 될 것이다. 이글은 이러한 연구와 관련하여 컴퓨터에 의한 자연언어 이해의 가능성을 다루고 있다. 먼저 그러한 이해가 불가능하다는 써얼의 비판을 시발로 해서, 써얼에 대한 라파포트의 재반박을 검토할 것이다. 라파포트는 자신의 인공지능 프로그램과 사고실험 등을 통해서 가능성을 인정한다. 그의 주장의 핵심은 컴퓨터가 자연언어를 이해하는데 있어 구문론적 이해만으로도 충분하다는 것이다. 이러한 주장은 기호학적 관점에서 볼 때 성립될 수 없다고 비판된다. 인간이나 컴퓨터가 자연언어를 이해하기 위해서는 언어와 그 지시 대상, 그리고 언어의 사용자간의 관계를 고려하는 기호학적 관점이 요구된다. 그결과 컴퓨터에 의한 자연언어 이해의 가능성에는 한계가 있다는 결론에 이르게 된다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.165-169
• /
• 2019

자연어 이해 모델은 대화 시스템의 핵심적인 구성 요소로서 자연어 문장에 대해 그 의도와 정보를 파악하여 의도(intent)와 슬롯(slot)의 형태로 분석하는 모델이다. 최근 연구에서 의도와 슬롯의 추정을 단일 합동 모델(joint model)을 이용하여 합동 학습(joint training)을 하는 연구들이 진행되고 있다. 합동 모델을 이용한 합동 학습은 의도와 슬롯의 추정 정보가 모델 내에서 암시적으로 교류 되도록 하여 의도와 슬롯 추정 성능이 향상된다. 본 논문에서는 기존 합동 모델이 암시적으로 추정 정보를 교류하는 데서 더 나아가 모델 내의 의도와 슬롯 추정 정보를 명시적으로 교류하도록 모델링하여 의도와 슬롯 추정 성능을 높일 수 있는 교차 게이트 메커니즘(Cross Gated Mechanism)을 제안한다.

• 초등상담연구
• /
• 제7권1호
• /
• pp.205-226
• /
• 2008

The purpose of the study you have seen is to verify the effectiveness of existing quantitative research and to put the Empathy Training Program to practical use for participating children. From looking into this, the changes in empathic understanding that came to light in relationships between teacher and children and children and children are sure to have that effect. For this work, I established the following subject of inquiry: What kind of changing processes can be seen in the empathic understanding of participating children in the Empathy Training Program? To resolve the above line of inquiry, six female sixth grade elementary school students were chosen and they progressed through twelve sessions of the Empathy Training Program. The children were given a sentence completion exam, recognition work, neat writing exam and a school adaptation exam both before and after participation in the program, making data for analysis. To analyze, first, participants had one or two meetings of forty to fifty minutes each. Progress through the program's curriculum was recorded and through the repeating and copying method, to be sure participating children's empathic understanding was revealed, empathic language and behavior was routinely chosen. Next, according the above criteria I looked into visible changes of the participating children's empathic expressions, classifying and analyzing changes in empathic understanding and six instances of common changes in the emphatic understanding of the participants relationships were analyzed and put together. Next I will summarize the findings we have seen in this research: First, if we look into changes in common empathic understanding from the beginning, using the criteria of empathic language, each individual showed understanding at the beginning and passed and progressed through stages of care, insight and emotional expressions. Second, when we looked at the criteria of empathic behavior from the beginning to the end, one's line of vision and ability to concentrate one's attention was connected. Next, the act of nodding one's head looked like a brief nod at first but at the end, it was not just a simple nod but rather they could feel deep empathy. The condition and substance of the facial expression was seen to match and at the very end the child was expressive and stretched out arms to hold and pat the other person and the act of holding hands could also be seen. Among lots of empathic behavior the final stage was shown by half of the children. Third, from the first stage to the last stage there were many cases revealed. The more the children went the more complete their empathic language became. Their vocabulary increased and became more diverse with empathic actions. Also, when comparing actions and expressions from the beginning with the end, visible expressions became more natural and sincere at the end. The result of the research we have seen is that through receiving experience of empathic understanding, participating children showed a sense of self-confidence and they looked to make peaceful expressions while not being aggressive or defensive about problems. In addition, from understanding empathic expressions, participating children's relationships felt closer. This outcome within this group in this case will be applied and the formation of empathic understanding can be used by the children internally to solve their own problems, acquire close relationships with their teachers and others. It will also contribute to smooth classroom management.

• 한국융합학회논문지
• /
• 제13권1호
• /
• pp.13-21
• /
• 2022

최근 딥러닝 기반의 자연어처리 연구는 사전 훈련된 언어 모델을 통해 대부분의 자연어처리 분야에서 우수한 성능을 보인다. 특히 오토인코더 (auto-encoder) 기반의 언어 모델은 다양한 한국어 이해 분야에서 뛰어난 성능과 쓰임을 증명하고 있다. 그러나 여전히 디코더 (decoder) 기반의 한국어 생성 모델은 간단한 문장 생성 과제에도 어려움을 겪고 있으며, 생성 모델이 가장 일반적으로 쓰이는 대화 분야에서의 세부 연구와 학습 가능한 데이터가 부족한 상황이다. 따라서 본 논문은 한국어 생성 모델을 위한 멀티턴 대화 데이터를 구축하고 전이 학습을 통해 생성 모델의 대화 능력을 개선하여 성능을 비교 분석한다. 또한, 검색 모델을 통해 외부 지식 정보에서 추천 응답 후보군을 추출하여 모델의 부족한 대화 생성 능력을 보완하는 방법을 제안한다.

• 한국산업정보학회논문지
• /
• 제28권5호
• /
• pp.31-39
• /
• 2023

최근 자연어 처리(NLP) 기술, 특히 ChatGPT를 비롯한 거대 언어 모델(LLM)의 발전으로 특정 전문지식에 대한 질의응답(QA) 시스템의 연구개발이 활발하다. 본 논문에서는 거대언어모델과 문서검색 알고리즘을 활용하여 한국원자력연구원(KAERI)의 규정 등 다양한 문서를 이해하고 사용자의 질문에 답변하는 시스템의 동작 원리에 대해서 설명한다. 먼저, 다수의 문서를 검색과 분석이 용이하도록 전처리하고, 문서의 내용을 언어모델에서 처리할 수 있는 길이의 단락으로 나눈다. 각 단락의 내용을 임베딩 모델을 활용하여 벡터로 변환하여 데이터베이스에 저장하고, 사용자의 질문에서 추출한 벡터와 비교하여 질문의 내용과 가장 관련이 있는 내용들을 추출한다. 추출된 단락과 질문을 언어 생성 모델의 입력으로 사용하여 답변을 생성한다. 본 시스템을 내부 규정과 관련된 다양한 질문으로 테스트해본 결과 복잡한 규정에 대하여 질문의 의도를 이해하고, 사용자에게 빠르고 정확하게 답변을 제공할 수 있음을 확인하였다.

• 인지과학
• /
• 제2권2호
• /
• pp.309-339
• /
• 1990

인간이 서로 통신하는 가장 일반적인 방법은 자연어로 말하거나 글로 나타내는 방법이다.그러나 현재 기술로는 컴퓨터를 사용하려면 인위적인 프로그램밍 언어를 별도로 습득하여만 한다.만약 컴퓨터가 사람들이 말하거나 또는 글로 나타낸 자연어들을 이해할 수 있다면 사람들은 월씬 더 쉽고 자연스럽게 컴퓨터를 사용하게 될 것이다. 그러나 여기서의 문제점은 인간이 사용하는 언어가 많은 경우에 애매 모호하다는 것이다.예를 들어 '키큰'혹은 '젊은'과 같은 주관적 느낌을 표현하는 단어를 기존의 컴퓨터 시스템에서는 처리할 수없어,오히려 '25세이상'과 같이 정확한 조건을 명시해야만 원하는 정보를 얻을수 있다.본 연구에서는 이와 같은 fuzzy 정보를 포함하는 문장을 처리할수 있는 지식 기반형 자연어 질의 응답 시스템 개발을 목표로 블랙보드 개념을 도입하고 있다.이러한 시스템을 개발하려는 목표는 임의의 데이타베이스 시스템 및 음성 이해 시스템을 연결사용이 가능한 portable질의 응답 시스템을 개발하려는데 있다.

• 한국빅데이터학회지
• /
• 제6권1호
• /
• pp.63-81
• /
• 2021

자연어 처리는 최근 기계학습 및 딥러닝 기술의 발전과 적용으로 성능이 빠르게 향상되고 있으며, 이로 인해 활용 분야도 넓어지고 있다. 특히 비정형 텍스트 데이터에 대한 분석 요구가 증가함에 따라 자연어 처리에 대한 관심도 더욱 높아지고 있다. 그러나 자연어 전처리 과정 및 기계학습과 딥러닝 이론의 복잡함과 어려움으로 인해 아직도 자연어 처리 활용의 장벽이 높은 편이다. 본 논문에서는 자연어 처리의 전반적인 이해를 위해 현재 활발히 연구되고 있는 자연어 처리의 주요 분야와 기계학습 및 딥러닝을 중심으로 한 주요 기술의 현황에 대해 살펴봄으로써, 보다 쉽게 자연어 처리에 대해 이해하고 활용할 수 있는 기반을 제공하고자 한다. 이를 위해 인공지능 기술 분류체계의 변화를 통해 자연어 처리의 비중 및 변화 과정을 살펴보았으며, 기계학습과 딥러닝을 기반으로 한 자연어 처리 주요 분야를 언어 모델, 문서 분류, 문서 생성, 문서 요약, 질의응답, 기계번역으로 나누어 정리하고 각 분야에서 가장 뛰어난 성능을 보이는 모형들을 살펴보았다. 그리고, 자연어 처리에서 활용되고 있는 주요 딥러닝 모형들에 대해 정리하고 자연어 처리 분야에서 사용되는 데이터셋과 성능평가를 위한 평가지표에 대해 정리하였다. 본 논문을 통해, 자연어 처리를 자신의 분야에서 다양한 목적으로 활용하고자 하는 연구자들이 자연어 처리의 전반적인 기술 현황에 대해 이해하고, 자연어 처리의 주요 기술 분야와 주로 사용되는 딥러닝 모형 및 데이터셋과 평가지표에 대해 보다 쉽게 파악할 수 있기를 기대한다.

• ETRI Journal
• /
• 제43권2호
• /
• pp.299-312
• /
• 2021

It is necessary to achieve high performance in the task of zero anaphora resolution (ZAR) for completely understanding the texts in Korean, Japanese, Chinese, and various other languages. Deep-learning-based models are being employed for building ZAR systems, owing to the success of deep learning in the recent years. However, the objective of building a high-quality ZAR system is far from being achieved even using these models. To enhance the current ZAR techniques, we fine-tuned a pretrained bidirectional encoder representations from transformers (BERT). Notably, BERT is a general language representation model that enables systems to utilize deep bidirectional contextual information in a natural language text. It extensively exploits the attention mechanism based upon the sequence-transduction model Transformer. In our model, classification is simultaneously performed for all the words in the input word sequence to decide whether each word can be an antecedent. We seek end-to-end learning by disallowing any use of hand-crafted or dependency-parsing features. Experimental results show that compared with other models, our approach can significantly improve the performance of ZAR.