• Title/Summary/Keyword: Language Comprehension

Search Result 243, Processing Time 0.038 seconds

Paragraph Re-Ranking and Paragraph Selection Method for Multi-Paragraph Machine Reading Comprehension (다중 지문 기계독해를 위한 단락 재순위화 및 세부 단락 선별 기법)

  • Cho, Sanghyun;Kim, Minho;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.184-187
    • /
    • 2020
  • 다중 지문 기계독해는 질문과 여러 개의 지문을 입력받고 입력된 지문들에서 추출된 정답 중에 하나의 정답을 출력하는 문제이다. 다중 지문 기계독해에서는 정답이 있을 단락을 선택하는 순위화 방법에 따라서 성능이 크게 달라질 수 있다. 본 논문에서는 단락 안에 정답이 있을 확률을 예측하는 단락 재순위화 모델과 선택된 단락에서 서술형 정답을 위한 세부적인 정답의 경계를 예측하는 세부 단락 선별 기법을 제안한다. 단락 순위화 모델 학습의 경우 모델 학습을 위해 각 단락의 출력에 softmax와 cross-entroy를 이용한 손실 값과 sigmoid와 평균 제곱 오차의 손실 값을 함께 학습하고 키워드 매칭을 함께 적용했을 때 KorQuAD 2.0의 개발셋에서 상위 1개 단락, 3개 단락, 5개 단락에서 각각 82.3%, 94.5%, 97.0%의 재현율을 보였다. 세부 단락 선별 모델의 경우 입력된 두 단락을 비교하는 duoBERT를 이용했을 때 KorQuAD 2.0의 개발셋에서 F1 83.0%의 성능을 보였다.

  • PDF

Reading Comprehension requiring Discrete Reasoning Over Paragraphs for Korean (단락에 대한 이산 추론을 요구하는 한국어 기계 독해)

  • Kim, Gyeong-min;Seo, Jaehyung;Lee, Soomin;Lim, Heui-seok
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.439-443
    • /
    • 2021
  • 기계 독해는 단락과 질의가 주어졌을 때 단락 내 정답을 찾는 자연어 처리 태스크이다. 최근 벤치마킹 데이터셋에서 사전학습 언어모델을 기반으로 빠른 발전을 보이며 특정 데이터셋에서 인간의 성능을 뛰어넘는 성과를 거두고 있다. 그러나 이는 단락 내 범위(span)에서 추출된 정보에 관한 것으로, 실제 연산을 요구하는 질의에 대한 응답에는 한계가 있다. 본 논문에서는 기존 범위 내에서 응답이 가능할 뿐만이 아니라, 연산에 관한 이산 추론을 요구하는 단락 및 질의에 대해서도 응답이 가능한 기계 독해 모델의 효과성을 검증하고자 한다. 이를 위해 영어 DROP (Discrete Reasoning Over the content of Paragraphs, DROP) 데이터셋으로부터 1,794개의 질의응답 쌍을 Google Translator API v2를 사용하여 한국어로 번역 및 정제하여 KoDROP (Korean DROP, KoDROP) 데이터셋을 구축하였다. 단락 및 질의를 참조하여 연산을 수행하기 위한 의미 태그를 한국어 KoBERT 및 KoELECTRA에 접목하여, 숫자 인식이 가능한 KoNABERT, KoNAELECTRA 모델을 생성하였다. 실험 결과, KoDROP 데이터셋은 기존 기계 독해 데이터셋과 비교하여 단락에 대한 더욱 포괄적인 이해와 연산 정보를 요구하였으며, 가장 높은 성능을 기록한 KoNAELECTRA는 KoBERT과 비교하여 F1, EM에서 모두 19.20의 월등한 성능 향상을 보였다.

  • PDF

Model Training and Data Augmentation Schemes For the High-level Machine Reading Comprehension (고차원 기계 독해를 위한 모델 훈련 및 데이터 증강 방안)

  • Lee, Jeongwoo;Moon, Hyeonseok;Park, Chanjun;Lim, Heuiseok
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.47-52
    • /
    • 2021
  • 최근 지문을 바탕으로 답을 추론하는 연구들이 많이 이루어지고 있으며, 대표적으로 기계 독해 연구가 존재하고 관련 데이터 셋 또한 여러 가지가 공개되어 있다. 그러나 한국의 대학수학능력시험 국어 영역과 같은 복잡한 구조의 문제에 대한 고차원적인 문제 해결 능력을 요구하는 데이터 셋은 거의 존재하지 않는다. 이로 인해 고차원적인 독해 문제를 해결하기 위한 연구가 활발히 이루어지고 있지 않으며, 인공지능 모델의 독해 능력에 대한 성능 향상이 제한적이다. 기존의 입력 구조가 단조로운 독해 문제에 대한 모델로는 복잡한 구조의 독해 문제에 적용하기가 쉽지 않으며, 이를 해결하기 위해서는 새로운 모델 훈련 방법이 필요하다. 이에 복잡한 구조의 고차원적인 독해 문제에도 대응이 가능하도록 하는 모델 훈련 방법을 제안하고자 한다. 더불어 3가지의 데이터 증강 기법을 제안함으로써 고차원 독해 문제 데이터 셋의 부족 문제 또한 해소하고자 한다.

  • PDF

KorQuAD 2.0: Korean QA Dataset for Web Document Machine Comprehension (KorQuAD 2.0: 웹문서 기계독해를 위한 한국어 질의응답 데이터셋)

  • Kim, Youngmin;Lim, Seungyoung;Lee, Hyunjeong;Park, Soyoon;Kim, Myungji
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.97-102
    • /
    • 2019
  • KorQuAD 2.0은 총 100,000+ 쌍으로 구성된 한국어 질의응답 데이터셋이다. 기존 질의응답 표준 데이터인 KorQuAD 1.0과의 차이점은 크게 세가지가 있는데 첫 번째는 주어지는 지문이 한두 문단이 아닌 위키백과 한 페이지 전체라는 점이다. 두 번째로 지문에 표와 리스트도 포함되어 있기 때문에 HTML tag로 구조화된 문서에 대한 이해가 필요하다. 마지막으로 답변이 단어 혹은 구의 단위뿐 아니라 문단, 표, 리스트 전체를 포괄하는 긴 영역이 될 수 있다. Baseline 모델로 구글이 오픈소스로 공개한 BERT Multilingual을 활용하여 실험한 결과 F1 스코어 46.0%의 성능을 확인하였다. 이는 사람의 F1 점수 85.7%에 비해 매우 낮은 점수로, 본 데이터가 도전적인 과제임을 알 수 있다. 본 데이터의 공개를 통해 평문에 국한되어 있던 질의응답의 대상을 다양한 길이와 형식을 가진 real world task로 확장하고자 한다.

  • PDF

Language use in multicultural families and the acceptance of multiculturalism: A case study of Korea (한국 다문화 가정의 언어사용과 다문화 수용 양상)

  • Ko, Hye-Jung
    • Journal of Digital Convergence
    • /
    • v.10 no.10
    • /
    • pp.47-53
    • /
    • 2012
  • I researched the acceptance attitude to the multiculturalism of Korean people and the relationship between language and society through two Korean films, and . And I researched the language form in the multicultural families in the way conducting the survey targeting international marriage immigrant women. The content and conclusion in shortly are as in the following. (1) The acceptance attitude to the multiculturalism of Korean people is somewhat positive in such a case having no interests among themselves. (2) It depends upon the society and the culture for the foreigners to come into contact and learn the language easily. It means well-adapted to the certain society for the foreign workers to use status-language such as slang and jargon in the society. And this is the good example to show us the relationship between the language and certain society. (3) The language form of the multicultural families in Korea is mainly Korean, but two languages are used in order to communicate well with monolingual. This is called 'bilingualism', and according to the result of my research I think it is 'listening comprehension type bilingualism'. From this time forward it is urgently needed to develop the contents in relation to multiculturalism and the 'bilingualism' education program for multicultural families instead of the education of Korean being limited to communication itself in order to improve adaptiveness to multiculturalism in Korean society.

Interaction of native language interference and universal language interference on L2 intonation acquisition: Focusing on the pitch range variation (L2 억양에서 나타나는 모국어 간섭과 언어 보편적 간섭현상의 상호작용: 피치대역을 중심으로)

  • Yune, Youngsook
    • Phonetics and Speech Sciences
    • /
    • v.13 no.4
    • /
    • pp.35-46
    • /
    • 2021
  • In this study, we examined the interactive aspects between pitch reduction phenomena considered a universal language phenomenon and native language interference in the production of L2 intonation performed by Chinese learners of Korean. To investigate their interaction, we conducted an acoustic analysis using acoustic measures such as pitch span, pitch level, pitch dynamic quotient, skewness, and kurtosis. In addition, the correlation between text comprehension and pitch was examined. The analyzed material consisted of four Korean discourses containing five and seven sentences of varying difficulty. Seven Korean native speakers and thirty Chinese learners who differed in their Korean proficiency participated in the production test. The results, for differences by language, showed that Chinese had a more expanded pitch span, and a higher pitch level than Korean. The analysis between groups showed that at the beginner and intermediate levels, pitch reduction was prominent, i.e., their Korean was characterized by a compressed pitch span, low pitch level, and less sentence internal pitch variation. Contrariwise, the pitch use of advanced speakers was most similar to Korean native speakers. There was no significant correlation between text difficulty and pitch use. Through this study, we observed that pitch reduction was more pronounced than native language interference in the phonetic layer.

Effects of small group transcription activities on university students' English listening comprehension (소집단 협동 전사활동이 대학생의 영어듣기 능력 향상에 미치는 영향)

  • Han, Sang-Ho
    • English Language & Literature Teaching
    • /
    • v.12 no.1
    • /
    • pp.257-286
    • /
    • 2006
  • This paper investigates the effects of small group collaborative transcription activities on the improvement of university students' English listening ability. Based on the results of pre-tests, a class of 42 students was subdivided into 11 small homogeneous groups of three to four students. Each group was provided with 7 different news items to be transcribed. Means were compared between pre-test and post-test scores, followed by comparison of transcription errors in content and function words. Finally, students' perception and attitudes about the use of small group transcription for improving listening skills were qualitatively analysed and compared with pre- and post test results. It was found that post test scores highly correlated with improvement of listening ability. It was also found that groups of high degree of collaboration showed improvement in listening ability while lack of collaboration contributed to loss of interests in listening. Students who see process more important were found to make more contribution to the group success than those who place more emphasis on the results.

  • PDF

A Dynamic Comprehension Syseem with Extended Semotaction Codes (은유적 표현과 의미의 범위확장)

  • 이창인;김상하
    • Korean Journal of Cognitive Science
    • /
    • v.4 no.2
    • /
    • pp.263-278
    • /
    • 1994
  • This paper proposes a way of decoding and translating some metaphorical use in a SL(Source Language). The process of metaphorical usage should be different from that of idiomatic expressions,which can be treated as a flat structure or chunks(cf.Lee(1985)[5],Yoon & Kim(1993)[7].The representation of metaphorical usage is approached with'M'in a separate dictionary with the extened meaning of property.

Korean Machine Comprehension using Dual Bi-Directional Attention Flow (Dual Bi-Directional Attention Flow를 이용한 한국어 기계이해 시스템)

  • Lee, Hyeon-gu;Kim, Harksoo;Choi, Jungkyu;Kim, Yi-reun
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.41-44
    • /
    • 2017
  • 기계이해 시스템은 주어진 문서를 이해하고 질의에 해당하는 정답을 출력하는 방법으로 심층 신경망을 활용한 주의집중 방법이 발달하면서 활발히 연구되기 시작했다. 본 논문에서는 어휘 정보를 통해 문서와 질의를 이해하는 어휘 이해 모델과 품사 등장 정보, 의존 구문 정보를 통해 문법적 이해를 하는 구문 이해 모델을 함께 사용하여 기계이해 질의응답을 하는 Dual Bi-Directional Attention Flow모델을 제안한다. 한국어로 구성된 18,863개 데이터에서 제안 모델은 어휘 이해 모델만 사용하는 Bi-Directional Attention Flow모델보다 높은 성능(Exact Match: 0.3529, F1-score: 0.6718)을 보였다.

  • PDF

Korean EFL Learners' Listening Anxiety, Listening Strategy Use, and Listening Proficiency

  • Kim, Ji-Sun
    • English Language & Literature Teaching
    • /
    • v.17 no.1
    • /
    • pp.101-124
    • /
    • 2011
  • This paper investigated the relationships among Korean EFL learners' listening anxiety, listening strategy use, and listening proficiency. One hundred and forty four Korean college students who were enrolled in the required practical English classes participated in this study. Questionnaires related to students' listening strategy use and listening anxiety were administered and a TOEIC listening comprehension test was given to measure the students' listening proficiency. The one-way ANOVA was used to analyze the data. The findings of this study are that the students' listening performance is positively correlated with their strategy use and negatively correlated with their anxiety level, and their strategy use is negatively correlated with their anxiety level. The results suggest that successful learning will occur when anxiety is reduced and when the use of strategies is encouraged more often. The pedagogical implications for EFL educators and teachers are described.

  • PDF