• 제목/요약/키워드: language transfer

검색결과 284건 처리시간 0.026초

Modal Auxiliary Verbs in Japanese EFL Learners' Conversation: A Corpus-based Study

  • Nakayama, Shusaku
    • 아시아태평양코퍼스연구
    • /
    • 제2권1호
    • /
    • pp.23-34
    • /
    • 2021
  • This research examines Japanese non-native speakers' (JNNS) modal auxiliary verb use from two different perspectives: frequency of use and preferences for modalities. Additionally, error analysis is carried out to identify errors in modal use common among JNNSs. Their modal use is compared to that of English native speakers within a spoken dialogue corpus which is part of the International Corpus Network of Asian Learners' English. Research findings show at a statistically significant level that when compared to native speakers, JNNSs underuse past forms of modals and infrequently convey epistemic modality, indicating the possibility that JNNSs fail to express their opinions or thoughts indirectly when needed or to convey politeness appropriately. Error analysis identifies the following three types of common errors: (1) the use of incorrect tenses of modal verb phrases, (2) the use of inflected verb forms after modals, and (3) the non-use of main verbs after modals. The first type of error is largely because JNNSs do not master how to express past meanings of modals. The second and third types of errors seem to be due to first language transfer into second language acquisition and JNNSs' overgeneralization of the subject-verb agreement rules to modals respectively.

언어모델 전이학습 기반 해외 직접 구매 상품군 분류 (A Method of Classification of Overseas Direct Purchase Product Groups Based on Transfer Learning)

  • 오교중;최호진;차원석;김일구;우찬균
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.571-575
    • /
    • 2022
  • 본 논문에서는 통계청에서 매월 작성되는 온라인쇼핑동향조사를 위해, 언어모델 전이학습 기반 분류모델 학습 방법론을 이용하여, 관세청 제공 전자상거래 수입 목록통관 자료를 처리하기 위해서 해외 직접 구매 상품군 분류 모델을 구축한다. 최근에 텍스트 분류 태스크에서 많이 이용되는 BERT 기반의 언어모델을 이용하며 기존의 색인어 정보 분석 과정이나 사례사전 구축 등의 중간 단계 없이 해외 직접 판매 및 구매 상품군을 94%라는 높은 예측 정확도로 분류가 가능해짐을 알 수 있다.

  • PDF

Continual learning을 이용한 한국어 상호참조해결의 도메인 적응 (Domain adaptation of Korean coreference resolution using continual learning)

  • 최요한;조경빈;이창기;류지희;임준호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.320-323
    • /
    • 2022
  • 상호참조해결은 문서에서 명사, 대명사, 명사구 등의 멘션 후보를 식별하고 동일한 개체를 의미하는 멘션들을 찾아 그룹화하는 태스크이다. 딥러닝 기반의 한국어 상호참조해결 연구들에서는 BERT를 이용하여 단어의 문맥 표현을 얻은 후 멘션 탐지와 상호참조해결을 동시에 수행하는 End-to-End 모델이 주로 연구가 되었으며, 최근에는 스팬 표현을 사용하지 않고 시작과 끝 표현식을 통해 상호참조해결을 빠르게 수행하는 Start-to-End 방식의 한국어 상호참조해결 모델이 연구되었다. 최근에 한국어 상호참조해결을 위해 구축된 ETRI 데이터셋은 WIKI, QA, CONVERSATION 등 다양한 도메인으로 이루어져 있으며, 신규 도메인의 데이터가 추가될 경우 신규 데이터가 추가된 전체 학습데이터로 모델을 다시 학습해야 하며, 이때 많은 시간이 걸리는 문제가 있다. 본 논문에서는 이러한 상호참조해결 모델의 도메인 적응에 Continual learning을 적용해 각기 다른 도메인의 데이터로 모델을 학습 시킬 때 이전에 학습했던 정보를 망각하는 Catastrophic forgetting 현상을 억제할 수 있음을 보인다. 또한, Continual learning의 성능 향상을 위해 2가지 Transfer Techniques을 함께 적용한 실험을 진행한다. 실험 결과, 본 논문에서 제안한 모델이 베이스라인 모델보다 개발 셋에서 3.6%p, 테스트 셋에서 2.1%p의 성능 향상을 보였다.

  • PDF

비디오 질의 응답 시스템을 위한 전이 학습 기반의 멀티 모달 퓨전 정답 선택 모델 (Transfer Learning-based Multi-Modal Fusion Answer Selection Model for Video Question Answering System)

  • 박규민;박성배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.548-553
    • /
    • 2021
  • 비디오 질의 응답은 입력으로 주어진 비디오와 질문에 적절할 정답을 제공하기 위해 텍스트, 이미지 등 다양한 정보처리가 요구되는 대표적인 multi-modal 문제이다. 질의 응답 시스템은 질의 응답의 성능을 높이기 위해 다수의 서로 다른 응답 모듈을 사용하기도 하며 생성된 정답 후보군 중 가장 적절할 정답을 선택하는 정답 선택 모듈이 필요하다. 정답 선택 모듈은 응답 모듈의 서로 다른 관점을 고려하여 응답 선택을 선택할 필요성이 있다. 하지만 응답 모듈이 black-box 모델인 경우 정답 선택 모듈은 응답 모듈의 parameter와 예측 분포를 통해 지식을 전달 받기 어렵다. 그리고 학습 데이터셋은 응답 모듈이 학습에 사용했기 때문에 과적합 문제로 각 모듈의 관점을 학습하기엔 어려우며 학습 데이터셋 이외 비교적 적은 데이터셋으로 학습해야 하는 문제점이 있다. 본 논문에서는 정답 선택 성능을 높이기 위해 전이 학습 기반의 멀티모달 퓨전 정답 선택 모델을 제안한다. DramaQA 데이터셋을 통해 성능을 측정하여 제안된 모델의 우수성을 실험적으로 증명하였다.

  • PDF

사전 학습된 Transformer 언어 모델의 이종 언어 간 전이 학습을 통한 자원 희소성 문제 극복 (Cross-Lingual Transfer of Pretrained Transformers to Resource-Scarce Languages)

  • 이찬희;박찬준;김경민;오동석;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.135-140
    • /
    • 2020
  • 사전 학습된 Transformer 기반 언어 모델은 자연어처리 시스템에 적용되었을 시 광범위한 사례에서 큰 폭의 성능 향상을 보여준다. 여기서 사전 학습에 사용되는 언어 모델링 태스크는 비지도 학습에 속하는 기술이기 때문에 상대적으로 데이터의 확보가 쉬운 편이다. 하지만 몇 종의 주류 언어를 제외한 대부분 언어는 활용할 수 있는 언어 자원 자체가 희소하며, 따라서 이러한 사전 학습 기술의 혜택도 누리기 어렵다. 본 연구에서는 이와 같은 상황에서 발생할 수 있는 자원 희소성 문제를 극복하기 위해 이종 언어 간 전이 학습을 이용하는 방법을 제안한다. 본 방법은 언어 자원이 풍부한 언어에서 학습된 Transformer 기반 언어 모델에서 얻은 파라미터 중 재활용 가능한 부분을 이용하여 목표 언어의 모델을 초기화한 후 학습을 진행한다. 또한, 기존 언어와 목표 언어의 차이를 학습하는 역할을 하는 적응층들을 추가하여 이종 언어 간 전이 학습을 돕는다. 제안된 방법을 언어 자원이 희귀한 상황에 대하여 실험해본 결과, 전이 학습을 사용하지 않은 기준 모델 대비 perplexity와 단어 예측의 정확도가 큰 폭으로 향상됨을 확인하였다.

  • PDF

Information Structure and the Use of the English Existential Construction in Korean Learner English

  • Lee, Hanjung
    • 영어영문학
    • /
    • 제57권6호
    • /
    • pp.1017-1041
    • /
    • 2011
  • This study investigates Korean EFL learners' awareness and use of the English existential there-construction by examining data collected from 54 Korean EFL learners of English by means of a pragmalinguistic judgment task and a controlled discourse completion task. The results of the judgment task reveal that lower proficiency learners rated canonical sentences and existentials with a preposed locative best in the communicative situations where the use of existentials would have been most appropriate. A comparison of the ratings by more proficient learners and native speakers shows that existentials received highest ratings by both groups where they are the most natural option, while canonical sentences received significantly higher ratings by the learners. With regard to the production data, learners tended to avoid existentials, but rather relied on canonical sentences. Existentials were rarely used by lower proficiency learners and not used productively even by more proficient learners in the situations where existentials would have been the most natural option. These results suggest that Korean learners' difficulty with the use of existentials is not merely a product of performance limitations, but attributable to limited knowledge about existentials and their syntactic alternatives in terms of contextual appropriateness. Lower proficiency learners lack such knowledge, and more proficient learners, while showing better awareness of the use of existentials, have problems as to the placement of new information when engaging in writing tasks that place lower level of demands on attention to the information status of noun phrases compared to communicative, oral tasks.

음향 실험을 기초로 한 몽골어와 한국어의 단모음 대조분석 (Contrastive Analysis of Mongolian and Korean Monophthongs Based on Acoustic Experiment)

  • 이중진
    • 말소리와 음성과학
    • /
    • 제2권2호
    • /
    • pp.3-16
    • /
    • 2010
  • This study aims at setting the hierarchy of difficulty of the 7 Korean monophthongs for Mongolian learners of Korean according to Prator's theory based on the Contrastive Analysis Hypothesis. In addition to that, it will be shown that the difficulties and errors for Mongolian learners of Korean as a second or foreign language proceed directly from this hierarchy of difficulty. This study began by looking at the speeches of 60 Mongolians for Mongolian monophthongs; data were investigated and analyzed into formant frequencies F1 and F2 of each vowel. Then, the 7 Korean monophthongs were compared with the resultant Mongolian formant values and are assigned to 3 levels, 'same', 'similar' or 'different sound'. The findings in assessing the differences of the 8 nearest equivalents of Korean and Mongolian vowels are as follows: First, Korean /a/ and /$\wedge$/ turned out as a 'same sound' with their counterparts, Mongolian /a/ and /ɔ/. Second, Korean /i/, /e/, /o/, /u/ turned out as a 'similar sound' with each their Mongolian counterparts /i/, /e/, /o/, /u/. Third, Korean /ɨ/ which is nearest to Mongolian /i/ in terms of phonetic features seriously differs from it and is thus assigned to 'different sound'. And lastly, Mongolian /$\mho$/ turned out as a 'different sound' with its nearest counterpart, Korean /u/. Based on these findings the hierarchy of difficulty was constructed. Firstly, 4 Korean monophthongs /a/, /$\wedge$/, /i/, /e/ would be Level 0(Transfer); they would be transferred positively from their Mongolian counterparts when Mongolians learn Korean. Secondly, Korean /o/, /u/ would be Level 5(Split); they would require the Mongolian learner to make a new distinction and cause interference in learning the Korean language because Mongolian /o/, /u/ each have 2 similar counterpart sounds; Korean /o, u/, /u, o/. Thirdly, Korean /ɨ/ which is not in the Mongolian vowel system will be Level 4(Overdifferentiation); the new vowel /ɨ/ which bears little similarity to Mongolian /i/, must be learned entirely anew and will cause much difficulty for Mongolian learners in speaking and writing Korean. And lastly, Mongolian /$\mho$/ will be Level 2(Underdifferentiation); it is absent in the Korean language and doesn‘t cause interference in learning Korean as long as Mongolian learners avoid using it.

  • PDF

한국어 반어 표현 탐지기 (Korean Ironic Expression Detector)

  • 방승주;박요한;김지은;이공주
    • 정보처리학회 논문지
    • /
    • 제13권3호
    • /
    • pp.148-155
    • /
    • 2024
  • 자연어 처리 분야에서 반어 및 비꼼 탐지의 중요성이 커지고 있음에도 불구하고, 한국어에 관한 연구는 다른 언어들에 비해 상대적으로 많이 부족한 편이다. 본 연구는 한국어 텍스트에서의 반어 탐지를 위해 다양한 모델을 실험하는 것을 목적으로 한다. 본 연구는 BERT기반 모델인 KoBERT와 ChatGPT를 사용하여 반어 탐지 실험을 수행하였다. KoBERT의 경우, 감성 데이터를 추가 학습하는 두 가지 방법(전이 학습, 멀티태스크 학습)을 적용하였다. 또한 ChatGPT의 경우, Few-Shot Learning기법을 적용하여 프롬프트에 입력되는 예시 문장의 개수를 증가시켜 실험하였다. 실험을 수행한 결과, 감성 데이터를 추가학습한 전이 학습 모델과 멀티태스크 학습 모델이 감성 데이터를 추가 학습하지 않은 기본 모델보다 우수한 성능을 보였다. 한편, ChatGPT는 KoBERT에 비해 현저히 낮은 성능을 나타내었으며, 입력 예시 문장의 개수를 증가시켜도 뚜렷한 성능 향상이 이루어지지 않았다. 종합적으로, 본 연구는 KoBERT를 기반으로 한 모델이 ChatGPT보다 반어 탐지에 더 적합하다는 결론을 도출했으며, 감성 데이터의 추가학습이 반어 탐지 성능 향상에 기여할 수 있는 가능성을 제시하였다.

저잡음화 계측회로에 의한 다음극형 용존산소센서의 산소투과특성 (Oxygen Permeability Characteristics of the Multi-Cathode Type Dissolved Oxygen Sensor Using the Low Noise Measuring Circuit)

  • 이동희;김태진;김영환;성영권
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 1998년도 추계학술대회 논문집 학회본부 C
    • /
    • pp.764-766
    • /
    • 1998
  • An evaluation method for oxygen permeable characteristics of the membrane covering to each cathode of multiple cathode - single anode type dissolved oxygen sensor, which has high reproducibility and is capable of measuring multiple components in solutions. For this purpose, a measuring circuit for the multiple cathode type DO sensor was designed to lower the noise signal by adapting a digital LPF to readout the sensor output accurately. Digital LPF is designed by setting up the transfer function to set the cutoff frequency to 10Hz, and the transfer function is programmed by C language, and then the filtering characteristics are evaluated with the simulation and experiments. Using this LPF added measuring circuit for the multiple cathode type DO sensor, we have obtained the calibration factor for each cathode to calibrate the variation of the output signals. The calibration factor was obtained by measuring the sensor output signal followed by oxygen partial pressure, using the same oxygen permeable membrane at each cathode of the multiple cathode type DO sensor.

  • PDF

종합공동육묘장의 설비 자동화에 관한 연구 -파종시스템- (Study on Automation of Integrated Seedling Production System - Planting Device-)

  • 최창현;노광모;이규창;김재민
    • Journal of Biosystems Engineering
    • /
    • 제21권2호
    • /
    • pp.123-133
    • /
    • 1996
  • An automatic drum seeder was developed to improve the seeding operation. It consisted of a conveyor to transfer seedling trays, a seed-hopper to supply seeds, a drum to drop seeds on the tray, and an air blower to remove extra seeds. A photo sensor was used to detect the transfer of seedling trays, and its signal was fed into microcomputer which operated a stepping motor driving the drum. The seeds were adhered to the surface of drum by vacuum pressure, and were dropped into tray cells by compressed air. An air connection unit was devised to alternate between vacuum pressure and compressed air. A control program for the system, written in C language, could operate the drum at the given number of revolutions and revolutions per minute. The results showed that the air connection unit could operate well and the seeds were dropped satisfactorily into tray cells. In case of cabbage and perilla seeds, which are regular and spherical shape, the missing rate was low and the single seeding rate was more than 97%. Low missing rate and high multiple seeding rate were observed in lettuce seeds which have narrow ends with tight weight. The missing rate of pepper seed was very high because of heavy weight and irregular shape. To improve the performance of the seeder, adjustment of vacuum pressure based upon shape and weight of the seeds, careful selection of the material of drum, maintenance of consistent air blower pressure, and replacement of stepping motor to DC motor are recommended.

  • PDF