• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.473-476
• /
• 2022

문장 임베딩은 문장의 의미를 고려하여 모델이 적절하게 의미적인 벡터 공간에 표상하는 것이다. 문장 임베딩을 위해 다양한 방법들이 제안되었지만, 최근 가장 높은 성능을 보이는 방법은 대조적 학습 방법이다. 대조적 학습을 이용한 문장 임베딩은 문장의 의미가 의미적으로 유사하면 가까운 공간에 배치하고, 그렇지 않으면 멀게 배치하도록 학습하는 방법이다. 이러한 대조적 학습은 비지도와 지도 학습 방법이 존재하는데, 본 논문에서는 효과적인 비지도 학습방법을 제안한다. 기존의 비지도 학습 방법은 문장 표현을 학습하는 언어모델이 자체적인 정보를 활용하여 문장의 의미를 구별한다. 그러나, 하나의 모델이 판단하는 정보로만 문장 표현을 학습하는 것은 편향적으로 학습될 수 있기 때문에 한계가 존재한다. 따라서 본 논문에서는 Cross-Encoder의 Re-Ranker를 통한 의미 검색으로부터 추천된 문장 쌍을 학습하여 기존 모델의 성능을 개선한다. 결과적으로, STS 테스크에서 베이스라인보다 2% 정도 더 높은 성능을 보여준다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.360-365
• /
• 2022

문장 표현(sentence representation)은 자연어처리 분야 내의 다양한 문제 해결 및 응용 개발에 있어 유용하게 활용될 수 있는 주요한 도구 중 하나이다. 하지만 최근 널리 도입되고 있는 사전 학습 언어 모델(pre-trained language model)로부터 도출한 문장 표현은 이방성(anisotropy)이 뚜렷한 등 그 고유의 특성으로 인해 문장 유사도(Semantic Textual Similarity; STS) 측정과 같은 태스크에서 기대 이하의 성능을 보이는 것으로 알려져 있다. 이러한 문제를 해결하기 위해 대조 학습(contrastive learning)을 사전 학습 언어 모델에 적용하는 연구가 문헌에서 활발히 진행되어 왔으며, 그중에서도 레이블이 없는 데이터를 활용하는 비지도 대조 학습 방법이 주목을 받고 있다. 하지만 대다수의 기존 연구들은 주로 영어 문장 표현 개선에 집중하였으며, 이에 대응되는 한국어 문장 표현에 관한 연구는 상대적으로 부족한 실정이다. 이에 본 논문에서는 대표적인 비지도 대조 학습 방법(ConSERT, SimCSE)을 다양한 한국어 사전 학습 언어 모델(KoBERT, KR-BERT, KLUE-BERT)에 적용하여 문장 유사도 태스크(KorSTS, KLUE-STS)에 대해 평가하였다. 그 결과, 한국어의 경우에도 일반적으로 영어의 경우와 유사한 경향성을 보이는 것을 확인하였으며, 이에 더하여 다음과 같은 새로운 사실을 관측하였다. 첫째, 사용한 비지도 대조 학습 방법 모두에서 KLUE-BERT가 KoBERT, KR-BERT보다 더 안정적이고 나은 성능을 보였다. 둘째, ConSERT에서 소개하는 여러 데이터 증강 방법 중 token shuffling 방법이 전반적으로 높은 성능을 보였다. 셋째, 두 가지 비지도 대조 학습 방법 모두 검증 데이터로 활용한 KLUE-STS 학습 데이터에 대해 성능이 과적합되는 현상을 발견하였다. 결론적으로, 본 연구에서는 한국어 문장 표현 또한 영어의 경우와 마찬가지로 비지도 대조 학습의 적용을 통해 그 성능을 개선할 수 있음을 검증하였으며, 이와 같은 결과가 향후 한국어 문장 표현 연구 발전에 초석이 되기를 기대한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.491-496
• /
• 2023

사전학습 언어모델을 개선하여 고품질의 문장 표현(sentence representation)을 도출하기 위한 다양한 대조 학습 방법에 대한 연구가 진행되고 있다. 그러나, 대부분의 대조학습 방법들은 문장 쌍의 관계만을 고려하며, 문장 간의 유사 정도를 파악하는데는 한계가 있어서 근본적인 대조 학습 목표를 저해하였다. 이에 최근 삼중항 손실 (triplet loss) 함수를 도입하여 문장의 상대적 유사성을 파악하여 대조학습의 성능을 개선한 연구들이 제안되었다. 그러나 많은 연구들이 영어를 기반으로한 사전학습 언어모델을 대상으로 하였으며, 한국어 기반의 비지도 대조학습에 대한 삼중항 손실 함수의 실효성 검증 및 분석은 여전히 부족한 실정이다. 본 논문에서는 이러한 방법론이 한국어 비지도 대조학습에서도 유효한지 면밀히 검증하였으며, 다양한 평가 지표를 통해 해당 방법론의 타당성을 확인하였다. 본 논문의 결과가 향후 한국어 문장 표현 연구 발전에 기여하기를 기대한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.348-353
• /
• 2022

최근 신경망 기반의 언어모델이 발전함에 따라 대부분의 검색 모델에서는 Bi-encoder를 기반으로한 Dense retrieval 모델에 대한 연구가 진행되고 있다. 특히 DPR은 BM25를 통해 정답 문서와 유사한 정보를 가진 하드 네거티브를 사용하여 대조학습을 통해 성능을 더욱 끌어올린다. 그러나 BM25로 검색된 하드 네거티브는 term-base의 유사도를 통해 뽑히기 때문에, 의미적으로 비슷한 내용을 갖는 하드 네거티브의 역할을 제대로 수행하지 못하고 대조학습의 효율성을 낮출 가능성이 있다. 따라서 DRP의 대조학습에서 하드 네거티브의 역할을 본질적으로 수행할 수 있는 문서를 샘플링 하는 방법을 제시하고, 이때 얻은 하드 네거티브의 집합을 주기적으로 업데이트 하여 효과적으로 대조학습을 진행하는 방법을 제안한다. 지식 기반 대화 데이터셋인 MultiDoc2Dial을 통해 평가를 수행하였으며, 실험 결과 기존 방식보다 더 높은 성능을 나타낸다.

• 한국엔터테인먼트산업학회논문지
• /
• 제13권7호
• /
• pp.397-408
• /
• 2019

본 연구는 혈관·혈액계 장애 대상자 간호를 주제로한 성인간호학 전공필수 교과목에서 팀기반학습 수업이 강의식 수업과 비교하여 간호대학생의 문제 해결능력과 자기주도적 학습능력 및 학습동기 향상에 효과가 있는지 확인하고자 시도되었다. 본 연구는 비동등성 대조군 전후 설계인 유사실험 연구로서 G광역시 3학년 간호대학생을 편의표집하여 실험군 66명과 대조군 66명의 총 132명을 대상으로 하였다. 팀기반학습 수업 전 실험군과 대조군에게 자기기입식 설문지를 이용한 사전설문조사를 하였고, 실험군에게는 표준화된 팀기반학습 수업 3단계 프로토콜에 따라 총 6회 12시간의 팀기반학습 수업을 진행하였다. 팀기반학습 수업 후 실험군과 대조군에게 자기기입식 설문지를 이용한 사후설문조사를 시행하였다. 연구결과 간호대학생의 문제해결능력은 팀기반학습 수업을 받은 실험군(3.57±.40)이 강의식 수업을 받은 대조군(3.35±.40)보다 문제해결능력 점수가 높아졌고, 사전점수를 통제한 후에도 통계적으로 유의한 차이가 있었다(F=9.179, p=.003). 간호대학생의 자기주도적 학습능력은 팀기반학습 수업을 받은 실험군(3.54±.42)이 강의식 수업을 받은 대조군(3.35±.48) 보다 자기주도적 학습능력 점수가 높아졌고, 사전점수를 통제한 후에도 통계적으로 유의한 차이가 있었다(F=7.447, p=.007). 간호대학생의 학습동기는 팀기반학습 수업을 받은 실험군(3.79±.40)이 강의식 수업을 받은 대조군(3.58±.37)보다 학습동기 점수가 높아졌고, 사전점수를 통제한 후에도 통계적으로 유의한 차이가 있었다(F=7.974, p=.006). 따라서, 팀기반학습 수업은 강의식 수업과 비교하여 간호대학생의 문제해결능력과 자기주도적 학습능력 및 학습동기를 향상시킬 수 있는 효과적인 교수학습전략임을 확인하였다.

• 디지털융복합연구
• /
• 제13권9호
• /
• pp.409-418
• /
• 2015

본 연구는 성인간호학 분야의 심장계 환자간호에서 팀기반학습 프로그램을 개발하고, 간호학생들에게 적용하여 교과목 학습성과로서 문제해결능력, 비판적 사고성향, 학업성취도, 그리고 수업만족도에 미치는 영향을 확인하기 위해 시도되었다. 연구방법은 비동등성 대조군 전후설계인 유사실험연구이고, G시 4년제 간호학과 2학년 학생들을 편의표집하여 실험군 52명, 대조군 54명을 대상으로, 실험군은 2014년 2학기 중 주당 3시간씩 2주 동안 팀기반학습을 적용하고, 대조군은 동 기간동안 강의 및 사례적용 발표수업을 제공하였다. 연구 결과, 팀기반학습을 적용한 실험군과 적용하지 않은 대조군의 문제해결능력(F=5.92, p=.017)과 수업만족도 점수(F=5.80, p=.018)는 실험군이 대조군 보다 통계적으로 유의하게 높았다. 그러나 비판적 사고성향과 학업성취도 점수는 실험군이 대조군보다 높았으나 통계적인 유의한 차이는 없었다. 이상의 연구결과를 통해 간호교육에 팀기반학습의 적용은 간호학생들의 중요한 학습성과인 문제해결능력에 긍정적인 영향을 미치고, 수업만족도를 높일 수 있음이 확인되었다.

• 방송공학회논문지
• /
• 제27권6호
• /
• pp.897-905
• /
• 2022

비디오 영상 내 주요 프레임(Key Frame) 검출은 컴퓨터 비전 분야에서 꾸준히 연구되고 있는 분야 중 하나이다. 최근 심층학습(Deep Learning) 기술의 발전으로 비디오 영상에서의 주요 프레임 검출 성능이 향상 되었으나, 다양한 종류의 영상 콘텐츠 및 복잡한 배경으로 인해 여전히 효과적인 학습이 어려운 문제점이 있다. 본 논문에서는 대조적 학습(Contrastive Learning)과 메모리 뱅크(Memory Bank)를 통해 영상의 주요 프레임을 검출하는 새로운 방법을 제안한다. 제안하는 방법은 입력 프레임과 같은 영상 내 이웃하는 프레임 간 차이와 다른 영상 내 프레임과의 차이를 기반으로 특징 추출 신경망을 학습한다. 이와 같은 대조적 학습을 통해 메모리 뱅크에 주요 프레임을 저장 및 갱신하여 영상의 중복성을 효과적으로 제거한다. 비디오 영상 데이터셋에서의 실험 결과를 통해 제안하는 방법의 성능을 검증하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.245-248
• /
• 2022

최근 자연어 처리 분야에서 문맥적 의미를 반영하기 위한 대조학습 (contrastive learning) 에 대한 연구가 활발히 이뤄지고 있다. 이 때 대조학습을 위한 양질의 학습 (training) 데이터와 검증 (validation) 데이터를 이용하는 것이 중요하다. 그러나 한국어의 경우 대다수의 데이터셋이 영어로 된 데이터를 한국어로 기계 번역하여 검토 후 제공되는 데이터셋 밖에 존재하지 않는다. 이는 기계번역의 성능에 의존하는 단점을 갖고 있다. 본 논문에서는 한국어 리뷰 데이터로 임베딩의 의미 반영 정도를 측정할 수 있는 간단한 검증 데이터셋 구축 방법을 제안하고, 이를 활용한 데이터셋인 SimKoR (Similarity Korean Review dataset) 을 제안한다. 제안하는 검증 데이터셋을 이용해서 대조학습을 수행하고 효과성을 보인다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.618-620
• /
• 2023

최근 자연어처리 분야에서 의미론적 유사성을 반영하기 위한 대조 학습 (contrastive learning) 관련 연구가 활발히 이뤄지고 있다. 이러한 대조 학습의 핵심은 의미론적으로 가까워져야 하는 쌍과 멀어져야 하는 쌍을 잘 구축하는 것이지만, 기존의 손실 함수는 문장의 상대적인 유사성을 풍부하게 반영하는데 한계가 있다. 이를 해결하기 위해, 이전 연구에서는 삼중 항 손실 함수 (triplet loss)를 도입하였으며, 본 논문에서는 이러한 삼중 항을 구성하기 위해 대조 학습에서의 효과적인 토큰 컷오프(cutoff) 데이터 증강 기법을 제안한다. BERT, RoBERTa 등 널리 활용되는 언어 모델을 이용한 실험을 통해 제안하는 방법의 우수한 성능을 보인다.

• 융합정보논문지
• /
• 제10권6호
• /
• pp.49-58
• /
• 2020

본 연구는 기본간호학실습 교과목에 미디어 융합을 활용한 플립러닝을 적용한 후 학업적 자기효능감과 자기주도 학습 능력의 변화를 파악하고자 수행하였다. 비동등대조군 전후설계 연구로 실험군 22명, 대조군 26명의 학생을 대상으로 총 10주 동안 플립러닝 교수법을 적용하였다. 2019년 8월 27일부터 12월 3일까지 자료를 수집하였다. 플립러닝 수업 전과 후의 실험군과 대조군의 학업적 자기효능감 차이는 실험군 1.00점, 대조군 0.81점으로 두 군간 유의한 차이가 없었다(t=0.11, p=.917). 그러나 자기주도학습 능력 차이는 실험군 11.32점, 대조군 0.23점이었다(t=2.32, p=.027). 본 연구결과 미디어 융합 활용 플립러닝은 학생들의 자기주도학습 능력을 향상시키는 효과적인 교수법으로 나타났다. 그러므로 미디어 융합 활용 플립러닝을 다양한 간호학 교과목에 확대 적용 연구가 필요가 있다.