• 재활복지
• /
• v.21 no.2
• /
• pp.233-246
• /
• 2017

The present study is a basic study for application of Augmented Reality (AR) to verb teaching for children with language developmental disorders and is intended to examine validity for the list of verbs at the beginning of development. To confirm the validity of the verbs list, the appropriateness of the verbs was evaluated by three professors with certification of KSLP (Korean Speech-Language Pathologist) working in the department of Speech-Language Pathology at the university. The motion validity test was conducted by showing motion implemented as AR to eight master's students in Speech-Language Pathology major, having them record verbs that came to their mind, and evaluating in the conformity. The second motion validity test was conducted by using 5-point Likert scales to 87 undergraduates in Speech-Language Pathology major and having them see the motions in AR and marked the degrees to which them see the motions conform to the relevant verbs on the scales. Using the SPSS 21.0 program, descriptive statics analyses of the results were conducted. Through this all process, thirty verbs were selected as having content validity. It could be seen that when AR based communication system are applied, things and backgrounds that complement the insufficient movements of motions and help motion recognition should be also provided. In future studies, the 3D images of the AR based communication system will be complemented and the content validity will be verified with typically developing children and the children with language developmental disorders.

• Journal of the Korean Society of Laryngology, Phoniatrics and Logopedics
• /
• v.32 no.3
• /
• pp.109-117
• /
• 2021

The auditory-perceptual evaluation of speech-language pathologists (SLP) in patients with voice disorders is often regarded as a touchstone in the multi-dimensional voice evaluation procedures and provides important information not available in other assessment modalities. Therefore, it is necessary for the SLPs to conduct a comprehensive and in-depth evaluation of not only voice but also the overall speech production mechanism, and they often encounter various difficulties in the evaluation process. In addition, SLPs should strive to avoid bias during the evaluation process and to maintain a wide and constant spectrum of severity for each parameter of voice quality. Lastly, it is very important for the SLPs to perform a team approach by documenting and delivering important information pertaining to auditory-perceptual characteristics in an appropriate and efficient way through close communication with the laryngologists.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.382-387
• /
• 2023

현재 GPT-4와 같은 거대한 언어 모델이 기계 번역, 요약 및 대화와 같은 다양한 작업에서 압도적인 성능을 보이고 있다. 그러나 이러한 거대 언어 모델은 학습 및 적용에 상당한 계산 리소스와 도메인 특화 미세 조정이 어려운 등 몇 가지 문제를 가지고 있다. In-Context learning은 데이터셋에서 추출한 컨택스트의 정보만으로 효과적으로 작동할 수 있는 효율성을 제공하여 앞선 문제를 일부 해결했지만, 컨텍스트의 샷 개수와 순서에 민감한 문제가 존재한다. 이러한 도전 과제를 해결하기 위해, 우리는 Super In-Context Learning (SuperICL)을 활용한 새로운 방법론을 제안한다. 기존의 SuperICL은 적용한 플러그인 모델의 출력 정보를 이용하여 문맥을 새로 구성하고 이를 활용하여 거대 언어 모델이 더욱 잘 분류할 수 있도록 한다. Super In-Context Learning for Generation은 다양한 자연어 생성 작업에 효과적으로 최적화하는 방법을 제공한다. 실험을 통해 플러그인 모델을 교체하여 다양한 작업에 적응하는 가능성을 확인하고, 자연어 생성 작업에서 우수한 성능을 보여준다. BLEU 및 ROUGE 메트릭을 포함한 평가 결과에서도 성능 향상을 보여주며, 선호도 평가를 통해 모델의 효과성을 확인했다.

• Annual Conference on Human and Language Technology
• /
• 2011.10a
• /
• pp.9-15
• /
• 2011

여러 언어로 작성되는 위키피디아의 경우 언어 간에 등록되어 있는 정보의 양과 내용이 달라 언어 간 정보를 상호 추출하고 서로 통합하는 연구에 대한 관심이 증가하고 있다. 특히, 위키피디아의 요약본으로써 의미가 있는 인포박스는 위키피디아 아티클에 존재하는 구조화된 정보 중 가장 근간이 되는 정보로, 본 논문에서는 위키피디아에 존재하는 인포박스를 1)소스 언어 자원으로부터 획득하여 타겟 언어로 번역하고, 2)번역된 결과물과 웹그래프를 이용하여 타겟 언어 데이터에서 획득하는 정보와 결합하는 과정을 통해 자동으로 인포박스를 생성하는 기법에 대하여 설명한다. 웹그래프는 위키피디아에 존재하는 링크 구조를 통해 서로 다른 두 용어간의 관련도를 측정하여 인포박스에 추가될 내용을 파악하는데 사용한다. 본 논문의 기법은 언어 간 인포박스를 생성하는 측면에서, 영어 인포박스 데이터를 입력으로 하여 한국어 인포박스 데이터를 생성하는 방식으로 진행하였다. 평가를 위하여 기존 한국어에 실제 존재하는 인포박스 데이터와 비교 실험하는 방식을 사용하여 평균적으로 40%의 정확률과 83%의 재현율을 나타내었다. 하지만, 기존 한국어에 존재하는 인포박스 데이터의 내용이 인포박스에 포함될 완전한 데이터를 모두 포함했다고 볼 수 없으므로 본 논문에서 제안하는 수행한 실험의 정확률이 상대적으로 낮게 나온 것으로 분석되었다. 실제 사람이 수작업으로 새롭게 생성된 인포박스 데이터의 적합성을 판별한 경우 평균 76%의 정확률과 91%의 재현율을 나타내었다.

• Annual Conference on Human and Language Technology
• /
• 2012.10a
• /
• pp.148-153
• /
• 2012

본 논문에서는 그동안 영어 자동 평가에서 다루지 않은 문제와 답안의 적합성에 대한 평가를 시도한다. 답안이 주어진 문제에 적합한지를 평가하기 위해 문제에서 내용어를 중심으로 핵심어를 추출하며, 이렇게 추출한 핵심어와 각 답안의 적합성을 코사인 상관계수를 이용하여 구해본다. 한 문제에서 추출 가능한 핵심어가 매우 한정되어 있으므로 추가적으로 워드넷의 관련어나 예시 답안을 활용하여 확장한 핵심어 목록으로 실험을 하였으며, 실험 결과를 통해 핵심어를 이용한 답안과 문제의 적합성 평가가 가능함을 보였다.

• Proceedings of the KSLP Conference
• /
• 1996.11a
• /
• pp.87-87
• /
• 1996

객관적인 검사도구인 Dr. Speech Science(DSS)의 음성평가 결과가 갖는 의미를 알아보고자 이 연구를 하였다. 성대결절환자 여자 성인 25명을 대상으로 DSS를 이용한 음성평가와 청각심리적 검사방법인 GRBAS와의 관계를 비교 분석하였다. 청각심리적 검사인 GRBAS의 0, 1, 2, 3의 각 Grade에 따라 DSS의 음성평가의 결과와 비교하였다. DSS의 음성평가 결과로서 Grade가 0, 1, 2인 경우 총 15례중 1례를 제외한 모든 경우에 있어서 hoarseness, harshness, breathiness항목에서 정상소견을 나타냈으며 Grade가 3인 경우에는 총 10례 중 6례에서 hoarseness, harshness, breathiness항목에서 정상소견을 나머지 4례에서는 hoarseness에서 slight한 정도를 보여주었다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.526-530
• /
• 2022

자동 쓰기 평가 연구는 쓰기 답안지를 채점하는데 드는 시간과 비용을 절감할 수 있어, 교육 분야에서 큰 관심을 가지고 있다. 본 연구의 목적은 쓰기 답안지의 문서 구조를 효과적으로 학습하여 평가하고, 문장단위의 피드백을 제공하는데 있다. 그 방법으로는 문장 레벨에서 한국어 Sentence-BERT 모델을 활용하여 각 문장을 임베딩하고, LSTM 어텐션 모델을 활용하여 문서 레벨에서 임베딩 문장을 모델링한다. '한국어 쓰기 텍스트-점수 구간 데이터'를 활용하여 해당 모델의 성능 평가를 진행하였으며, 다양한 KoBERT 기반 모델과 비교 평가를 통해 제안하는 모델의 방법론이 효과적임을 입증하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.518-523
• /
• 2020

본 논문에서는 목적 지향 대화 시스템을 위한 대화 상태 추적 시스템과 사용자 시뮬레이터를 설계 및 제안한다. 사용자 시뮬레이터는 작성된 대화 상태 추적 시스템을 평가하기 위한 용도로 사용된다. 본 논문에서 제안하는 대화 상태 추적 시스템은 대화 기록과 함께 사전에 학습된 대화 기록 및 규칙/통계 기반 추론 시스템의 추론 결과를 입력으로 받는다. 그리고 입력된 발화 기록 중 마지막 사용자 발화의 사용자 목표와 개체명 그리고 다음 시스템 발화의 화행을 추론한다. 또한, 작성된 대화 상태 추적기의 성능을 평가하고 분석하기 위해, 주어진 환경에서 시스템과 대화를 수행하며 대화 시스템의 성능을 평가하는 사용자 시뮬레이터를 구현 및 적용하였다. 본 연구에서 수행된 실험과 분석을 통해, 규칙 및 통계 기반의 기반 시스템을 이용해 목표 시스템의 성능 개선이 가능함을 보인다. 또한, 제안하는 사용자 시뮬레이터는 규칙과 통계를 이용해 평가 코퍼스 없이 여러 상황에 대해 대화 시스템의 성능을 평가할 수 있다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.327-332
• /
• 2023

데이터의 품질과 다양성은 모델 성능에 지대한 영향을 끼친다. 본 연구에서는 Topic을 활용한 데이터 전처리와 BERT 기반 MLM, T5, Random Masking을 이용한 증강으로 데이터의 품질과 다양성을 높이고자 했으며, 이를 KoBERT 기반 에세이 자동 평가 모델에 적용했다. 데이터 전처리만 진행했을 때, Quadratic Weighted Kappa Score(QWK)를 기준으로 모델이 에세이의 모든 평가 항목에 대해 베이스라인보다 더욱 높은 일치도를 보였으며 평가항목별 일치도의 평균을 기준으로 0.5368029에서 0.5483064(+0.0115035)로 상승했다. 여기에 제안하는 증강 방식을 추가 할 경우 MLM, T5, Random Masking 모두 성능 향상 효과를 보였다. 특히, MLM 데이터 증강 방식을 추가로 적용하였을 때 최종적으로 0.5483064에서 0.55151645(+0.00321005)으로 상승해 가장 높은 일치도를 보였으며, 에세이 총점으로 QWK를 기준으로 성능을 평가하면 베이스라인 대비 0.4110809에서 0.4380132(+0.0269323)로의 성능 개선이 있었다.

• Journal of the Korean Society for information Management
• /
• v.23 no.1 s.59
• /
• pp.201-219
• /
• 2006

This experimental study suggests an element-based XML document retrieval method that reveals highly relevant elements. The models investigated here for comparison are divergence and smoothing method, and hierarchical language model. In conclusion, the hierarchical language model proved to be most effective in element-based XML document retrieval with regard to the improved exhaustivity and harmed specificity.