• Annual Conference on Human and Language Technology
• /
• 2001.10d
• /
• pp.209-212
• /
• 2001

본 논문에서는 text-to-speech 시스템에서 사용할 억양 모델을 위해 벡터 양자화(vector quantization) 방식을 이용한다. 어절 경계강도(break index)는 세단계로 분류하였고, CART(Classification And Regression Tree)를 사용하여 어절 경계강도의 예측 규칙을 생성하였다. 예측된 어절 경계강도를 바탕으로 운율구를 예측하였으며 운율구는 다섯 개의 억양 패턴으로 분류하였다. 하나의 운율구는 정점(peak)의 시간축, 주파수축 값과 이를 기준으로 한 앞, 뒤 기울기를 추출하여 네 개의 파라미터로 단순화하였다. 운율구에 대해서 먼저 운율구가 문장의 끝일 경우와 아닐 경우로 분류하고, 억양 패턴 다섯 개로 분류하여. 모두 10개의 운율구 set으로 나누었다. 그리고 네 개의 파라미터를 가지고 있는 운율구의 억양 패턴을 벡터 양자화 방식을 이용하여 분류(clusteing)하였다 운율의 변화가 두드러지는 조사와 어미는 12 point의 기본주파수 값을 추출하고 벡터 양자화하였다. 운율구와 조사 어미의 codebook index는 문장에 대한 특징 변수 값을 추출하고 CART를 사용하여 예측하였다. 합성할 때에는 입력 tort에 대해서 운율구의 억양 파라미터를 추정한 다음, 조사와 어미의 12 point 기본주파수 값을 추정하여 전체 억양 곡선을 생성하였고 본 연구실에서 제작한 음성합성기를 통해 합성하였다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.41 no.5
• /
• pp.592-601
• /
• 2016

The recurrent neural network (RNN) is a deep learning model which is suitable to sequential or length-variable data. The Long Short-Term Memory (LSTM) mitigates the vanishing gradient problem of RNNs so that LSTM can maintain the long-term dependency among the constituents of the given input sequence. In this paper, we propose a LSTM based language model which can predict following words of a given incomplete sentence to generate a complete sentence. To evaluate our method, we trained our model using multiple Korean corpora then generated the incomplete part of Korean sentences. The result shows that our language model was able to generate the fluent Korean sentences. We also show that the word based model generated better sentences compared to the other settings.

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.324-326
• /
• 2017

개체명 인식은 입력 문장에서 인명, 지명, 기관명, 날짜, 시간 등과 같은 고유한 의미를 갖는 단어 열을 찾아 범주를 부착하는 기술이다. 기존의 연구에서는 단어 단위나 음절 단위를 입력으로 사용하였다. 하지만 단어 단위의 경우 미등록어 처리가 어려우며 음절 단위의 경우 단어 고유의 의미가 희석되는 문제가 발생한다. 이러한 문제들을 해결하기 위해 본 논문에서는 형태소 단위 개체명 인식기와 음절 단위 개체명 인식기를 앙상블하여 보정된 결과를 예측하는 개체명 인식기를 제안한다. 제안된 모델은 각각의 단일 입력 모델보다 향상된 F1-점수(0.8049)를 보였다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.658-660
• /
• 2018

인공지능 산업이 발달함에 따라 사용자의 특성에 맞게 상호작용하는 기술에 대한 수요도 증가하고 있다. 하지만 텍스트 스타일 변환의 경우 사용자 경험을 크게 향상시킬 수 있는 기술임에도 불구하고, 학습에 필요한 병렬 데이터가 부족하여 모델링과 성능 개선에 어려움을 겪고 있다. 이에 따라 본 논문에서는 비 병렬 데이터만으로 텍스트 스타일 변환이 가능한 선행 모델[1]을 기반으로, 한국어에 적합한 문장 표현 방식 및 성능 개선을 위한 임의 도메인 예측 기법이 적용된 모델을 제안한다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.32-36
• /
• 2020

문장의 의미를 잘 임베딩하는 문장 인코더를 만들기 위해 비지도 학습과 지도 학습 기반의 여러 방법이 연구되고 있다. 지도 학습 방식은 충분한 양의 정답을 구축하는데 어려움이 있다는 한계가 있다. 반면 지금까지의 비지도 학습은 단일 형식의 말뭉치에 한정해서 입력된 현재 문장의 다음 문장을 생성 또는 예측하는 형식으로 문제를 정의하였다. 본 논문에서는 위키피디아, 뉴스, 지식 백과 등 문서 형태의 말뭉치에 더해 지식인이나 검색 클릭 로그와 같은 구성이 다양한 이종의 대량 말뭉치를 활용하는 자기 지도 학습 방법을 제안한다. 각 형태의 말뭉치에 적합한 자기 지도 학습 문제를 설계하고 학습한 경우 KorSTS 데이셋의 비지도 모델 성능 평가에서 기준 모델 대비 7점 가량의 성능 향상이 있었다.

• Korean Journal of Agricultural and Forest Meteorology
• /
• v.18 no.4
• /
• pp.253-263
• /
• 2016

Chrysanthemum production would benefit from crop growth simulations, which would support decision-making in crop management. Chrysanthemum is a typical short day plant of which floral initiation and development is sensitive to photoperiod. We developed a model to predict phenological development and leaf appearance of chrysanthemum (cv. Baekseon) using daylength (including civil twilight period), air temperature, and management options like light interruption and ethylene treatment as predictor variables. Chrysanthemum development stage (DVS) was divided into juvenile (DVS=1.0), juvenile to budding (DVS=1.33), and budding to flowering (DVS=2.0) phases for which different strategies and variables were used to predict the development toward the end of each phenophase. The juvenile phase was assumed to be completed at a certain leaf number which was estimated as 15.5 and increased by ethylene application to the mother plant before cutting and the transplanted plant after cutting. After juvenile phase, development rate (DVR) before budding and flowering were calculated from temperature and day length response functions, and budding and flowering were completed when the integrated DVR reached 1.33 and 2.0, respectively. In addition the model assumed that leaf appearance terminates just before budding. This model predicted budding date, flowering date, and leaf appearance with acceptable accuracy and precision not only for the calibration data set but also for the validation data set which are independent of the calibration data set.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.548-553
• /
• 2021

비디오 질의 응답은 입력으로 주어진 비디오와 질문에 적절할 정답을 제공하기 위해 텍스트, 이미지 등 다양한 정보처리가 요구되는 대표적인 multi-modal 문제이다. 질의 응답 시스템은 질의 응답의 성능을 높이기 위해 다수의 서로 다른 응답 모듈을 사용하기도 하며 생성된 정답 후보군 중 가장 적절할 정답을 선택하는 정답 선택 모듈이 필요하다. 정답 선택 모듈은 응답 모듈의 서로 다른 관점을 고려하여 응답 선택을 선택할 필요성이 있다. 하지만 응답 모듈이 black-box 모델인 경우 정답 선택 모듈은 응답 모듈의 parameter와 예측 분포를 통해 지식을 전달 받기 어렵다. 그리고 학습 데이터셋은 응답 모듈이 학습에 사용했기 때문에 과적합 문제로 각 모듈의 관점을 학습하기엔 어려우며 학습 데이터셋 이외 비교적 적은 데이터셋으로 학습해야 하는 문제점이 있다. 본 논문에서는 정답 선택 성능을 높이기 위해 전이 학습 기반의 멀티모달 퓨전 정답 선택 모델을 제안한다. DramaQA 데이터셋을 통해 성능을 측정하여 제안된 모델의 우수성을 실험적으로 증명하였다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.204-209
• /
• 2018

긴장이라는 측면은 의사소통을 하거나 글을 읽을 때 사람에게 항상 영향을 주고 있다. 긴장의 개념은 자연언어처리 분야에서 광범위한 의미로 사용되어 왔는데, 본 논문은 이런 개념 중 강연과 같은 한 방향 대화에서 화자의 말에 대하여 청중이 가지는 긴장도에 집중하여 이를 정량화하는 방법을 제안한다. 한 명의 저자에 의해 서술된 문서에 긴장도 개념을 적용함에 있어, 한 방향 대화에서의 긴장도를 정량화하는 본 연구는 긴장도 개념을 일반 문서에 적용할 때에 보다 용이하게 활용될 것으로 예상한다. 본 연구에서는 먼저 화자의 말에 대한 청중의 긴장도가 주석되어 있는 새로운 말뭉치를 구축하였다. 또한 문맥을 고려하여 긴장도를 예측할 수 있는 모델과 이에 따른 긴장도 분류 성능에 대한 실험 결과를 통하여 자동 긴장도 분류가 계산적으로 가능하다는 것을 보인다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.559-560
• /
• 2018

순환 신경망(RNN) 기반의 Long Short-Term Memory(LSTM)는 자연어처리 분야에서 우수한 성능을 보이는 모델이다. 음성을 문자로 변환해주는 Speech to Text (STT)를 이용해 자막을 생성하고, 생성된 자막을 다른 언어로 동시에 번역을 해주는 서비스가 활발히 진행되고 있다. STT를 사용하여 자막을 추출하는 경우에는 마침표가 없이 전부 연결된 문장이 생성되기 때문에 정확한 번역이 불가능하다. 본 논문에서는 영어자막의 자동 번역 시, 정확도를 높이기 위해 텍스트를 문장으로 분할하여 마침표를 생성해주는 방법을 제안한다. 이 때, LSTM을 이용하여 데이터를 학습시킨 후 테스트한 결과 62.3%의 정확도로 마침표의 위치를 예측했다.

• KSCE Journal of Civil and Environmental Engineering Research
• /
• v.42 no.1
• /
• pp.127-134
• /
• 2022

Recently, policies and research to prevent increasing construction accidents have been actively conducted in the domestic construction industry. In previous studies, the prediction model developed to prevent construction accidents mainly used only structured data, so various characteristics of construction sites are not sufficiently considered. Therefore, in this study, we developed a machine learning-based construction accident prediction model that enables the characteristics of construction sites to be considered sufficiently by using both structured and text-type unstructured data. In this study, 6,826 cases of construction accident data were collected from the Construction Safety Management Integrated Information (CSI) for machine learning. The Decision forest algorithm and the BERT language model were used to train structured and unstructured data respectively. As a result of analysis using both types of data, it was confirmed that the prediction accuracy was 95.41 %, which is improved by about 20 % compared to the case of using only structured data. Conclusively, the performance of the predictive model was effectively improved by using the unstructured data together, and construction accidents can be expected to be reduced through more accurate prediction.