• 지능정보연구
• /
• 제23권2호
• /
• pp.71-88
• /
• 2017

언어모델은 순차적으로 입력된 자료를 바탕으로 다음에 나올 단어나 문자를 예측하는 모델로 언어처리나 음성인식 분야에 활용된다. 최근 딥러닝 알고리즘이 발전되면서 입력 개체 간의 의존성을 효과적으로 반영할 수 있는 순환신경망 모델과 이를 발전시킨 Long short-term memory(LSTM) 모델이 언어모델에 사용되고 있다. 이러한 모형에 자료를 입력하기 위해서는 문장을 단어 혹은 형태소로 분해하는 과정을 거친 후 단어 레벨 혹은 형태소 레벨의 모형을 사용하는 것이 일반적이다. 하지만 이러한 모형은 텍스트가 포함하는 단어나 형태소의 수가 일반적으로 매우 많기 때문에 사전 크기가 커지게 되고 이에 따라 모형의 복잡도가 증가하는 문제가 있고 사전에 포함된 어휘 외에는 생성이 불가능하다는 등의 단점이 있다. 특히 한국어와 같이 형태소 활용이 다양한 언어의 경우 형태소 분석기를 통한 분해과정에서 오류가 더해질 수 있다. 이를 보완하기 위해 본 논문에서는 문장을 자음과 모음으로 이루어진 음소 단위로 분해한 뒤 입력 데이터로 사용하는 음소 레벨의 LSTM 언어모델을 제안한다. 본 논문에서는 LSTM layer를 3개 또는 4개 포함하는 모형을 사용한다. 모형의 최적화를 위해 Stochastic Gradient 알고리즘과 이를 개선시킨 다양한 알고리즘을 사용하고 그 성능을 비교한다. 구약성경 텍스트를 사용하여 실험을 진행하였고 모든 실험은 Theano를 기반으로 하는 Keras 패키지를 사용하여 수행되었다. 모형의 정량적 비교를 위해 validation loss와 test set에 대한 perplexity를 계산하였다. 그 결과 Stochastic Gradient 알고리즘이 상대적으로 큰 validation loss와 perplexity를 나타냈고 나머지 최적화 알고리즘들은 유사한 값들을 보이며 비슷한 수준의 모형 복잡도를 나타냈다. Layer 4개인 모형이 3개인 모형에 비해 학습시간이 평균적으로 69% 정도 길게 소요되었으나 정량지표는 크게 개선되지 않거나 특정 조건에서는 오히려 악화되는 것으로 나타났다. 하지만 layer 4개를 사용한 모형이 3개를 사용한 모형에 비해 완성도가 높은 문장을 생성했다. 본 논문에서 고려한 어떤 시뮬레이션 조건에서도 한글에서 사용되지 않는 문자조합이 생성되지 않았고 명사와 조사의 조합이나 동사의 활용, 주어 동사의 결합 면에서 상당히 완성도 높은 문장이 발생되었다. 본 연구결과는 현재 대두되고 있는 인공지능 시스템의 기초가 되는 언어처리나 음성인식 분야에서 한국어 처리를 위해 다양하게 활용될 수 있을 것으로 기대된다.

• Journal of Biosystems Engineering
• /
• 제7권2호
• /
• pp.18-29
• /
• 1983

효율적(效率的)인 농업기계(農業機械)의 실내(室內) 및 실외실험(室外實驗)을 위(爲)하여 Microcomputer에 의(依)한 Data 측정(測定)을 위(爲)해 A/D 변환기(變煥器)를 Interface 시키고, 이를 기록보관(記錄保管)하기 위해 Computer memory인 2716용(用) EPROM programmer와 Microprinter를 interface시켰고, 실험(實驗) 후(後)Data를 다시 HP computer로 전송(傳送)하기 위(爲)한 RS232C 장치(裝置) 등(等)의 Hardware를 구성(構成)하고, 이들의 작동(作動)을 위(爲)한 Microprogram을 개발(開發)하여 Data acquisition system으로 활용(活用)할 수 있는 방안(方案)을 연구(硏究)한 본(本) 연구(硏究)의 주요(主要) 결과(結果)를 요약(要約)하면 다음과 같다. 1. 사용(使用) channel수(數), 측정시간(測定時間) 간격(間隔) 및 측정(測定) data수(數)를 자유(自由)로 조정할 수 있는 측정용(測定用) microprogram을 개발(開發)하였으며 최소(最小) 측정시간(測定時間) 간격(間隔)은 $58.8{\mu}s$이었다. 2. A/D 변환기(變煥器)의 Calibration을 위(爲)해 Function generator에서 삼각파(三角波), 구형파(矩形波), sin파등(波等)을 발생(發生)시켜 Oscillograph에서 확인(確認)하고 이를 계측(計測)하여 보관(保管)한 후(後) HP Computer에 전송(傳送)하여 plotting한 결과(結果) 정확(正確)한 파형(波形)을 얻을 수 있었다. 3. Data 기록(紀錄)을 위(爲)한 EPROM programmer는 잘 동작(動作)하였으며 기록(紀錄) 및 원래(原來)의 Data와 비교(比較)하는 데 총 소요시간(所要時間)은 75초 정도였고, 취급이 용이(容易)할 뿐 아니라 지워서 재사용(再使用)할 수 있어 경제적(經濟的)이었다. 4. Data의 기록(記錄)을 위(爲)한 Microprinter는 그 2kB Decimal로 변환(變換)시켜 Print하는 시간(時間)이 15분(分) 정도이었으며 계측(計測)과 동시(同時)에 기록(記錄)시키는 완속측정용(緩速測定用)으로 적당하였다. 5. 본(本) system과 HP3000 컴퓨터 간(間)의 Data 전송(傳送) 장치(裝置)를 사용(使用)하면 2k byte의 Data를 HP3000 computer로 전송(傳送)하는데 1~2분(分)정도 소요(所要)되었고, 작동(作動)은 만족스러웠다. 6. 사용(使用) 전원(電源)은 DC/DC 변환기(變煥器)를 사용(使用)하여 입력전원(入力電源)이 7~25V로 단일화(單一化)하였으며, 그 상용전류(常用電流)는 1.8A정도로 tractor의 battery를 사용(使用)할 경우도 시동시(始動時)에 전압강하(電壓降下)에 의(依)한 컴퓨터의 오동작(誤動作)이 일어나지 않았으며 야외실험(野外實驗)에서의 적응성(適應性)이 우수하였다. 이상(以上)의 결과(結果)를 종합할 때 본(本) system은 실내(室內) 및 실외(室外) 실험(實驗)을 위(爲)한 Data auquistition system으로 활용(活用)할 수 있으며 경제적면(經濟的面)이나 정말 고속 측정(側定) 면(面)에서 우수한 성능(性能)을 갖춘 것으로 인정(認定)된다.