• 제목/요약/키워드: 딥러닝 언어모델

검색결과 248건 처리시간 0.02초

EPC 프로젝트의 위험 관리를 위한 ITB 문서 조항 분류 모델 연구: 딥러닝 기반 PLM 앙상블 기법 활용 (Research on ITB Contract Terms Classification Model for Risk Management in EPC Projects: Deep Learning-Based PLM Ensemble Techniques)

  • 이현상;이원석;조보근;이희준;오상진;유상우;남마루;이현식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권11호
    • /
    • pp.471-480
    • /
    • 2023
  • 국내 건설수주 규모는 2013년 91.3조원에서 2021년 총 212조원으로 특히 민간부문에서 크게 성장하였다. 국내외 시장 규모가 성장하면서, EPC(Engineering, Procurement, Construction) 프로젝트의 규모와 복잡성이 더욱 증가되고, 이에 프로젝트 관리 및 ITB(Invitation to Bid) 문서의 위험 관리가 중요한 이슈가 되고 있다. EPC 프로젝트 발주 이후 입찰 절차에서 실제 건설 회사에게 부여되는 대응 시간은 한정적일 뿐만 아니라, 인력 및 비용의 문제로 ITB 문서 계약 조항의 모든 리스크를 검토하는데 매우 어려움이 있다. 기존 연구에서는 이와 같은 문제를 해결하고자 EPC 계약 문서의 위험 조항을 범주화하고, 이를 AI 기반으로 탐지하려는 시도가 있었으나, 이는 레이블링 데이터 활용의 한계와 클래스 불균형과 같은 데이터 측면의 문제로 실무에서 활용할 수 있는 수준의 지원 시스템으로 활용하기 어려운 상황이다. 따라서 본 연구는 기존 연구와 같이 위험 조항 자체를 정의하고 분류하는 것이 아니라, FIDIC Yellow 2017(국제 컨설팅엔지니어링 연맹 표준 계약 조건) 기준 계약 조항을 세부적으로 분류할 수 있는 AI 모델을 개발하고자 한다. 프로젝트의 규모, 유형에 따라서 세부적으로 검토해야 하는 계약 조항이 다를 수 있기 때문에 이와 같은 다중 텍스트 분류 기능이 필요하다. 본 연구는 다중 텍스트 분류 모델의 성능 고도화를 위해서 최근 텍스트 데이터의 컨텍스트를 효율적으로 학습할 수 있는 ELECTRA PLM(Pre-trained Language Model)을 사전학습 단계부터 개발하고, 해당 모델의 성능을 검증하기 위해서 총 4단계 실험을 진행했다. 실험 결과, 자체 개발한 ITB-ELECTRA 모델 및 Legal-BERT의 앙상블 버전이 57개 계약 조항 분류에서 가중 평균 F1-Score 기준 76%로 가장 우수한 성능을 달성했다.

조음장애 아동의 언어학습을 위한 인공지능 애플리케이션 UX/UI 연구 (Artificial intelligence application UX/UI study for language learning of children with articulation disorder)

  • 양은미;박대우
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.174-176
    • /
    • 2022
  • 본 논문에서는인공지능(AI; Artificial Intelligence)알고리즘을 활용한 조음 장애 아동들의 '개인화된 맞춤형 학습' 모바일 애플리케이션을 제시한다. 조음과 관련된 빅데이터(Big Data)를 수집-정제-가공한 데이터 셋(Data Set)으로 학습자의 조음 상황 및 정도를 분석, 판단, 예측한다. 특히, 인공지능 활용 시 기존 애플리케이션에 비해 어떻게 개선되고 고도화할수 있는지를 UX/UI(GUI) 측면에서 바라보고 프로토타입 모델을 설계해 보았다. 지금까지 시각적 경험에 많이 치중해 있었다면, 이제는 데이터를 어떻게 가공하여 사용자에게 UX/UI(GUI) 경험을 제공할 수 있는지가 중요한 시점이다. 제시한 모바일 애플리케이션의 UX/UI(GUI)는 딥러닝(Deep Learning)의 CRNN(Convolution Recurrent Neural Network)과 Auto Encoder GPT-3 (Generative Pretrained Transformer)를 활용하여 학습자의 조음 정도와 상황에 맞게 제공하고자 하였다. 인공지능 알고리즘의 활용은 조음 장애 아동들에게 완성도 높은 학습환경을 제공하여 학습효과를 높일 수 있를 것이다. '개인화된 맞춤형 학습'으로 조음의 완성도를 높여서, 대화에 대한 두려움이나 불편함을 갖지 않길 바란다.

  • PDF

텍스트마이닝을 이용한 한국 대통령의 해양관에 관한 연구 (A Study on Text Mining Analysis of Presidential Maritime Concept in KOREA)

  • 김성국;이태휘
    • 한국항만경제학회지
    • /
    • 제36권3호
    • /
    • pp.39-54
    • /
    • 2020
  • 대통령 중심제의 정치체제에서는 대통령의 언어가 국가정책의 형성과 의사결정 과정에 지대한 영향을 미치게 된다. 대통령의 이념과 중심가치에 따라 정책우선순위가 결정되고 그 우선순위에 따라 다양한 정책이 수립되고 집행된다. 그래서 대통령의 연설문을 내용분석하는 연구가 관심의 대상이 되고 있다. 대통령의 연설문은 언어 자료이기 때문에 비정형이면서 비구조화 된 텍스트를 분석하기 위해서는 기계학습과 딥러닝의 방법을 통해 빅데이터 분석이 이루어지고 있다. 본 연구에서는 1996년부터 24년간에 걸쳐 "바다의 날" 기념식의 대통령 연설문을 확보하여 텍스트마이닝 방법의 일종인 토픽모델링의 방법으로 분석하였다. 분석결과 역대 대통령은 모두 자신의 국정운영 방향에 부합되는 해양관을 가지고 연설문을 발표하였다는 것을 확인하였다. 해양의 고유가치인 해양-산업-자원 토픽은 훼손되지 않고 지속적으로 역대 대통령이 모두 강조하고 있음을 확인하였다.

인공지능 기반의 말더듬 자동분류 방법: 합성곱신경망(CNN) 활용 (AI-based stuttering automatic classification method: Using a convolutional neural network)

  • 박진;이창균
    • 말소리와 음성과학
    • /
    • 제15권4호
    • /
    • pp.71-80
    • /
    • 2023
  • 본 연구는 말더듬 화자들의 음성 데이터를 기반으로 하여, 인공지능 기술을 활용한 말더듬 자동 식별 방법을 개발하는 것을 주목적으로 진행되었다. 특히, 한국어를 모국어로 하는 말더듬 화자들을 대상으로 CNN(convolutional neural network) 알고리즘을 활용한 식별기 모델을 개발하고자 하였다. 이를 위해 말더듬 성인 9명과 정상화자 9명을 대상으로 음성 데이터를 수집하고, Google Cloud STT(Speech-To-Text)를 활용하여 어절 단위로 자동 분할한 후 유창, 막힘, 연장, 반복 등의 라벨을 부여하였다. 또한 MFCCs(mel frequency cepstral coefficients)를 추출하여 CNN 알고리즘을 기반한 말더듬 자동 식별기 모델을 수립하고자 하였다. 연장의 경우 수집결과가 5건으로 나타나 식별기 모델에서 제외하였다. 검증 결과, 정확도는 0.96으로 나타났고, 분류성능인 F1-score는 '유창'은 1.00, '막힘'은 0.67, '반복'은 0.74로 나타났다. CNN 알고리즘을 기반한 말더듬 자동분류 식별기의 효과를 확인하였으나, 막힘 및 반복유형에서는 성능이 미흡한 것으로 나타났다. 향후 말더듬의 유형별 충분한 데이터 수집을 통해 추가적인 성능 검증이 필요함을 확인하였다. 향후 말더듬 화자의 발화 빅데이터 확보를 통해 보다 신뢰성 있는 말더듬 자동 식별 기술의 개발과 함께 이를 통한 좀 더 고도화된 평가 및 중재 관련 서비스가 창출되기를 기대해 본다.

음성특징의 거리에 기반한 한국어 발음의 시각화 (Visualization of Korean Speech Based on the Distance of Acoustic Features)

  • 복거철
    • 한국정보전자통신기술학회논문지
    • /
    • 제13권3호
    • /
    • pp.197-205
    • /
    • 2020
  • 한국어는 자음과 모음과 같은 음소 단위의 발음은 고정되어 있고 표기에 대응하는 발음은 변하지 않기 때문에 외국인 학습자가 쉽게 접근할 수 있다. 그러나 단어와 어구, 문장을 말할 때는 음절과 음절의 경계에서 소리의 변동이 다양하고 복잡하며 표기와 발음이 일치하지 않기 때문에 외국어로서의 한국어 표준 발음 학습은 어려운 면이 있다. 그러나 영어 같은 다른 언어와 달리 한국어의 표기와 발음의 관계는 논리적인 원리에 따라 예외 없이 규칙화 할 수 있는 장점이 있으므로 발음오류에 대해 체계적인 분석이 가능한 것으로 여겨진다. 본 연구에서는 오류 발음과 표준 발음의 차이를 컴퓨터 화면상의 상대적 거리로 표현하여 시각화하는 모델을 제시한다. 기존 연구에서는 발음의 특징을 단지 컬러 또는 3차원 그래픽으로 표현하거나 입과 구강의 변화하는 형태를 애니메이션으로 보여 주는 방식에 머물러 있으며 추출하는 음성의 특징도 구간의 평균과 같은 점 데이터를 이용하는데 그치고 있다. 본 연구에서는 시계열로 표현되는 음성데이터의 특성 및 구조를 요약하거나 변형하지 않고 직접 이용하는 방법을 제시한다. 이를 위해서 딥러닝 기법을 토대로 자기조직화 알고리즘과 variational autoencoder(VAE) 모델 및 마코브 확률모델을 결합한 확률적 SOM-VAE 기법을 사용하여 클러스터링 성능을 향상시켰다.

Analyzing Correlations between Movie Characters Based on Deep Learning

  • Jin, Kyo Jun;Kim, Jong Wook
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권10호
    • /
    • pp.9-17
    • /
    • 2021
  • 인간은 사회적인 동물로서, 대화로써 정보를 얻거나 사회적인 교류를 해왔다. 대화는 두 사람 이상의 작은 모임에서 서로 말을 편하게 주고받는 것으로, 한 사람이 다른 사람에게 가지는 감성에 따라 그 말의 분위기가 달라질 수 있다. 영화에서 인물들과 인물들이 펼치는 이야기는 중요한 요소로 작용하며, 인물들 간의 관계는 이야기와 인물 간의 대사를 이해하는데 꼭 필요하다. 그러나 이런 정보를 영화에서 자동으로 추출하는 방법은 아직까지 연구되지 않아서 관객들에게 제공되고 있지 못하고 있다. 따라서, 영화 속 양상을 자동으로 분석하는 모델이 필요하다. 본 논문에서는 딥 러닝 기법을 활용하여 각 영화 등장 인물들 간의 감성을 측정하여 영화 속 인물들 간의 관계를 효과적으로 분석하는 방법을 제안한다. 제안 방법은 먼저 영화 대본으로부터 주요 인물들을 추출하고, 주요 인물들 간의 대화를 효과적으로 찾는다. 그런 다음, 주요 인물들 간의 관계를 분석하기 위하여, 감성 분석을 수행하여 전체 시간 간격 내 대사의 위치에 따라 가중치를 부여하고 점수를 수집한다. 또한, 실데이터를 이용한 실험을 통하여 제안 기법이 효과적으로 영화 등장 인물들 간의 감성을 분석할 수 있음을 보인다.

A BERGPT-chatbot for mitigating negative emotions

  • Song, Yun-Gyeong;Jung, Kyung-Min;Lee, Hyun
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권12호
    • /
    • pp.53-59
    • /
    • 2021
  • 본 연구에서는 '레플리카'와 같은 텍스트 입력 기반의 부정적 감정 완화가 가능한 국내 인공지능 챗봇인 BERGPT-chatbot을 제안하고자 한다. BERGPT-chatbot은 KR-BERT와 KoGPT2-chatbot을 파이프라인으로 만들어 감정 완화 챗봇을 모델링하였다. KR-BERT를 통해 정제되지 않은 일상 데이터셋에 감정을 부여하고, 추가 데이터셋을 KoGPT2-chatbot을 통해 학습하는 방식이다. BERGPT-chatbot의 개발 배경은 다음과 같다. 현재 전 세계적으로 우울증 환자가 증가하고 있으며, 이는 COVID-19로 인해 장기적 실내 생활이나 대인 관계 제한으로 더욱 심각한 문제로 대두되었다. 그로 인해 부정적 감정 완화나 정신 건강 케어에 목적을 둔 국외의 인공지능 챗봇이 팬데믹 사태로 사용량이 증가하였다. 국내에서도 국외의 챗봇과 비슷한 심리 진단 챗봇이 서비스 되고 있으나, 국내의 챗봇은 텍스트 입력 기반 답변이 아닌 버튼형 답변 중심으로 국외 챗봇과 비교하였을 때 심리 진단 수준에 그쳐 아쉬운 실정이다. 따라서, BERGPT-chatbot을 통해 감정 완화에 도움을 주는 챗봇을 제안하였으며, BERGPT-chatbot과 KoGPT2-chatbot을 언어 모델의 내부 평가 지표인 '퍼플렉서티'를 통해 비교 분석하여 BERGPT-chatbot의 우수함을 보여주고자 한다.

Lexicon transducer를 적용한 conformer 기반 한국어 end-to-end 음성인식 (Conformer with lexicon transducer for Korean end-to-end speech recognition)

  • 손현수;박호성;김규진;조은수;김지환
    • 한국음향학회지
    • /
    • 제40권5호
    • /
    • pp.530-536
    • /
    • 2021
  • 최근 들어 딥러닝의 발달로 인해 Hidden Markov Model(HMM)을 사용하지 않고 음성 신화와 단어를 직접 매핑하여 학습하는 end-to-end 음성인식 방법이 각광을 받고 있으며 그 중에서도 conformer가 가장 좋은 성능을 보이고 있다. 하지만 end-to-end 음성인식 방법은 현재 시점에서 어떤 자소 또는 단어가 나타날지에 대한 확률에 대해서만 초점을 두고 있다. 그 이후의 디코딩 과정은 현재 시점에서 가장 높은 확률을 가지는 자소를 출력하거나 빔 탐색을 사용하며 이러한 방식은 모델이 출력하는 확률 분포에 따라 최종 결과에 큰 영향을 받게 된다. 또한 end-to-end 음성인식방식은 전통적인 음성인식 방법과 비교 했을 때 구조적인 문제로 인해 외부 발음열 정보와 언어 모델의 정보를 사용하지 못한다. 따라서 학습 자료에 없는 발음열 변환 규칙에 대한 대응이 쉽지 않다. 따라서 본 논문에서는 발음열 정보를 담고 있는 Lexicon transducer(L transducer)를 이용한 conformer의 디코딩 방법을 제안한다. 한국어 데이터 셋 270 h에 대해 자소 기반 conformer의 빔 탐색 결과와 음소 기반 conformer에 L transducer를 적용한 결과를 비교 평가하였다. 학습자료에 등장하지 않는 단어가 포함된 테스트 셋에 대해 자소 기반 conformer는 3.8 %의 음절 오류율을 보였으며 음소 기반 conformer는 3.4 %의 음절 오류율을 보였다.