• 제목/요약/키워드: language models

검색결과 885건 처리시간 0.043초

Sparse Attention 모델을 활용한 효율적인 문맥 이해 (Improving Contextual Understanding Using Sparse Attention Models)

  • 허태훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.694-697
    • /
    • 2023
  • 본 논문은 문맥 이해에서 발생할 수 있는 문제점을 개선하기 위해 Sparse Attention 모델을 적용하였다. 실험 결과, 이 방법은 문맥 손실률을 상당히 줄이며 자연어 처리에 유용하다는 것을 확인하였다. 본 연구는 기계 학습과 자연어 처리분야에서 더 나은 문맥 이해를 위한 새로운 방향을 제시하며, 향후 다양한 모델과 방법론을 탐구하여 문맥 이해를 더욱 향상시킬 계획이다.

  • PDF

RDF 스키마에서 UML 클래스 다이어그램으로의 변환 (An Conversion a RDF Schema into an UML Class Diagram)

  • 이미경;하얀;김용성
    • 한국정보처리학회논문지
    • /
    • 제7권1호
    • /
    • pp.29-40
    • /
    • 2000
  • 인터넷 상의 문서가 많아지고 이에 대한 정확한 접근이 요구됨에 따라, 인터넷 자원에 대한 메타데이터를 표준화시키고, 메타베이스를 구축, 활용하는 것은 매우 중요하다. RDF(Resource Description Framework)는 구조화된 메타데이터를 표현하고, 교환하며 재사용하기 위한 기반 구조이며, 문법으로 XML을 이용하기 때문에 표준화된 메타데이터에 대한 일괄된 표현 및 교환, 처리가 가능하다. RDF 스키마는 RDF 모델에서 사용을 위해 제안한 기본 타입 시스템으로 본 논문에서는 XML로 된 RDF 스키마를 UML 클래스 다이어그램에 사상시키는 규칙과 알고리즘을 제안하고 이를 통해 객체 모델링하므로써 객체 지향 데이터베이스 스키마로의 변환을 용이하게 한다. 그리고, RDF 스키마에 대한 객체지향 스키마 형태인 형식 모델을 정의하여 객체지향 문서 처리와 검색을 위한 효율적인 환경을 제시할 것이다.

  • PDF

트랜스포머를 이용한 향상된 댓글 생성에 관한 연구 (A Study on Improved Comments Generation Using Transformer)

  • 성소윤;최재용;김경철
    • 한국게임학회 논문지
    • /
    • 제19권5호
    • /
    • pp.103-114
    • /
    • 2019
  • 온라인 커뮤니티 안에서 다른 사용자들의 글에 반응할 수 있는 딥러닝 연구를 2017년부터 진행해 왔으나, 한국어의 조사와 같은 특성으로 인한 단어처리의 어려움과 RNN 모델의 특성으로 인한 GPU 사용률 저조 문제로 인해 적은 양의 데이터로 학습을 제한해야 했다. 하지만 최근 자연어 처리 분야의 급격한 발전으로 이전보다 뛰어난 모델들이 등장함에 따라 본 연구에서는 이러한 발전된 모델을 적용해 더 나은 학습 결과를 생성해 내는 것을 목표로 한다. 이를 위해 셀프-어텐션 개념이 적용된 트랜스포머모델을 도입했고 여기에 한국어 형태소 분석기 MeCab을 적용해 단어처리의 어려움을 완화했다.

TMUML: A Singular TM Model with UML Use Cases and Classes

  • Al-Fedaghi, Sabah
    • International Journal of Computer Science & Network Security
    • /
    • 제21권6호
    • /
    • pp.127-136
    • /
    • 2021
  • In the systems and software modeling field, a conceptual model involves modeling with concepts to support development and design. An example of a conceptual model is a description developed using the Unified Modeling Language (UML). UML uses a model multiplicity formulation approach, wherein a number of models are used to represent alternative views. By contrast, a model singularity approach uses only a single integrated model. Each of these styles of modeling has its strengths and weaknesses. This paper introduces a partial solution to the issue of multiplicity vs. singularity in modeling by adopting UML use cases and class models into the conceptual thinging machine (TM) model. To apply use cases, we adopt the observation that a use-case diagram is a description that shows the internal structure of the part of the system represented by the use case in addition to being useful to people outside of the system. Additionally, the UML class diagram is recast in TM representation. Accordingly, we develop a TMUML model that embraces the TM specification of the UML class diagram and the internal structure extracted from the UML use case. TMUML modeling introduces some of the advantages that have made UML a popular modeling language to TM modeling. At the same time, this approach supplies UML with partial model singularity. The paper details experimentation with TMUML using examples from the literature. Our results indicate that mixing UML with other models could be a viable approach.

APPLICATION OF VISUALLISP PROGRAMMING LANGUAGE TO 3D SLUICE MODELING

  • Nguyen Thi Lan Truc;Po-Han Chen
    • 국제학술발표논문집
    • /
    • The 2th International Conference on Construction Engineering and Project Management
    • /
    • pp.337-345
    • /
    • 2007
  • Nowadays, it is convenient to use 3D modeling tools for general planning before construction. Normally, a 3D model is built with 3D CAD such as 3D Studio Max, Maya, etc. or simply with AutoCAD. All these software packages are effective in building 3D models but difficult to use, because many provided functions and tools require prior knowledge to build both 2D and 3D designs. Moreover, the traditional method of building 3D models is most time-consuming as experienced operators and manual input are required. Therefore, how to minimize the building time of 3D models and provide easy-to-use functions for users who are not familiar with 3D modeling becomes important. In this paper, the VisualLISP programming language is used to create a convenient tool for efficient generation of 3D components for the AutoCAD environment. This tool will be demonstrated with the generation of a 3D sluice, an artificial passage for water fitted with a valve or gate to stop or regulate water flow. With the tool, users only need to enter the parameters of a sluice in the edit box and the 3D model will be automatically generated in a few seconds. By changing parameters in the edit box and pressing the "OK" button, a new 3D sluice model will be generated in a short while.

  • PDF

실내공간구성을 위한 시각 프로그래밍 언어 기반 3차원 가상현실 저작도구 개발에 관한 연구 (Developing a Visual Programming Language-based Three-dimensional Virtual Reality Authoring Tool to Compose Virtual Interior Space)

  • 박현수;박성준;김지인;박재완
    • 한국실내디자인학회논문집
    • /
    • 제14권5호
    • /
    • pp.254-261
    • /
    • 2005
  • This paper presents an attempt to develop a visual programming language-based 3D virtual reality authoring tool intended to compose virtual interior space. The rapid development of digital technology and the wide spread of the Intenet have expanded the different uses of virtual reality in a number of applications ranging from interior design to building maintenance. In particular, the construction of cyber spaces based on existing interior spaces is becoming increasingly important. Current research, however, remains at the level of converting 3D models into virtual reality models, despite practitioners' needs for structural space models. Moreover, commercial tools to build virtual reality space have the disadvantage of targeting people who have professional knowledge of computer programs and computer graphics. Accordingly, the 3D virtual reality authoring tool developed in this research - called the VESL system - enables virtual and structural space to be easily composed using intuitive and interactive visual interfaces, which are based on visual programming techniques. The VESL system also provides an XML based semantic description of interior space, to be used to describe interior space information. We anticipate that the virtual reality spaces composed by this system will be of considerable use in the fields of architecture and interior design. Further research issues identified at the end of the research include developing a converter/filter for transforming Internet virtual reality standard language, or VRML, and evaluating the application of the system for practical use.

반복학습법에 의해 작성한 N-gram 언어모델을 이용한 연속음성인식에 관한 연구 (Continuous Speech Recognition Using N-gram Language Models Constructed by Iterative Learning)

  • 오세진;황철준;김범국;정호열;정현열
    • 한국음향학회지
    • /
    • 제19권6호
    • /
    • pp.62-70
    • /
    • 2000
  • 일반적으로 통계적 언어모델의 확률을 추정하는 방법은 대량의 텍스트 데이터로부터 출현빈도가 높은 단어를 선택하여 사용하고 있다. 하지만 특정 태스크에서 적용할 언어모델의 경우 시간적, 비용적 측면을 고려할 때 대용량의 텍스트의 사용은 비효율적일 것이다. 본 논문에서는 특정 태스크에서 사용하기 위해 소량의 텍스트 데이터로부터 효율적인 언어모델을 작성하는 방법을 제안한다. 즉, 언어모델을 작성할 때 출현빈도가 낮은 단어의 빈도를 개선하기 위해 같은 문장을 반복하여 학습에 참가시키므로 단어의 발생확률을 좀 더 강건하게 하였으며 제안된 언어모델을 이용하여 3명이 발성한 항공편 예약관련 200문장에 대하여 연속음성인식 실험을 수행하였다. 인식실험 결과, 반복학습에 의해 작성한 언어모델을 이용한 경우가 반복학습 적용 전에 비하여 평균 20.4%의 인식률 향상을 보였다. 또한 기존의 문맥자유문법을 이용한 시스템과 비교하여 인식률이 평균 13.4% 향상되어 제안한 방법이 시스템에 유효함을 확인하였다.

  • PDF

다양한 연속밀도 함수를 갖는 HMM에 대한 우리말 음성인식에 관한 연구 (The Study of Korean Speech Recognition for Various Continue HMM)

  • 우인성;신좌철;강흥순;김석동
    • 전기전자학회논문지
    • /
    • 제11권2호
    • /
    • pp.89-94
    • /
    • 2007
  • 본 논문은 연속 밀도 함수를 갖는 HMM별 한국어 연속 음성인식에 관한 연구이다. 여기서 우리는 밀도 함수가 2개에서 44개까지 갖는 연속 HMM모델에서 가장 효율적인 연속 음성인식을 위한 방법을 제시한다. 음성 모델은 36개로 구성한 기본음소를 사용한 CI-Model과 3,000개로 구성한 확장음소를 사용한 CD-Model을 사용하였고, 언어 모델은 N-gram을 이용하여 처리하였다. 이 방법을 사용하여 500개의 문장과 6,486개의 단어에 대하여 화자 독립으로 CI Model에서 최고 94.4%의 단어인식률과 64.6%의 문장인식률을 얻었고, CD Model에서는98.2%의 단어인식률과 73.6%의 문장인식률을 안정적으로 얻었다.

  • PDF

BiLSTM 모델과 형태소 자질을 이용한 서술어 인식 방법 (Predicate Recognition Method using BiLSTM Model and Morpheme Features)

  • 남충현;장경식
    • 한국정보통신학회논문지
    • /
    • 제26권1호
    • /
    • pp.24-29
    • /
    • 2022
  • 정보 추출 및 질의응답 시스템 등 다양한 자연어 처리 분야에서 사용되는 의미역 결정은 주어진 문장과 서술어에 대해 서술어와 연관성 있는 논항들의 관계를 파악하는 작업이다. 입력으로 사용되는 서술어는 형태소 분석과 같은 어휘적 분석 결과를 이용하여 추출하지만, 한국어 특성상 문장의 의미에 따라 다양한 패턴을 가질 수 있기 때문에 모든 언어학적 패턴을 만들 수 없다는 문제점이 있다. 본 논문에서는 사전에 언어학적 패턴을 정의하지 않고 신경망 모델과 사전 학습된 임베딩 모델 및 형태소 자질을 추가한 한국어 서술어를 인식하는 방법을 제안한다. 실험은 모델의 변경 가능한 파라미터에 대한 성능 비교, 임베딩 모델과 형태소 자질의 사용 유무에 따른 성능 비교를 하였으며, 그 결과 제안한 신경망 모델이 92.63%의 성능을 보였음을 확인하였다.

한국어 학습 모델별 한국어 쓰기 답안지 점수 구간 예측 성능 비교 (Comparison of Korean Classification Models' Korean Essay Score Range Prediction Performance)

  • 조희련;임현열;이유미;차준우
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권3호
    • /
    • pp.133-140
    • /
    • 2022
  • 우리는 유학생이 작성한 한국어 쓰기 답안지의 점수 구간을 예측하는 문제에서 세 개의 딥러닝 기반 한국어 언어모델의 예측 성능을 조사한다. 이를 위해 총 304편의 답안지로 구성된 실험 데이터 세트를 구축하였는데, 답안지의 주제는 직업 선택의 기준('직업'), 행복한 삶의 조건('행복'), 돈과 행복('경제'), 성공의 정의('성공')로 다양하다. 이들 답안지는 네 개의 점수 구간으로 구분되어 평어 레이블(A, B, C, D)이 매겨졌고, 총 11건의 점수 구간 예측 실험이 시행되었다. 구체적으로는 5개의 '직업' 답안지 점수 구간(평어) 예측 실험, 5개의 '행복' 답안지 점수 구간 예측 실험, 1개의 혼합 답안지 점수 구간 예측 실험이 시행되었다. 이들 실험에서 세 개의 딥러닝 기반 한국어 언어모델(KoBERT, KcBERT, KR-BERT)이 다양한 훈련 데이터로 미세조정되었다. 또 두 개의 전통적인 확률적 기계학습 분류기(나이브 베이즈와 로지스틱 회귀)도 그 성능이 분석되었다. 실험 결과 딥러닝 기반 한국어 언어모델이 전통적인 기계학습 분류기보다 우수한 성능을 보였으며, 특히 KR-BERT는 전반적인 평균 예측 정확도가 55.83%로 가장 우수한 성능을 보였다. 그 다음은 KcBERT(55.77%)였고 KoBERT(54.91%)가 뒤를 이었다. 나이브 베이즈와 로지스틱 회귀 분류기의 성능은 각각 52.52%와 50.28%였다. 학습된 분류기 모두 훈련 데이터의 부족과 데이터 분포의 불균형 때문에 예측 성능이 별로 높지 않았고, 분류기의 어휘가 글쓰기 답안지의 오류를 제대로 포착하지 못하는 한계가 있었다. 이 두 가지 한계를 극복하면 분류기의 성능이 향상될 것으로 보인다.