• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.175-180
• /
• 2019

관계 추출은 문서에서 존재하는 트리플(주어, 관계어, 목적어)형식에 해당하는 단어를 추출하는 작업을 뜻한다. 본 논문에서는 멀티헤드 셀프 어텐션을 이용하여 트리플 중 주어나 목적어를 찾는 구조를 제안한다. 한국어 위키피디아와 DBpedia의 관계어를 단어 임베딩을 통해 벡터를 생성하고 입력한다. 초록과 관계어의 어텐션 이후 멀티 헤드 셀프 어텐선 구조를 통해 초록 중 관계어와 관련 있는 단어들의 가중치가 높아 진다. 멀티헤드 셀프 어텐션 과정을 반복하여 주요 단어들의 가중치가 계속해서 높아진다. 이를 입력으로 하여 정답이 될 단어의 시작과 끝을 선택한다. 제안 방법으로 직접 구축한 한국어 관계 추출 데이터셋을 대상으로 F1 0.7981의 성능을 보였다. 제안 방법은 관계어와 같이 단순한 정보만을 이용하고도 초록에서 적절한 정답 단어를 추출할 수 있음을 확인하였다. 관계어의 범위를 확장함으로서 나아가 육하원칙(5W1H)과 같은 이벤트의 추출에도 활용할 수 있을 것이다.

• 스마트미디어저널
• /
• 제13권3호
• /
• pp.53-61
• /
• 2024

본 논문은 기존 방법보다 우수한 성능을 달성하는 피부 병변 분할을 위한 새로운 M자 모양 인코더-디코더 아키텍처를 제안한다. 제안된 아키텍처는 왼쪽과 오른쪽 다리를 활용하여 다중 스케일 특징 추출을 가능하게 하고, 스킵 연결 내에서 어텐션 메커니즘을 통합하여 피부 병변 분할 성능을 더욱 향상시킨다. 입력 영상은 네 가지 다른 패치로 분할되어 입력되며 인코더-디코더 프레임워크 내에서 피부 병변 분할 성능의 향상된 처리를 가능하게 한다. 제안하는 방법에서 어텐션 메커니즘을 통해 입력 영상의 특징에 더 많은 초점을 맞추어 더욱 정교한 영상 분할 결과를 도출하는 것이다. 실험 결과는 제안된 방법의 효과를 강조하며, 기존 방법과 비교하여 우수한 정확도, 정밀도 및 Jaccard 지수를 보여준다.

• 한국정보통신학회논문지
• /
• 제24권12호
• /
• pp.1595-1603
• /
• 2020

포털 사이트의 인터넷 뉴스 댓글, SNS, 커뮤니티 사이트 등의 온라인상에서 명예 훼손 사건이 최근 점점 증가하고 있다. 온라인상의 차별 및 혐오 표현은 명예 훼손 문제뿐만 아니라 사생활 침해, 인신 공격 등 다양한 형태로 온라인 서비스 이용자들을 위협하고 있다. 지난 몇 년간 산업계와 학계는 이러한 문제를 해결하고자 다양한 방법으로 연구해왔다. 하지만 한국어 대상으로 수행된 딥러닝 기반 혐오 표현 탐지 연구는 아직까지 부족한 상황이다. 본 연구의 목적은 혐오 표현뿐만 아니라 다양한 차별적 표현에 대한 탐지를 위해 데이터셋을 구축하고 이를 분류하기 위한 딥러닝 모델링을 실험하는 것이다. 데이터셋 구축은 10명의 인원이 교차적으로 검토를 하면서 7개 항목에 대한 라벨링 기준을 확립했다. 본 연구는 약 137,111개에 해당하는 한국어 인터넷 뉴스 댓글 데이터셋에 대해 7개의 항목을 각각 이진 분류하고, 이를 딥러닝 기법을 통해 분석한다. 본 연구에서 제안하는 기법은 어텐션 기반 다중 채널 CNN 모델링 기법이다. 실험 결과 7개 항목에 대해 가중 평균 f1 점수를 평가했을 때, 70.32%의 성능을 달성했다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.418-423
• /
• 2022

한국어 형태소 분석은 자연어 처리의 기초가 되는 태스크이므로 빠르게 결과를 출력해야 한다. 기존연구는 자동회귀 모델을 한국어 형태소 분석에 적용하여 좋은 성능을 기록하였다. 하지만 자동회귀 모델은 느리다는 단점이 있고, 이 문제를 극복하기 위해 비자동회귀 모델을 사용할 수 있다. 비자동회귀 모델을 한국어 형태소 분석에 적용하면 조화롭지 않은 시퀀스 문제와 토큰 반복 문제가 발생한다. 본 논문에서는 두 문제를 해결하기 위하여 다중 디코더 기반의 한국어 형태소 분석을 제안한다. 조화롭지 않은 시퀀스는 다중 디코더를 적용함으로써, 토큰 반복 문제는 두 개의 디코더에 서로 어텐션을 적용하여 문제를 완화할 수 있다. 본 논문에서 제안한 모델은 세종 형태소 분석 말뭉치를 대상으로 좋은 성능을 확보하면서 빠르게 결과를 생성할 수 있음을 실험적으로 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.572-577
• /
• 2020

일관된 발화를 생성함에 있어 인격데이터(persona)의 도입을 이용한 연구가 활발히 진행되고 있지만, 한국어 데이터셋의 부재와 데이터셋 생성의 어려움이 문제점으로 지적된다. 본 연구에서는 인격데이터를 포함하지 않고 일관된 발화를 생성할 수 있는 방법으로 다중 대화 시스템에서 사전 학습된 자연어 추론(NLI) 모델을 도입하는 방법을 제안한다. 자연어 추론 모델을 이용한 관계 분석을 통해 과거 대화 내용 중 발화 생성에 이용할 대화를 선택하고, 자가 참조 모델(self-attention)과 다중 어텐션(multi-head attention) 모델을 활용하여 과거 대화 내용을 반영한 발화를 생성한다. 일관성 있는 발화 생성을 위해 기존 NLI데이터셋으로 수행할 수 있는 새로운 학습모델 nMLM을 제안하고, 이 방법이 일관성 있는 발화를 만드는데 기여할 수 있는 방법에 대해 연구한다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.101-101
• /
• 2023

지난 수십 년 동안 다양한 딥러닝 방법이 개발되고 있으며 수문 분야에서는 이러한 딥러닝 모형이 기존의 수문모형의 역할을 대체하여 사용할 수 있다는 가능성이 제시되고 있다. 본 연구에서는 딥러닝 모형 중에 트랜스포머 모형에 다중 인코더를 사용하여 중장기 기간 (1 ~ 10일)의 리드 타임에 대한 한국의 유출량 예측 전망의 가능성을 확인하고자 하였다. 트랜스포머 모형은 인코더와 디코더 구조로 구성되어 있으며 어텐션 (attention) 기법을 사용하여 기존 모형의 정보를 손실하는 단점을 보완한 모형이다. 본 연구에서 사용된 다중 인코더 기반의 트랜스포머 모델은 트랜스포머의 인코더와 디코더 구조에서 인코더를 하나 더 추가한 모형이다. 그리고 결과 비교를 위해 기존에 수문모형을 활용한 스태킹 앙상블 모형 (Stacking ensemble model) 기반의 예측모형을 추가로 구축하였다. 구축된 모형들은 남한 전체를 총 469개의 대규모 격자로 나누어 각 격자의 유출량을 비교하여 평가하였다. 결과적으로 수문모형보다 딥러닝 모형인 다중 인코더 기반의 트랜스포머 모형이 더 긴 리드 타임에서 높은 성능을 나타냈으며 이를 통해 수문모형의 역할을 딥러닝 모형이 어느 정도는 대신할 수 있고 높은 성능을 가질 수 있는 것을 확인하였다.

• 한국항행학회논문지
• /
• 제27권2호
• /
• pp.190-196
• /
• 2023

최근 들어, 라이다 기술의 발전에 따라 정확한 거리 측정이 가능해지면서 라이다 기반의 3차원 객체 탐지 네트워크에 대한 관심이 증가하고 있다. 기존의 네트워크는 복셀화 및 다운샘플링 과정에서 공간적인 정보 손실이 발생해 부정확한 위치 추정 결과를 발생시킨다. 본 연구에서는 고수준 특징과 높은 위치 정확도를 동시에 획득하기 위해 어텐션 기반 융합 방식과 카메라-라이다 융합 시스템을 제안한다. 먼저, 그리드 기반의 3차원 객체 탐지 네트워크인 Voxel-RCNN 구조에 어텐션 방식을 도입함으로써, 다중 스케일의 희소 3차원 합성곱 특징을 효과적으로 융합하여 3차원 객체 탐지의 성능을 높인다. 다음으로, 거짓 양성을 제거하기 위해 3차원 객체 탐지 네트워크의 탐지 결과와 이미지상의 2차원 객체 탐지 결과를 결합하는 카메라-라이다 융합 시스템을 제안한다. 제안 알고리즘의 성능평가를 위해 자율주행 분야의 KITTI 데이터 세트를 이용하여 기존 알고리즘과의 비교 실험을 수행한다. 결과적으로, 차량 클래스에 대해 BEV 상의 2차원 객체 탐지와 3차원 객체 탐지 부분에서 성능 향상을 보였으며 특히 Voxel-RCNN보다 차량 Moderate 클래스에 대하여 정확도가 약 0.47% 향상되었다.

• 응용통계연구
• /
• 제37권5호
• /
• pp.567-582
• /
• 2024

지난 10년의 기간 심층신경망의 비약적 발전은 언어모형의 개발과 그 발전을 함께 해 왔다. 언어모형은 초기 RNN을 이용한 encoder-decoder 모형의 형태로 개발되었으나, 2015년 attention이 등장하고, 2017년 transformer가 등장하여 혁명적 기술로 성장하였다. 본 연구에서는 언어모형의 발전과정을 간략하게 살펴보고, 트랜스포머의 작동원리와 기술적 요소에 대하여 구체적으로 살펴본다. 동시에 언어모형, 트랜스포머와 관련되는 통계모형과, 방법론에 대하여 함께 검토한다.

• 한국항행학회논문지
• /
• 제28권2호
• /
• pp.238-245
• /
• 2024

본 논문에서는 농작물 다중 분광 이미지에 대해 특징 융합 기법을 이용하여 의미론적 분할 성능을 향상시키기 위한 프레임워크를 제안한다. 스마트팜 분야에서 연구 중인 딥러닝 기술 중 의미론적 분할 모델 대부분은 RGB(red-green-blue)로 학습을 진행하고 있고 성능을 높이기 위해 모델의 깊이와 복잡성을 증가시키는 데에 집중하고 있다. 본 연구는 기존 방식과 달리 다중 분광과 어텐션 메커니즘을 통해 모델을 최적화하여 설계한다. 제안하는 방식은 RGB 단일 이미지와 함께 UAV (unmanned aerial vehicle)에서 수집된 여러 채널의 특징을 융합하여 특징 추출 성능을 높이고 상호보완적인 특징을 인식하여 학습 효과를 증대시킨다. 특징 융합에 집중할 수 있도록 모델 구조를 개선하고, 작물 이미지에 유리한 채널 및 조합을 실험하여 다른 모델과의 성능을 비교한다. 실험 결과 RGB와 NDVI (normalized difference vegetation index)가 융합된 모델이 다른 채널과의 조합보다 성능이 우수함을 보였다.

• 한국멀티미디어학회논문지
• /
• 제24권10호
• /
• pp.1380-1390
• /
• 2021

The video face recognition (FR) is one of the most popular researches in the field of computer vision due to a variety of applications. In particular, research using the attention mechanism is being actively conducted. In video face recognition, attention represents where to focus on by using the input value of the whole or a specific region, or which frame to focus on when there are many frames. In this paper, we propose a novel attention based deep learning method. Main novelties of our method are (1) the use of combining two loss functions, namely weighted Softmax loss function and a Triplet loss function and (2) the feasibility of end-to-end learning which includes the feature embedding network and attention weight computation. The feature embedding network has a positive effect on the attention weight computation by using combined loss function and end-to-end learning. To demonstrate the effectiveness of our proposed method, extensive and comparative experiments have been carried out to evaluate our method on IJB-A dataset with their standard evaluation protocols. Our proposed method represented better or comparable recognition rate compared to other state-of-the-art video FR methods.