• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.320-325
• /
• 2021

BERT는 사전 학습 단계에서 다음 문장 예측 문제와 마스킹된 단어에 대한 예측 문제를 학습하여 여러 자연어 다운스트림 태스크에서 높은 성능을 보였다. 본 연구에서는 BERT의 사전 학습 문제 중 다음 문장 예측 문제에 대해 주목했다. 다음 문장 예측 문제는 자연어 추론 문제와 질의 응답 문제와 같이 임의의 두 문장 사이의 관계를 모델링하는 문제들에 성능 향상을 위해 사용되었다. 하지만 BERT의 다음 문장 예측 문제는 두 문장을 특수 토큰으로 분리하여 단일 문자열 형태로 모델에 입력으로 주어지는 cross-encoding 방식만을 학습하기 때문에 문장을 각각 인코딩하는 bi-encoding 방식의 다운스트림 태스크를 고려하지 않은 점에서 아쉬움이 있다. 본 논문에서는 기존 BERT의 다음 문장 예측 문제를 확장하여 bi-encoding 방식의 다음 문장 예측 문제를 추가적으로 사전 학습하여 단일 문장 분류 문제와 문장 임베딩을 활용하는 문제에서 성능을 향상 시키는 Bi-Cross 사전 학습 기법을 소개한다. Bi-Cross 학습 기법은 영화 리뷰 감성 분류 데이터 셋인 NSMC 데이터 셋에 대해 학습 데이터의 0.1%만 사용하는 학습 환경에서 Bi-Cross 사전 학습 기법 적용 전 모델 대비 5점 가량의 성능 향상이 있었다. 또한 KorSTS의 bi-encoding 방식의 문장 임베딩 성능 평가에서 Bi-Cross 사전 학습 기법 적용 전 모델 대비 1.5점의 성능 향상을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.173-177
• /
• 2021

분절을 통한 양질의 입력 자질을 구성하는 것은 언어모델의 문장에 대한 이해도를 높이기 위한 필수적인 단계이다. 분절은 문장의 의미를 이해하는 데 있어 중요한 역할을 하기 때문이다. 따라서, 한국어 문장 분류 태스크를 수행함에 있어 한국어의 특징에 맞는 분절 기법을 선택하는 것은 필수적이다. 명확한 판단 기준 마련을 위해, 우리는 한국어 문장 분류 태스크에서 가장 효과적인 분절 기법이 무엇인지 감성 분석, 자연어 추론, 텍스트 간 의미적 유사성 판단 태스크를 통해 검증한다. 이 때 비교할 분절 기법의 유형 분류 기준은 언어학적 단위에 따라 어절, 형태소, 음절, 자모 네 가지로 설정하며, 분절 기법 외의 다른 실험 환경들은 동일하게 설정하여 분절 기법이 문장 분류 성능에 미치는 영향만을 측정하도록 한다. 실험 결과에 따르면 자모 단위의 분절 기법을 적용한 모델이 평균적으로 가장 높은 성능을 보여주며, 반복 실험 간 편차가 적어 일관적인 성능 결과를 기록함을 확인할 수 있다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.485-490
• /
• 2023

언어 모델 발전에 따라 사람과 유사하게 글을 생성하고 태스크를 수행하는 LLM들이 등장하고 있다. 하지만 아직까지도 기계와 사람의 수행 과정에 초점을 맞추어 차이점을 드러내는 연구는 활성화되지 않았다. 본 연구는 자연어 이해 및 생성 태스크 수행 시 기계와 인간의 수행 과정 차이를 밝히고자 하였다. 이에 이해 태스크로는 문법성 판단, 생성 태스크로는 요약 태스크를 대상 태스크로 선정하였고, 기존 주류 사전학습 모델이었던 transformer 계열 모델과 LLM인 ChatGPT 3.5를 사용하여 실험을 진행하였다. 실험 결과 문법성 판단 시 기계들이 인간의 언어적 직관을 반영하지 못하는 양상을 발견하였고, 요약 태스크에서는 인간과 기계의 성능 판단 기준이 다름을 확인하였다.

• Proceedings of the Korean Environmental Sciences Society Conference
• /
• 2006.11a
• /
• pp.255-260
• /
• 2006

천수만의 수리 역학 및 수질 모델을 위하여 3차원 수리역학 모델(EFDC)과 21개 수질 변수에 대한 수질 모델이 접합된 3차원 수리역학-부영양화 모델(HEM-3D)을 이용하였다. 관측 자료에 대한 모델 검증 결과, 조위는 관측치에 비해 5% 정도, 유속은 10% 정도 작은 값을 보였으며, 지각은 모델 결과치가 고정항에서 늦고 간월도에서 빠르게 나타났다. 수질 항목, 특히 용존산소의 관측치에 나타난 전반적인 분포 양상을 잘 재현하고 있었으며, 항목별 기여도 분석에서는 수질 모델이 퇴적물에 의한 산소 소비에 민감하게 반응하고 있으며, 용존산소 변화에 있어서 퇴적물에 의한 영향이 중요한 역할을 하고 있음을 보여주었다. 본 모델 결과는 기존의 모델들과 비교하여 천수만 해역의 해수 유동 특성을 잘 재현하고 있으며, 본 모델과 연계된 수질 모델의 오염물 확산과 수질 항목들의 거동을 이해할 수 있는 정보를 제공하였다. 그럼에도 불구하고 본 연구를 통하여 나타난 문제점은, 수질 예측 모델에 필요한 수질 변수들의 관측 자료와 양식장에 의한 오염 부하량 자료가 충분하지 못하며, 퇴적물에 의한 수질 변화를 정량화할 수 있는 모델의 개발이 시급하다는 것이다. 특히 퇴적물에 의한 산소 요구량은 유기퇴적물이 미생물 등에 의해 분해되는 과정에서 요구되는 산소량으로서, 해수 유동 조건의 변화와 오염부하에 의한 유기퇴적물의 집적이 주된 요인이다. 방조제 건설 이후 해수유동 조건의 변화와 더불어 지속적으로 오염물이 유입되고, 담수 및 천수만의 수질이 점점 악화되고 있다. 따라서 이러한 오염부하와 퇴적물에 대한 관리대책이 시급한 것으로 판단되며, 향후 정확한 수질 예측을 위해서는 본 연구에서 나타난 문제점들에 대한 재고가 필요할 것으로 사료된다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.281-284
• /
• 2018

본 논문에서는 machine reading 분야에서 기존의 long short-term memory (LSTM) 모델이 가지는 문제점을 해결하는 새로운 네트워크를 제안하고자 한다. 기존의 LSTM 모델은 크게 두가지 제한점을 가지는데, 그 중 첫째는 forget gate로 인해 잊혀진 중요한 문맥 정보들이 복원될 수 있는 방법이 없다는 것이다. 자연어에서 과거의 문맥 정보에 따라 현재의 단어의 의미가 크게 좌지우지될 수 있으므로 올바른 문장의 이해를 위해 필요한 과거 문맥의 정보 유지는 필수적이다. 또 다른 문제는 자연어는 그 자체로 단어들 간의 복잡한 구조를 통해 문장이 이루어지는 반면 기존의 시계열 모델들은 단어들 간의 관계를 추론할 수 있는 직접적인 방법을 가지고 있지 않다는 것이다. 본 논문에서는 최근 딥 러닝 분야에서 널리 쓰이는 attention mechanism과 본 논문이 제안하는 restore gate를 결합한 네트워크를 통해 상기 문제를 해결하고자 한다. 본 논문의 실험에서는 기존의 다른 시계열 모델들과 비교를 통해 제안한 모델의 우수성을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.13-18
• /
• 2018

구문 분석은 문장의 구조를 이해하며 의미의 중의성을 해결하는 것이다. 일반적으로 한국어는 어순 배열의 자유도가 높고 문장 성분의 생략이 빈번한 특성이 있기 때문에 의존 구문 분석이 주된 연구 대상이 되어 왔다. 스택-포인터 네트워크 모델은 의존 구문 파서에 맞게 포인터 네트워크 모델을 확장한 것이다. 스택-포인터 네트워크는 각 단어에서 의존소를 찾는 하향식 방식의 모델로 기존 모델의 장점을 유지하면서 각 단계에서 파생된 트리 정보도 사용한다. 본 연구에서는 스택-포인터 네트워크 모델을 한국어에 적용해보고 이와 함께 어절 정보를 반영하는 방법을 제안한다. 모델의 실험 결과는 세종 구문 구조를 중심어 후위(head-final)를 엄격히 준수하여 의존 구문 구조로 변환한 것을 기준으로 UAS 92.65%의 정확도를 얻었다.

• Journal of Korean Society of Industrial and Systems Engineering
• /
• v.35 no.1
• /
• pp.188-197
• /
• 2012

DEA 모델중 널리 사용되는 교차평가모델(cross efficiency model)은 가중치에 제한을 두지 않고 어떤 특정분야에 탁월한 성과를 내는 DMU(Decision Making Unit)보다는 보다 전반적인 분야에서 두각을 나타내는 DMU를 선발함으로써 많은 연구자들이 DEA문헌에서 적용하여 왔다. 본 연구에서는 이러한 교차평가모델이 실제에 있어서는 암묵적으로 고정 가중치를 사용한다는 것과 동일한 결과를 나타낸다는 것을 분석적으로 밝혔다(one input, multi output case). 또한 multi-input, multi-output case의 경우에도 overall performer의 cluster에 근접한 대다수 DMU의 경우에는 고정 가중치를 사용한 경우와 거의 차이가 없음을 보였다. 교차평가 모델에 적용된 변수의 가중치를 보다 명확히 함으로써 연구자들이 모델의 평가결과를 이해하는데 도움이 될 수 있을 것이다. 또한 교차 평가의 가중치 도식을 더 명확히 보여주기 위해 biplot을 제안한다.

• Proceedings of the Korea Institute of Fire Science and Engineering Conference
• /
• 2012.04a
• /
• pp.270-273
• /
• 2012

오픈 소스인 FDS(fire dynamic simulator)는 건물, 터널내의 화재나 연기, 열기류의 거동을 연구하기 위하여 국내외적으로 광범위하게 이용되고 있다. 체계적인 연구와 확장이 가능하도록 소스코드와 프로그램구조, 각종 메뉴얼을 갖추고 있으며 향후 개발 방향을 온라인을 통해서 소스코드와 함께 공개하고 있다. 비압축성 비정상해석을 근간으로 하고 있으며 난류유동을 해석할 수 있도록 DNS와 LES모델을 가지고 있다. 화재, 연소, 스프링클러, 화재 확산 등의 모델링을 제공하고 있다. 이러한 모델을 바탕으로 다양한 시나리오의 재난, 피난에 적용할 수 있다. 향후 이러한 기본 모델을 바탕으로 새로운 재난 시나리오에 따라 새로운 알고리즘의 적용하기 위해서는 FDS 기본적인 구조와 모델, 그리고 한계점을 이해할 필요가 있다. 본 연구에서는 이러한 FDS모델을 더욱 확장하기 위한 일환으로 FDS(V5.5.3)의 기본적인 구조을 파악하고 몇 가지 검증모델(verification)에 적용하였다. 또한 이를 향후 FDS의 소스코드를 확장할 수 있는 근간으로 삼고자 한다.

• Proceedings of the KIPE Conference
• /
• 2008.06a
• /
• pp.289-291
• /
• 2008

태양전지에 관한 많은 모델이 제안되어 왔으나 대부분은 특정 일사량에서 측정된 태양전지의 I-V 특성커브를 기준으로 보간법을 사용하여 운전점을 구하는 모델링 방식을 사용하고 있으며, 태양전지의 동특성 모델에 관한 연구는 매우 드물다. 효율적인 에너지 변환을 위한 고성능 전력변환기의 설계를 위해서는 태양전지의 정특성 및 동특성에 관한 정확한 정보가 요구된다. 태양전지의 정특성은 제조사에 의해 일반적으로 측정되어 공개되므로 용이하게 이해될 수 있으나 동특성은 그렇지 못하다. 본 논문에서는 임피던스 분광법(Impedance Spectroscopy)을 이용하여 태양전지 모듈의 동특성 모델을 개발하고, 개발된 모델의 유용함과 정밀함을 실험을 통해 검증 하였다. 개발된 동특성 모델은 정밀한 태양전지 시뮬레이션과 새로운 MPPT 알고리즘 개발에 이용될 수 있을 것으로 기대된다.

• The Journal of Information Technology and Database
• /
• v.4 no.1
• /
• pp.51-64
• /
• 1997

최근 컴퓨터 응용이 우주 항공, 천체 기상, 환경 관리, 공장 자동화(FA) 등의 분야로 확산되면서 물리, 화학, 생물, 기계 등의 과학 응용에서 생성되는 자료를 처리하는 기법에 대한 요구가 늘어나고 있다. 이들 과학 응용에서는 물리적 실험 장치나 측정 기계, 또는 시뮬레이션으로부터 데이터를 시간별로 측정(또는 수집)하므로 이들 과학 데이터는 시간에 종속된 데이터이다. 많은 과학 응용의 시간 지원 데이터는 과학 분야의 특성에 따라 매우 정밀한 시간 단위로 수집하기도 하고 실험 시작부터 경과된 상대적인 시간에 따라 데이터를 수집한다. 달력상의 시간을 사용하는 기존의 시간지원 데이터베이스는 과학 응용의 이러한 특징을 지원하지 못한다. 따라서 이 논문에서는 과학 실험 응용에서 요구하는 시간에 대한 특징과 요구 사항을 분석하고, 이들 과학 응용의 요구 사항을 만족하도록 확장한 새로운 시간 지원 데이터 모델을 제안한다. 이 모델에서는 실험이 경과된 상대적인 시간에 대한 데이터의 이력을 확장형 집합 개념을 사용하여 표현한다. 기존의 관계 데이터 모델과 유사하게, 이 모델은 집합 개념에 바탕을 두고 있으므로 데이터 모델과 그 연산의 의미를 쉽게 이해하고 사용할 수 있다는 장점이 있다.