• 제목/요약/키워드: 모델 성능 평가

검색결과 3,600건 처리시간 0.036초

딥러닝 기반의 BERT 모델을 활용한 학술 문헌 자동분류 (Automatic Classification of Academic Articles Using BERT Model Based on Deep Learning)

  • 김인후;김성희
    • 정보관리학회지
    • /
    • 제39권3호
    • /
    • pp.293-310
    • /
    • 2022
  • 본 연구에서는 한국어 데이터로 학습된 BERT 모델을 기반으로 문헌정보학 분야의 문서를 자동으로 분류하여 성능을 분석하였다. 이를 위해 문헌정보학 분야의 7개 학술지의 5,357개 논문의 초록 데이터를 학습된 데이터의 크기에 따라서 자동분류의 성능에 어떠한 차이가 있는지를 분석, 평가하였다. 성능 평가척도는 정확률(Precision), 재현율(Recall), F 척도를 사용하였다. 평가결과 데이터의 양이 많고 품질이 높은 주제 분야들은 F 척도가 90% 이상으로 높은 수준의 성능을 보였다. 반면에 데이터 품질이 낮고 내용적으로 다른 주제 분야들과 유사도가 높고 주제적으로 확실히 구별되는 자질이 적을 경우 유의미한 높은 수준의 성능 평가가 도출되지 못하였다. 이러한 연구는 미래 학술 문헌에서 지속적으로 활용할 수 있는 사전학습모델의 활용 가능성을 제시하기 위한 기초자료로 활용될 수 있을 것으로 기대한다.

3차원 종양 PET 영상을 이용한 직장암 치료반응 예측 (Prediction of pathological complete response in rectal cancer using 3D tumor PET image)

  • 양진규;김강산;신의섭;우상근
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.63-65
    • /
    • 2023
  • 본 논문에서는 FDG-PET 영상을 사용하는 딥러닝 네트워크를 이용하여 직장암 환자의 치료 후 완치를 예측하는 연구를 수행하였다. 직장암은 흔한 악성 종양 중 하나이지만 병리학적으로 완전하게 치료되는 가능성이 매우 낮아, 치료 후의 반응을 예측하고 적절한 치료 방법을 선택하는 것이 중요하다. 따라서 본 연구에서는 FDG-PET 영상에 합성곱 신경망(CNN)모델을 활용하여 딥러닝 네트워크를 구축하고 직장암 환자의 치료반응을 예측하는 연구를 진행하였다. 116명의 직장암 환자의 FDG-PET 영상을 획득하였다. 대상군은 2cm 이상의 종양 크기를 가지는 환자를 대상으로 하였으며 치료 후 완치된 환자는 21명이었다. FDG-PET 영상은 전신 영역과 종양 영역으로 나누어 평가하였다. 딥러닝 네트워크는 2차원 및 3차원 영상입력에 대한 CNN 모델로 구성되었다. 학습된 CNN 모델을 사용하여 직장암의 치료 후 완치를 예측하는 성능을 평가하였다. 학습 결과에서 평균 정확도와 정밀도는 각각 0.854와 0.905로 나타났으며, 모든 CNN 모델과 영상 영역에 따른 성능을 보였다. 테스트 결과에서는 3차원 CNN 모델과 종양 영역만을 이용한 네트워크에서 정확도가 높게 평가됨을 확인하였다. 본 연구에서는 CNN 모델의 입력 영상에 따른 차이와 영상 영역에 따른 딥러닝 네트워크의 성능을 평가하였으며 딥러닝 네트워크 모델을 통해 직장암 치료반응을 예측하고 적절한 치료 방향 결정에 도움이 될 것으로 기대한다.

  • PDF

제한된 언어 자원 환경에서의 다국어 개체명 인식 (Multilingual Named Entity Recognition with Limited Language Resources)

  • 천민아;김창현;박호민;노경목;김재훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.143-146
    • /
    • 2017
  • 심층학습 모델 중 LSTM-CRF는 개체명 인식, 품사 태깅과 같은 sequence labeling에서 우수한 성능을 보이고 있다. 한국어 개체명 인식에 대해서도 LSTM-CRF 모델을 기본 골격으로 단어, 형태소, 자모음, 품사, 기구축 사전 정보 등 다양한 정보와 외부 자원을 활용하여 성능을 높이는 연구가 진행되고 있다. 그러나 이런 방법은 언어 자원과 성능이 좋은 자연어 처리 모듈(형태소 세그먼트, 품사 태거 등)이 없으면 사용할 수 없다. 본 논문에서는 LSTM-CRF와 최소한의 언어 자원을 사용하여 다국어에 대한 개체명 인식에 대한 성능을 평가한다. LSTM-CRF의 입력은 문자 기반의 n-gram 표상으로, 성능 평가에는 unigram 표상과 bigram 표상을 사용했다. 한국어, 일본어, 중국어에 대해 개체명 인식 성능 평가를 한 결과 한국어의 경우 bigram을 사용했을 때 78.54%의 성능을, 일본어와 중국어는 unigram을 사용했을 때 각 63.2%, 26.65%의 성능을 보였다.

  • PDF

제한된 언어 자원 환경에서의 다국어 개체명 인식 (Multilingual Named Entity Recognition with Limited Language Resources)

  • 천민아;김창현;박호민;노경목;김재훈
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.143-146
    • /
    • 2017
  • 심층학습 모델 중 LSTM-CRF는 개체명 인식, 품사 태깅과 같은 sequence labeling에서 우수한 성능을 보이고 있다. 한국어 개체명 인식에 대해서도 LSTM-CRF 모델을 기본 골격으로 단어, 형태소, 자모음, 품사, 기구축 사전 정보 등 다양한 정보와 외부 자원을 활용하여 성능을 높이는 연구가 진행되고 있다. 그러나 이런 방법은 언어 자원과 성능이 좋은 자연어 처리 모듈(형태소 세그먼트, 품사 태거 등)이 없으면 사용할 수 없다. 본 논문에서는 LSTM-CRF와 최소한의 언어 자원을 사용하여 다국어에 대한 개체명 인식에 대한 성능을 평가한다. LSTM-CRF의 입력은 문자 기반의 n-gram 표상으로, 성능 평가에는 unigram 표상과 bigram 표상을 사용했다. 한국어, 일본어, 중국어에 대해 개체명 인식 성능 평가를 한 결과 한국어의 경우 bigram을 사용했을 때 78.54%의 성능을, 일본어와 중국어는 unigram을 사용했을 때 각 63.2%, 26.65%의 성능을 보였다.

  • PDF

철골 끼움가새골조로 보강된 학교건물의 내진성능평가를 위한 비선형 해석 모델에 관한 연구 (Study on the Nonlinear Analysis Model for Seismic Performance Evaluation of School Buildings Retrofitted with Infilled Steel Frame with Brace)

  • 유석형;고관욱
    • 한국구조물진단유지관리공학회 논문집
    • /
    • 제26권4호
    • /
    • pp.65-72
    • /
    • 2022
  • 최근 국내 지진으로 인한 건축물의 피해는 주로 학교건물과 필로티형 다가구 주택에서 발생함으로써 동일한 형식의 건물에 대한 내진보강 필요성을 부각시켰다. 학교시설 내진보강사업은 초기에 연성보강방법으로서 댐퍼를 활용한 다양한 특허공법들이 충분한 검증 절차 없이 적용되었다. 그러나 「학교시설 내진성능평가 및 보강 매뉴얼, 2021」에서는 특허공법 적용시 별도의 엄격한 검증절차를 통하여 적용토록 하고 대신 일반공법으로서 강도/강성보강공법의 활성화를 유도하였다. 학교건물의 강도/강성 보강공법으로서 활발히 적용되고 있는 철골 끼움가새골조보강을 위한 내진선능평가 시 실무에서는 일부 제한된 조건에서 안전측의 내진성능평가 결과를 도출할 것으로 판단하여 기존 RC 부재에 철골가새만을 직접연결하여 해석모델을 구성하고 있다. 그러나 철골 끼움가새골조의 해석모델에서 프레임을 제거할 경우 강성감소로 인한 보강 부근의 기존 RC부재에 발생하는 하중감소는 매우 클 것으로 사료되며 이는 보강부위 기초보강 유무 검토에도 영향을 미칠 것으로 판단된다. 따라서 본 연구에서는 철골 끼움가새골조를 이용하여 저층 RC 학교건물 내진보강 시 성능평가를 위한 해석모델에 대하여 철골 프레임 고려 유무, 프레임 링크방식 등을 변수로 한 예비해석과 실제 3층 학교 건물에 대한 비선형 정적해석에 따른 내진성능평가 를 수행하였으며, 변수별 예비해석 및 푸쉬오버 해석결과를 비교함으로써 합리적인 해석모델 설정을 위한 기초자료를 제시하였다.

데이터 길이에 대한 강우-유출 모델 적용범위 평가 (Evaluation of the Coverage Assessment of Rainfall-Runoff Model for Data Length)

  • 전성재;신문주;정용
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.383-383
    • /
    • 2023
  • 오늘날 수문학 분야에서는 유역에 대한 강우-유출 시뮬레이션을 머신 러닝(ML: Machine Learning)을 활용하여 다양한 연구를 실행하고 있다. 본 연구에서는 시간별 강우-유출 예측 모델인 GR4H(Génie Rural à 4 paramètres Horaires)를 사용하여 충주댐 유역을 대상으로 연구를 수행하였다. 유역의 속성에 따라서 모델의 성능이 어떻게 달라지는지 비교하여 특성에 맞는 모델을 알아내고. 또한 이 과정에서 기상 및 유출 데이터의 보정 길이를 가지고 어느 정도의 데이터 기간이 모델에서 좋은 성능을 보이는지 파악하였다. 뿐만 아니라 모델에 필요한 선행기간의 데이터가 있는 경우와 없는 경우를 비교하여 어떠한 차이를 보이는지, 그리고 선행기간은 얼마나 필요한지 연구를 통하여 알아냈다. 본 연구를 통하여 충주댐 유역에 대한 모델의 적용성 및 성능을 파악하고 수문 모형 구축에 제한이 있는 유역에 대해서도 사용이 가능한지 판단한다. 실험 유역의 관측 값을 모델에 입력한 후 각 모델에 해당하는 매개변수의 최적값을 찾아내는 과정을 거쳐 시뮬레이션을실 행했다. 본 연구에서 사용한 강우-유출 모델인 GR4H는 프랑스의 INRAE-Antony(Institut National de la recherche agronomique-Antony)에서 만들어진 airGR의 일종으로, 시간별 강우-유출 예측을 위해 개발된 공정 기반(process-based)의 집중적, 개념적 수문학 모델이다. 4개의 매개변수(parameter)가 있으며 이는 유역의 특정 속성을 나타낸다. GR4H를 시뮬레이션 하는 과정에서 매개변수의 최적화를 위해 적절한 보정 길이를 파악하여야 한다. 이러한 과정은 4년, 5년, 6년 등 1년씩 데이터의 양을 늘려가며 매개변수를 최적화한다. 이 과정에서 기상 및 유출 데이터의 적절한 보정 길이를 찾아낸다. 시뮬레이션을 통해 얻은 데이터를 관측 값과 비교하여 모델의 성능을 평가하고 다른 관측 값을 통해 시뮬레이션을 실행하여 검증을 거친다.

  • PDF

U-Net과 cWGAN을 이용한 탄성파 탐사 자료 보간 성능 평가 (Comparison of Seismic Data Interpolation Performance using U-Net and cWGAN)

  • 유지윤;윤대웅
    • 지구물리와물리탐사
    • /
    • 제25권3호
    • /
    • pp.140-161
    • /
    • 2022
  • 탄성파 탐사 자료 획득 시 자료의 일부가 손실되는 문제가 발생할 수 있으며 이를 위해 자료 보간이 필수적으로 수행된다. 최근 기계학습 기반 탄성파 자료 보간법 연구가 활발히 진행되고 있으며, 특히 영상처리 분야에서 이미지 초해상화에 활용되고 있는 CNN (Convolutional Neural Network) 기반 알고리즘과 GAN (Generative Adversarial Network) 기반 알고리즘이 탄성파 탐사 자료 보간법으로도 활용되고 있다. 본 연구에서는 손실된 탄성파 탐사 자료를 높은 정확도로 복구하는 보간법을 찾기 위해 CNN 기반 알고리즘인 U-Net과 GAN 기반 알고리즘인 cWGAN (conditional Wasserstein Generative Adversarial Network)을 탄성파 탐사 자료 보간 모델로 사용하여 성능 평가 및 결과 비교를 진행하였다. 이때 예측 과정을 Case I과 Case II로 나누어 모델 학습 및 성능 평가를 진행하였다. Case I에서는 규칙적으로 50% 트레이스가 손실된 자료만을 사용하여 모델을 학습하였고, 생성된 모델을 규칙/불규칙 및 샘플링 비율의 조합으로 구성된 총 6가지 테스트 자료 세트에 적용하여 모델 성능을 평가하였다. Case II에서는 6가지 테스트 자료와 동일한 형식으로 샘플링된 자료를 이용하여 해당 자료별 모델을 생성하였고, 이를 Case I과 동일한 테스트 자료 세트에 적용하여 결과를 비교하였다. 결과적으로 cWGAN이 U-Net에 비해 높은 정확도의 예측 성능을 보였으며, 정량적 평가지수인 PSNR과 SSIM에서도 cWGAN이 높은 값이 나타나는 것을 확인하였다. 하지만 cWGAN의 경우 예측 결과에서 추가적인 잡음이 생성되었으며, 잡음을 제거하고 정확도를 개선하기 위해 앙상블 작업을 수행하였다. Case II에서 생성된 cWGAN 모델들을 이용하여 앙상블을 수행한 결과, 성공적으로 잡음이 제거되었으며 PSNR과 SSIM 또한 기존의 개별 모델 보다 향상된 결과를 나타내었다.

추천 시스템에서의 선형 모델과 딥러닝 모델의 데이터 크기에 따른 성능 비교 연구 (A Study Comparing the Performance of Linear and Deep Learning Models in Recommender Systems as a Function of Data Size)

  • 성다훈;임유진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.715-718
    • /
    • 2024
  • 추천 시스템을 통해 사용자의 만족도를 높여 매출 증대까지 기대할 수 있기에, 추천 시스템은 과거부터 활발하게 연구되어 왔다. 추천 시스템은 크게 선형 모델과 비선형 모델로 구분할 수 있는데, 각 모델이 주로 독자적으로 연구되어 통합된 성능 결과를 명확히 알 수 없는 경우가 많아, 두 모델 간 특성 차이를 명확히 파악하여 추천 상황에서 적합한 모델을 선택하기 어려운 문제가 있다. 따라서 본 연구에서는 선형 모델과 비선형 모델을 같은 데이터와 같은 환경, 같은 성능평가 지표로 실험하여 결과를 비교 및 분석해보고자 한다.

결함 심각도에 기반한 소프트웨어 품질 예측 (Software Quality Prediction based on Defect Severity)

  • 홍의석
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권5호
    • /
    • pp.73-81
    • /
    • 2015
  • 소프트웨어 결함 예측 연구들의 대부분은 입력 개체의 결함 유무를 예측하는 이진 분류 모델들에 관한 것들이다. 하지만 모든 결함들이 같은 심각도를 갖지는 않으므로 예측 모델이 입력 개체의 결함경향성을 몇 개의 심각도 범주로 분류할 수 있다면 훨씬 유용하게 사용될 수 있다. 본 논문에서는 전통적인 복잡도와 크기 메트릭들을 입력으로 하는 심각도 기반 결함 예측 모델을 제안하였다. 학습 알고리즘은 많이 사용되는 네 개의 기계학습 기법들을 사용하였으며, 모델 구조는 삼진 분류 모델로 하였다. 모델 성능 평가를 위해 실험 데이터는 두 개의 NASA 공개 데이터 집합을 사용하였고, 평가 측정치는 Accuracy를 이용하였다. 평가 실험 결과는 역전파 신경망 모델이 두 데이터 집합에 대해 각각 81%와 88% 정도의 Accuracy 값으로 가장 좋은 성능을 보였다.

Sent2Vec 문장 임베딩을 통한 한국어 유사 문장 판별 구현 (Implementation of Korean Sentence Similarity using Sent2Vec Sentence Embedding)

  • 박상길;신명철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.541-545
    • /
    • 2018
  • 본 논문에서는 Sent2Vec을 이용한 문장 임베딩으로 구현한 유사 문장 판별 시스템을 제안한다. 또한 한국어 특성에 맞게 모델을 개선하여 성능을 향상시키는 방법을 소개한다. 고성능 라이브러리 구현과 제품화 가능한 수준의 완성도 높은 구현을 보였으며, 자체 구축한 평가셋으로 한국어 특성을 반영한 모델에 대한 P@1 평가 결과 Word2Vec CBOW에 비해 9.25%, Sent2Vec에 비해 1.93% 더 높은 성능을 보였다.

  • PDF