• 제목/요약/키워드: 인공 지능 신경망

검색결과 598건 처리시간 0.026초

DPR의 효과적인 하드 네거티브 샘플링을 통한 효율적인 대조학습 방법 (Efficient contrastive learning method through the effective hard negative sampling from DPR)

  • 박성흠;김홍진;황금하;권오욱;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.348-353
    • /
    • 2022
  • 최근 신경망 기반의 언어모델이 발전함에 따라 대부분의 검색 모델에서는 Bi-encoder를 기반으로한 Dense retrieval 모델에 대한 연구가 진행되고 있다. 특히 DPR은 BM25를 통해 정답 문서와 유사한 정보를 가진 하드 네거티브를 사용하여 대조학습을 통해 성능을 더욱 끌어올린다. 그러나 BM25로 검색된 하드 네거티브는 term-base의 유사도를 통해 뽑히기 때문에, 의미적으로 비슷한 내용을 갖는 하드 네거티브의 역할을 제대로 수행하지 못하고 대조학습의 효율성을 낮출 가능성이 있다. 따라서 DRP의 대조학습에서 하드 네거티브의 역할을 본질적으로 수행할 수 있는 문서를 샘플링 하는 방법을 제시하고, 이때 얻은 하드 네거티브의 집합을 주기적으로 업데이트 하여 효과적으로 대조학습을 진행하는 방법을 제안한다. 지식 기반 대화 데이터셋인 MultiDoc2Dial을 통해 평가를 수행하였으며, 실험 결과 기존 방식보다 더 높은 성능을 나타낸다.

  • PDF

회귀분석과 딥러닝의 예측 정확성에 대한 비교 그리고 딥러닝 모델 최적화를 위한 기법들의 중요성에 대한 실증적 분석 (Comparison of Prediction Accuracy Between Regression Analysis and Deep Learning, and Empirical Analysis of The Importance of Techniques for Optimizing Deep Learning Models)

  • 조민호
    • 한국전자통신학회논문지
    • /
    • 제18권2호
    • /
    • pp.299-304
    • /
    • 2023
  • 인공지능 기법 중에서 딥러닝은 많은 곳에서 사용되어 효과가 입증된 모델이다. 하지만, 딥러닝 모델이 모든 곳에서 효과적으로 사용되는 것은 아니다. 이번 논문에서는 회귀분석과 딥러닝 모델의 비교를 통하여 딥러닝 모델이 가지는 한계점을 보여주고, 딥러닝 모델의 효과적인 사용을 위한 가이드를 제시하고자 한다. 추가로 딥러닝 모델의 최적화를 위해 사용되는 다양한 기법 중, 많이 사용되는 데이터 정규화와 데이터 셔플링 기법을 실제 데이터를 기반으로 비교 평가하여 딥러닝 모델의 정확성과 가치를 높이기 위한 기준을 제시하고자 한다.

딥러닝을 활용한 루푸스 신염 진단을 위한 생검 조직 내 사구체 검출 (Glomerular Detection for Diagnosis of Lupus Nephritis using Deep Learning)

  • 정제현;하석민;임종우;김현성;박호섭;명재경
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.85-87
    • /
    • 2022
  • 루푸스 신염을 정확히 진단하기 위해서는 신장의 침 생검을 통한 조직검사를 통해 사구체들을 찾아내고, 각각의 염증 정도를 분류해야 한다. 하지만 이에는 의료진의 많은 시간과 노력이 소요된다. 따라서 본 연구에서는 이러한 한계를 극복하기 위해 합성곱 신경망 (Convolutional neural network, CNN)에 기반한 검출 및 분할에 딥 러닝 접근법을 적용하는 YOLOv5 알고리즘을 통해 검체 이미지 내에서 사구체를 자동으로 검출해 내도록 하였다. 그리고 루푸스 신염 환자의 슬라이드 이미지에 대한 태깅 작업을 거쳐 학습을 위한 데이터와 테스트를 위한 데이터를 생성하여 학습 및 테스트에 활용하였다. 그 결과 고화질의 검체 이미지 내에서 대부분의 사구체를 0.9 이상의 높은 precision과 recall로 검출해 낼 수 있었다. 이를 통해 신장 내부의 사구체 검출을 자동화하고 추후 연구를 통해 사구체 염증 정도를 단계화 할 수 있는 발판을 마련하였다.

  • PDF

검색 모델 성능 향상을 위한 Hard Negative 추출 및 False Negative 문제 완화 방법 (Improving Dense Retrieval Performance by Extracting Hard Negative and Mitigating False Negative Problem)

  • 박성흠;김홍진;황금하;권오욱;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.366-371
    • /
    • 2023
  • 신경망 기반의 검색 모델이 활발히 연구됨에 따라 효과적인 대조학습을 위한 다양한 네거티브 샘플링 방법이 제안되고 있다. 대표적으로, ANN전략은 하드 네거티브 샘플링 방법으로 질문에 대해 검색된 후보 문서들 중에서 정답 문서를 제외한 상위 후보 문서를 네거티브로 사용하여 검색 모델의 성능을 효과적으로 개선시킨다. 하지만 질문에 부착된 정답 문서를 통해 후보 문서를 네거티브로 구분하기 때문에 실제로 정답을 유추할 수 있는 후보 문서임에도 불구하고 네거티브로 분류되어 대조학습을 진행할 수 있다는 문제점이 있다. 이러한 가짜 네거티브 문제(False Negative Problem)는 학습과정에서 검색 모델을 혼란스럽게 하며 성능을 감소시킨다. 본 논문에서는 False Negative Problem를 분석하고 이를 완화시키기 위해 가짜 네거티브 분류기(False Negative Classifier)를 소개한다. 실험은 오픈 도메인 질의 응답 데이터셋인 Natural Question에서 진행되었으며 실제 False Negative를 확인하고 이를 판별하여 기존 성능보다 더 높은 성능을 얻을 수 있음을 보여준다.

  • PDF

신경망 이론과 수리학적 홍수추적에 의한 홍수예측에 관한 연구 (Flood Forecasting Study using Neural Network Theory and Hydraulic Routing)

  • 지홍기;추연문
    • 한국수자원학회논문집
    • /
    • 제47권2호
    • /
    • pp.207-221
    • /
    • 2014
  • 최근에 들어 지구온난화에 따른 기후변화의 영향으로 단시간에 집중되는 국지성 호우와 돌발성 호우로 인하여 많은 인명 및 재산피해가 날로 증가하고 있는 추세이다. 이에 본 연구에서는 낙동강 유역을 대상으로 국지적 집중호우와 돌발홍수의 특성을 연구하고 이를 데이터 마이닝 기법에 의한 홍수예측에 관한 연구를 적용하여 낙동강 유역의 국지적 집중호우와 돌발홍수에 대처할 수 있는 홍수예측모형을 구축하였다. Data Mining 기법인 신경망 이론과 하도의 수리학적 홍수추적을 사용한 모형을 구축하여 1989년 7월에서 1999년 9월 사이의 홍수사상을 대상으로 낙동 지점과 일선교 지점에서의 관측수위와 경사면적법의 홍수위를 비교하여 검증하였다. 본 연구에서는 대상유역을 3가지 Case로 구분하여 각 지점에 따른 홍수량, 수위에 의한 수리학적 홍수추적 모형을 구성과 간단한 입력자료만으로 홍수예측이 가능한 인공지능 기반의 신경망 모형을 이용하여 수위곡선을 비교분석하였으며, 실측 수위와 모형에 의해 예측 수위를 비교평가였다.

장단기 기억 신경망을 활용한 선박교통 해양사고 패턴 분석 및 예측 (Analysis and Prediction Methods of Marine Accident Patterns related to Vessel Traffic using Long Short-Term Memory Networks)

  • 장다운;김주성
    • 해양환경안전학회지
    • /
    • 제28권5호
    • /
    • pp.780-790
    • /
    • 2022
  • 해양사고 예방을 위해서는 사고의 원인과 결과에 대한 분석 및 진단뿐만 아니라, 사고의 발생 패턴과 변화 추이를 예측함으로써 정량적 위험도를 제시할 필요성이 있다. 선박교통과 관련된 해양사고 예측은 선박의 충돌위험도 분석 및 항해 경로 탐색 등 선박교통의 흐름에 관한 연구가 주로 수행되었으며, 해양사고의 발생 패턴에 대한 분석은 전통적인 통계 분석에 따라 제시되었다. 본 연구에서는 해양사고 통계 자료 중 선박교통관련 사고의 월별, 시간대별 발생 현황 데이터를 활용하여 해양사고 발생 예측 모델을 제시하고자 한다. 국내 해양사고 발생 현황 중 월별, 시간대별 데이터 집계가 가능한 1998년부터 2021년까지의 통계자료 중 선박교통 관련 데이터를 분류하여 정형 시계열 데이터로 변환하였으며, 대표적인 인공지능 모델인 순환 신경망 기반 장단기 기억 신경망을 통하여 예측 모델을 구축하였다. 검증데이터를 통하여 모델의 성능을 검증한 결과 RMSE는 초기 신경망 모델에서 월별 52.5471, 시간대별 126.5893으로 나타났으며, 관측값으로 신경망 모델을 업데이트한 결과 RMSE는 월별 31.3680, 시간대별 36.3967로 개선되었다. 본 연구에서 제안한 신경망 모델을 기반으로 다양한 해양사고의 특징 데이터를 학습하여 해양사고 발생 패턴을 예측할 수 있을 것이다. 향후 해양사고 발생 위험의 정량적 제시와 지역기반의 위험지도 개발 등에 관한 추가 연구가 필요하다.

생성적 적대 신경망(Generative Adversarial Network)을 이용하여 획득한 18F-FDG Brain PET/CT 인공지능 영상의 비교평가 (Comparative Evaluation of 18F-FDG Brain PET/CT AI Images Obtained Using Generative Adversarial Network)

  • 김종완;김정열;임한상;김재삼
    • 핵의학기술
    • /
    • 제24권1호
    • /
    • pp.15-19
    • /
    • 2020
  • 본 연구는 최근에 활발히 연구되고 있는 딥러닝 기술인 생성적 적대 신경망(GAN)을 핵의학 영상에 적용하여 잠재적으로 유용성이 있는지 확인해보고자 하였다. 본원에서 18F-FDG Brain PET/CT검사를 진행한 30명의 환자를 대상으로 하였고 List모드로 15분 검사한 후 이를 1, 2, 3, 4, 5분 초기획득시간 이미지로 재구성하였다. 이 중 25명의 환자를 GAN모델의 학습을 위한 트레이닝 이미지로 사용하고 5명의 환자를 학습된 GAN모델의 검증을 위한 테스트 이미지로 사용하였다. 학습된 GAN모델에 입력으로 1, 2, 3, 4, 5분의 초기획득 이미지를 넣고 출력으로 15분 인공지능 표준획득 이미지를 획득한 후 이를 기존의 15분 표준획득시간 검사 이미지와 비교 평가하였다. 평가에는 정량화된 이미지 평가방법인 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수를 이용하였다. 평가 결과 초기획득시간 이미지에서 1에서 5분으로 갈수록 실제 표준획득시간 이미지에 가까운 평균제곱오차, 최대신호 대 잡음비, 구조적 유사도 지수 수치를 나타내었다. 이러한 연구를 통해 앞으로 인공지능 기술이 핵의학 분야에서 의료영상의 획득시간 단축과 관련하여 중요한 영향을 미칠 수 있을 것으로 사료된다.

퍼지신경망 모형을 이용한 헤지펀드의 생존여부 예측 (Using fuzzy-neural network to predict hedge fund survival)

  • 이광재;이현준;오경주
    • Journal of the Korean Data and Information Science Society
    • /
    • 제26권6호
    • /
    • pp.1189-1198
    • /
    • 2015
  • 글로벌 금융 위기 발생으로 헤지펀드의 영향력이 증가하면서 헤지펀드의 위험도와 생존여부를 가늠할 새로운 접근법이 필요하게 되었다. 본 연구에서는 헤지펀드의 데이터를 입력값으로 하는 퍼지신경망 모형을 통해 헤지펀드의 생존여부를 예측한다. 헤지펀드의 데이터는 그 변수가 불명확하고 내재적인 불확실성을 가지고 있어 생존 여부의 경계를 설정하는데 어려움이 있다. 따라서 생존 여부를 소속정도로 평가하여 불확실성을 모사할 수 있는 퍼지신경망 모형을 적용하여 예측하고 정확도를 평가한다. 또한 다른 인공지능 방법론들을 이용하여 평가한 결과와 제시한 모형의 성과를 비교하여 그 차이점을 확인한다. 본 연구의 실험결과를 통해 퍼지신경망 모형의 예측력을 확인했으며, 향후 투자자들이 헤지펀드 투자에 대한 의사를 결정하는데 도움을 줄 것으로 기대한다.

심층신경망을 이용한 어선의 운동응답 추정 (Motion Response Estimation of Fishing Boats Using Deep Neural Networks)

  • 박태원;박동우;서장훈
    • 해양환경안전학회지
    • /
    • 제29권7호
    • /
    • pp.958-963
    • /
    • 2023
  • 최근에 선박을 안전하게 설계 및 운항하기 위해 인공지능으로 운동성능을 예측하는 연구가 늘고 있다. 하지만 일반적인 선박에 비해 소형 어선에 대한 연구는 부족한 실정이다. 본 논문에서는 소형 어선의 운동성능 계산에 필수적인 운동응답을 심층신경망으로 추정하는 모델을 제안한다. 15척의 소형 어선에 대하여 유체동역학 해석을 수행하였으며 이를 통해 데이터베이스를 구축하였다. 환경 조건과 주요 제원을 입력 데이터로, 단위 파고에 대한 운동응답(Response Amplitude Operator)을 출력 데이터로 설정하였다. 훈련된 심층신경망 모델을 통해 예측된 운동응답은 유체동역학 해석 결과와 유사한 경향을 보이며 고주파 성분을 가진 운동응답 함수를 낮은 오차로 근사하는 결과를 보여준다. 본 연구의 결과를 바탕으로 어선의 선형 특성 고려한 심층신경망 모델로 확장하여 연구 결과의 활용도를 넓히고자 한다.

축약형 신경망과 휴리스틱 검색에 의한 소프트웨어 공수 예측모델 (Parsimonious Neural Network and Heuristic Search Method for Software Effort Estimation Model)

  • 전응섭
    • 정보처리학회논문지D
    • /
    • 제8D권2호
    • /
    • pp.154-165
    • /
    • 2001
  • 소프트웨어공수 예 에 관한 전공적인 모델링의 한계점을 극복하기 위해 사례기반과 신경망 그리고 퍼지이론 및 전문가 시스템 등 인공지능 기법을 이용한 연구들이 제시되고 있다. 특히 신경망을 이용한 공수예측 모델들이 예측력에 있어서 전통적인 모델들 보다 우수한 예측결과를 제시하고 있다. 그러나 이들 신경망 모델에 있어서도 고려되어야 할 점은 입력 데이터의 노이즈와 모델 설계 및 사용에 있어서 유연성 및 요율성 측면이 제기되고 있다. 본 연구에서는 이러한 기존의 신경망모델의 효율성 향상을 위한 새로운 방안으로 최적의 축약형 모델구조와 이에 관련된 최적 사례들을 사용하기 위한 사례기반 휴리스틱 검색기법을 제시한다. 30여개의 실제로 수행된 프로젝트의예측결과를 통해 최적사례 기반 축약형 신경망 모델의 결과가 저통적인 COCOMO 모델 그리고 기존의 신경망 모델과 비교해서 예측력과 모델의 유연성이 좋아졌음은 알 수 있었다. 따라서 본 연구에서 새롭게 제시한 축약형 모델과 최적사례기반 접근 방법은 급변하는 정보시스템 패러다임하에서도 유용하게 사용될 수있을 것이다.있을 것이다.

  • PDF