• 제목/요약/키워드: transformer-based models

검색결과 89건 처리시간 0.022초

SAINT 기반의 소프트웨어 결함 예측 (Software Defect Prediction Based on SAINT)

  • ;주은정;이정화;류덕산
    • 정보처리학회 논문지
    • /
    • 제13권5호
    • /
    • pp.236-242
    • /
    • 2024
  • 소프트웨어 결함 예측(SDP)은 오류가 발생할 가능성이 있는 모듈을 사전에 식별하여 소프트웨어 개발의 효율을 높이고 있다. SDP에서의 주과제는 예측 성능을 향상시키는것에 있다. 최근 연구에서는 딥러닝 기법이 소프트웨어 결함 예측(SDP) 분야에 적용되어 있으며, 특히 구조화된 데이터를 분석하는 데 뛰어난 성능을 보이고 있는 SAINT 모델이 주목받고 있다. 본 연구는 SAINT 모델을 다른 주요 모델(XGBoost, Random Forest, CatBoost)과 비교하여 SDP에 적용 가능한 최신 딥러닝 기법을 조사하였다. SAINT는 일관되게 우수한 성능을 보여주며 결함 예측 정확도 향상에 효과적임을 입증하였다. 이 연구 결과는 실용적인 소프트웨어 개발 상황에서 결함 예측 방법론을 발전시킬 수 있는 SAINT의 잠재력을 강조하며, 교차 검증, 특성 스케일링, 비교 분석 등을 포함한 철저한 방법론을 통해 수행되었다.

효율적인 이미지 검색 시스템을 위한 자기 감독 딥해싱 모델의 비교 분석 (Comparative Analysis of Self-supervised Deephashing Models for Efficient Image Retrieval System)

  • 김수인;전영진;이상범;김원겸
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권12호
    • /
    • pp.519-524
    • /
    • 2023
  • 해싱 기반 이미지 검색에서는 조작된 이미지의 해시코드가 원본 이미지와 달라 동일한 이미지 검색이 어렵다. 본 논문은 이미지의 질감, 모양, 색상 등 특징 정보로부터 지각적 해시코드를 생성하는 자기 감독 기반 딥해싱 모델을 제안하고 평가한다. 비교 모델은 오토인코더 기반 변분 추론 모델들이며, 인코더는 완전 연결 계층, 합성곱 신경망과 트랜스포머 모듈 등으로 설계된다. 제안된 모델은 기하학적 패턴을 추출하고 이미지 내 위치 관계를 활용하는 SimAM 모듈을 포함하는 변형 추론 모델이다. SimAM은 뉴런과 주변 뉴런의 활성화 값을 이용한 에너지 함수를 통해 객체 또는 로컬 영역이 강조된 잠재 벡터를 학습할 수 있다. 제안 방법은 표현 학습 모델로 고차원 입력 이미지의 저차원 잠재 벡터를 생성할 수 있으며, 잠재 벡터는 구분 가능한 해시코드로 이진화 된다. CIFAR-10, ImageNet, NUS-WIDE 등 공개 데이터셋의 실험 결과로부터 제안 모델은 비교 모델보다 우수하며, 지도학습 기반 딥해싱 모델과 동등한 성능이 분석되었다.

한국어 생의학 개체명 인식 성능 비교와 오류 분석 (Performance Comparison and Error Analysis of Korean Bio-medical Named Entity Recognition)

  • 이재홍
    • 한국전자통신학회논문지
    • /
    • 제19권4호
    • /
    • pp.701-708
    • /
    • 2024
  • 딥러닝 분야에서 트랜스포머 아키텍쳐의 출현은 자연어 처리 연구가 획기적인 발전을 가져왔다. 개체명 인식은 자연어 처리의 한 분야로 정보 검색과 같은 태스크에 중요한 연구 분야이다. 생의학 분야에서도 그 중요성이 강조되나 학습용 한국어 생의학 말뭉치의 부족으로 AI를 활용한 한국어 임상 연구 발전에 제약이 되고 있다. 본 연구에서는 한국어 생의학 개체명 인식을 위해 새로운 생의학 말뭉치를 구축하고 대용량 한국어 말뭉치로 사전 학습된 언어 모델들을 선정하여 전이 학습시켰다. F1-score로 선정된 언어 모델의 개체명 인식 성능과 태그별 인식률을 비교하고 오류 분석을 하였다. 인식 성능에서는 KlueRoBERTa가 상대적인 좋은 성능을 보였다. 태깅 과정의 오류 분석 결과 Disease의 인식 성능은 우수하나 상대적으로 Body와 Treatment는 낮았다. 이는 문맥에 기반하여 제대로 개체명을 분류하지 못하는 과분할과 미분할로 인한 것으로, 잘못된 태깅들을 보완하기 위해서는 보다 정밀한 형태소 분석기와 풍부한 어휘사전 구축이 선행되어야 할 것이다.

텍스트 기반 생성형 인공지능의 이해와 과학교육에서의 활용에 대한 논의 (Understanding of Generative Artificial Intelligence Based on Textual Data and Discussion for Its Application in Science Education)

  • 조헌국
    • 한국과학교육학회지
    • /
    • 제43권3호
    • /
    • pp.307-319
    • /
    • 2023
  • 본 연구는 최근 주목받고 있는 텍스트 기반 생성형 인공지능에 대해 관심과 활용이 증가함에 따라 과학교육적 측면에서의 활용을 위해 생성형 인공지능의 주요 개념과 원리를 설명하고, 이를 효과적으로 활용할 수 있는 방안과 그 한계를 지적하며 이를 토대로 과학교육의 실행과 연구의 측면에서 시사점을 제공하는 것을 목적으로 한다. 최근 들어 증가하고 있는 생성형 인공지능은 대체로 인코더와 디코더로 이뤄진 트랜스포머 모델을 기반으로 하고 있으며, 인간의 피드백을 활용한 강화학습과 보상 모델에 대한 최적화, 문맥에 대한 이해 등을 통해 놀라운 발전을 이루고 있다. 특히, 다양한 사용자의 질문이나 의도를 이해하는 능력과 이를 바탕으로 한 글쓰기, 요약, 제시어 추출, 평가와 피드백 등 다양한 기능을 수행할 수 있다. 또한 교수자가 제시하는 예를 토대로 주어진 응답을 평가하거나 질문과 적절한 답변을 생성하는 등 학습자에 대한 진단과 실질적 교육내용의 구성 등 많은 유용성을 가지고 있다. 그러나 생성형 인공지능이 가지고 있는 한계로 인해 정확한 사실이나 지식에 대한 잘못된 전달, 과도한 확신으로 인한 편향, 사용자의 태도나 감정 등에 미칠 영향의 불확실성 등에 대한 문제 등에 대해 해가 없는지 검토가 필요하다. 특히, 생성형 인공지능이 제공하는 응답은 많은 사람들의 응답 데이터를 기반으로 한 확률적 접근이므로 매우 거리가 멀거나 새로운 관점을 제시하는 통찰적 사고나 혁신적 사고를 제한할 우려도 있다. 이에 따라 본 연구는 과학교수학습을 위해 인공지능의 긍정적 활용을 위한 여러 실천적 제언을 제시하였다.

대형 사전훈련 모델의 파인튜닝을 통한 강건한 한국어 음성인식 모델 구축 (Building robust Korean speech recognition model by fine-tuning large pretrained model)

  • 오창한;김청빈;박기영
    • 말소리와 음성과학
    • /
    • 제15권3호
    • /
    • pp.75-82
    • /
    • 2023
  • 자동 음성 인식(automatic speech recognition, ASR)은 딥러닝 기반 접근 방식으로 혁신되었으며, 그중에서도 자기 지도 학습 방법이 특히 효과적일 수 있음이 입증되고 있다. 본 연구에서는 다국어 ASR 시스템인 OpenAI의 Whisper 모델의 한국어 성능을 향상시키는 것을 목표하여 다국어 음성인식 시스템에서의 비주류 언어의 성능 문제를 개선하고자 한다. Whisper는 대용량 웹 음성 데이터 코퍼스(약 68만 시간)에서 사전 학습되었으며 주요 언어에 대한 강력한 인식 성능을 입증했다. 그러나 훈련 중 주요 언어가 아닌 한국어와 같은 언어를 인식하는 데 어려움을 겪을 수 있다. 우리는 약 1,000시간의 한국어 음성으로 구성된 추가 데이터 세트로 Whisper 모델을 파인튜닝하여 이 문제를 해결한다. 또한 동일한 데이터 세트를 사용하여 전체 훈련된 Transformer 모델을 베이스 라인으로 선정하여 성능을 비교한다. 실험 결과를 통해 Whisper 모델을 파인튜닝하면 문자 오류율(character error rate, CER) 측면에서 한국어 음성 인식 기능이 크게 향상되었음을 확인할 수 있다. 특히 모델 크기가 증가함에 따라 성능이 향상되는 경향을 포착하였다. 그러나 Whisper 모델의 영어 성능은 파인튜닝 후 성능이 저하됨을 확인하여 강력한 다국어 모델을 개발하기 위한 추가 연구의 필요성을 확인할 수 있었다. 추가적으로 우리의 연구는 한국어 음성인식 애플리케이션에 파인튜닝된 Whisper 모델을 활용할 수 있는 가능성을 확인할 수 있다. 향후 연구는 실시간 추론을 위한 다국어 인식과 최적화에 초점을 맞춰 실용적 연구를 이어갈 수 있겠다.

스미스 차트를 이용한 구리 인터커텍트의 비파괴적 부식도 평가 (Nondestructive Quantification of Corrosion in Cu Interconnects Using Smith Charts)

  • 강민규;김남경;남현우;강태엽
    • 마이크로전자및패키징학회지
    • /
    • 제31권2호
    • /
    • pp.28-35
    • /
    • 2024
  • 전자패키지 내부의 부식이 시스템 성능 및 신뢰성에 큰 영향을 미치고 있어, 시스템 건전성 관리를 위해 부식에 대한 비파괴적 진단 기법의 필요성이 커지고 있다. 본 연구에서는 복소 임피던스의 크기와 위상을 통합적으로 시각화하는 도구인 스미스 차트를 활용하여, 구리 인터커넥트의 부식을 비파괴적으로 평가하는 방법을 제시하고자 한다. 실험을 위해 구리 전송선을 모사한 시편을 제작하고, MIL-STD-810G 기준 온습도 사이클에 노출시켜 시편에 부식을 인가하였다. R 채널 기반 색변화로 시편의 부식도를 정량적으로 평가하고 레이블링 하였다. 부식의 성장에 따라 시편의 S-파라미터와 스미스 차트를 측정한 결과, 5 단계의 부식도에 따라 유의미한 패턴의 변화가 관찰되어, 스미스 차트가 부식도 평가에 효과적인 도구임을 확인하였다. 더 나아가 데이터 증강을 통해 다양한 부식도를 갖는 4,444개의 스미스 차트를 확보하여, 스미스 차트를 입력 받아 구리 인터커넥트의 부식 단계를 출력하는 인공지능 모델을 학습시켰다. 이미지 분류에 특화된 CNN 및 Transfomrer 모델을 적용한 결과, ConvNeXt 모델이 정확도 89.4%로 가장 높은 부식 진단 성능을 보였다. 스미스 차트를 이용하여 전자패키지 내부 부식을 진단할 경우, 전자신호를 이용하는 비파괴적 평가를 수행할 수 있다. 또한. 신호 크기와 위상 정보를 통합적으로 시각화 하여 직관적이며 노이즈에 강건한 진단이 가능할 것으로 기대한다.

다중 어댑터를 이용한 교차 언어 및 스타일 기반의 제목 생성 (Cross-Lingual Style-Based Title Generation Using Multiple Adapters)

  • 박요한;최용석;이공주
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권8호
    • /
    • pp.341-354
    • /
    • 2023
  • 문서의 제목은 문서의 내용을 가장 효율적으로 요약하여 제공해 준다. 이때 독자들이 선호하는 스타일과 언어에 따라 문서의 제목을 다르게 제공해 준다면, 독자들은 문서의 내용을 좀 더 쉽게 예측할 수 있다. 본 연구에서는 문서가 주어졌을 때 언어와 스타일에 따라 제목을 자동 생성하는'교차 언어 및 스타일 기반의 제목 생성 모델을 제안한다. 모델을 학습하기 위해서는 같은 내용을 다른 언어와 다른 스타일로 작성한 병렬데이터가 필요하다. 그러나 이러한 종류의 병렬데이터는 구축하기 매우 어렵다. 반면, 단일 언어와 단일 스타일로 구축된 제목 생성 데이터는 많으므로 본 연구에서는 제로샷(zero-shot) 학습으로 제목 생성을 수행하고자 한다. 교차 언어 및 스타일 기반의 제목 생성을 학습하기 위해 다중 언어로 사전 학습된 트랜스포머 모델에 각 언어, 스타일, 기계번역을 위한 어댑터를 추가하였다. 기계 번역용 병렬데이터를 이용하여 기계번역을 먼저 학습한 후, 동일 스타일의 제목 생성을 학습하였다. 이때, 필요한 어댑터만을 학습하고 다른 부분의 파라미터는 모두 고정시킨다. 교차 언어 및 스타일 기반의 제목을 생성할 때에는 목적 언어와 목적 스타일에 해당하는 어댑터만을 활성화시킨다. 실험 결과로는 각 모델을 따로 학습시켜 파이프라인으로 연결시킨 베이스라인에 비해 본 연구에서 제안한 제로샷 제목 생성의 성능이 크게 떨어지지 않았다. 최근 대규모 언어 모델의 등장으로 인한 자연어 생성에서의 많은 변화가 있다. 그러나 제한된 자원과 제한된 데이터만을 이용하여 자연어 생성의 성능을 개선하는 연구는 계속되어야 하며, 그런 점에서 본 연구의 의의를 모색한다.

동적모델을 이용한 대규모 전력계통의 등가 리액턴스와 저항 비율(X/R) 계산 (Dynamic Model Based Ratio Calculation of Equivalent Reactance and Resistance of the Bulk Power Systems)

  • 국경수;노대석
    • 한국산학기술학회논문지
    • /
    • 제12권6호
    • /
    • pp.2739-2746
    • /
    • 2011
  • 본 논문은 발전기, 변압기, 선로 및 부하로 구성 되는 복합 전력계통의 등가 리액턴스와 저항의 비율인 X/R 값을 더욱 효과적으로 계산하는 방법을 제안하고 이를 통해 실제 전력계통의 X/R 값을 계산하고 그 특성을 분석한다. 전력계통에서 X/R값은 전력계통의 차단기 정격을 결정하기 위해 사용되는 매우 중요한 값으로 주요 선로의 특징에 따라 X/R 값이 매우 커 전력계통의 해석에서는 등가저항(R)값을 고려하지 않는 것으로 인식되어 왔으나 이는 복합 전력계통에서 선로측만을 고려하였을 경우이고 전력계통의 모든 구성요소룰 고려할 경우 등가저항(R)의 값도 무시해서는 안 될 수준이 된다. 본 논문에서는 전력계통 해석에 널리 사용하고 있는 동적모델을 이용하여 전력계통의 X/R 값을 계산하는 방법을 제안하고 이를 시험계통에 적용하여 그 유용성을 검증 한 후 실제 대규모 복합 전력계통에서의 X/R 값을 분석한다. 또한 본 논문에서는 전력시장에서 사용되어 온 한계손실계수를 이용하여 X/R값이 계산위치의 발전기 근접도에 따라 달라지는 특성을 분석한다.

초 장단기 통합 태양광 발전량 예측 기법 (Very Short- and Long-Term Prediction Method for Solar Power)

  • 윤문섭;임세령;장한승
    • 한국전자통신학회논문지
    • /
    • 제18권6호
    • /
    • pp.1143-1150
    • /
    • 2023
  • 세계적 기후 위기와 저탄소 정책 이행으로 신재생 에너지에 관한 관심이 높아지고 이와 관련된 산업이 증가하고 있다. 이 중에서 태양 에너지는 고갈되지 않고 오염 물질이나 온실가스를 배출하지 않는 대표적인 친환경 에너지로 주목받고 있으며, 이에 따라 세계적으로 태양광 발전 시설 보급이 증가하고 있다. 하지만 태양광 발전은 지리, 날씨와 같은 환경의 영향을 받기 쉬우므로 안정적인 운영과 효율적인 관리를 위해 정확한 발전량 예측이 중요하다. 하지만 변동성이 큰 태양광 발전을 수학적 통계 기술로 정확한 발전량을 예측하는 것은 불가능하다. 이를 위해서 정확하고 효과적인 예측을 위해 딥러닝 기반의 기술에 관한 연구는 필수적이다. 또한, 기존의 딥러닝을 활용한 예측 방식은 장, 단기적인 예측을 나누어 수행하기 때문에 각각의 예측 결과를 얻기 위한 시간이 길어진다는 단점이 있다. 따라서, 본 연구에서는 시계열 특성을 가진 태양광 발전량 데이터를 사용하여 장단기 통합 예측을 수행하기 위해 순환 신경망의 다대다 구조를 활용한다. 그리고 이를 다양한 딥러닝 모델들에 적용하여 학습을 수행하고 각 모델의 결과를 비교·분석한다.