• 제목/요약/키워드: Transformer Models

검색결과 157건 처리시간 0.032초

YOLOv8을 이용한 실시간 화재 검출 방법 (Real-Time Fire Detection Method Using YOLOv8)

  • 이태희;박천수
    • 반도체디스플레이기술학회지
    • /
    • 제22권2호
    • /
    • pp.77-80
    • /
    • 2023
  • Since fires in uncontrolled environments pose serious risks to society and individuals, many researchers have been investigating technologies for early detection of fires that occur in everyday life. Recently, with the development of deep learning vision technology, research on fire detection models using neural network backbones such as Transformer and Convolution Natural Network has been actively conducted. Vision-based fire detection systems can solve many problems with physical sensor-based fire detection systems. This paper proposes a fire detection method using the latest YOLOv8, which improves the existing fire detection method. The proposed method develops a system that detects sparks and smoke from input images by training the Yolov8 model using a universal fire detection dataset. We also demonstrate the superiority of the proposed method through experiments by comparing it with existing methods.

  • PDF

CTR 예측을 위한 비전 트랜스포머 활용에 관한 연구 (A Study on Utilization of Vision Transformer for CTR Prediction)

  • 김태석;김석훈;임광혁
    • 지식경영연구
    • /
    • 제22권4호
    • /
    • pp.27-40
    • /
    • 2021
  • Click-Through Rate(CTR) 예측은 추천시스템에서 후보 항목의 순위를 결정하고 높은 순위의 항목들을 추천하여 고객의 정보 과부하를 줄임과 동시에 판매 촉진을 통한 수익 극대화를 달성할 수 있는 핵심 기능이다. 자연어 처리와 이미지 분류 분야는 심층신경망(deep neural network)의 활용을 통한 괄목한 성장을 하고 있다. 최근 이 분야의 주류를 이루던 모델과 차별화된 어텐션(attention) 메커니즘 기반의 트랜스포머(transformer) 모델이 제안되어 state-of-the-art를 달성하였다. 본 연구에서는 CTR 예측을 위한 트랜스포머 기반 모델의 성능 향상 방안을 제시한다. 자연어와 이미지 데이터와는 다른 이산적(discrete)이며 범주적(categorical)인 CTR 데이터 특성이 모델 성능에 미치는 영향력을 분석하기 위해 임베딩의 일반화(regularization)와 트랜스포머의 정규화(normalization)에 관한 실험을 수행한다. 실험 결과에 따르면, CTR 데이터 입력 처리를 위한 임베딩 과정에서 L2 일반화의 적용과 트랜스포머 모델의 기본 정규화 방법인 레이어 정규화 대신 배치 정규화를 적용할 때 예측 성능이 크게 향상됨을 확인하였다.

제한된 학습 데이터를 사용하는 End-to-End 음성 인식 모델 (End-to-end speech recognition models using limited training data)

  • 김준우;정호영
    • 말소리와 음성과학
    • /
    • 제12권4호
    • /
    • pp.63-71
    • /
    • 2020
  • 음성 인식은 딥러닝 및 머신러닝 분야에서 활발히 상용화 되고 있는 분야 중 하나이다. 그러나, 현재 개발되고 있는 음성 인식 시스템은 대부분 성인 남녀를 대상으로 인식이 잘 되는 실정이다. 이것은 음성 인식 모델이 대부분 성인 남녀 음성 데이터베이스를 학습하여 구축된 모델이기 때문이다. 따라서, 노인, 어린이 및 사투리를 갖는 화자의 음성을 인식하는데 문제를 일으키는 경향이 있다. 노인과 어린이의 음성을 잘 인식하기 위해서는 빅데이터를 구축하는 방법과 성인 대상 음성 인식 엔진을 노인 및 어린이 데이터로 적응하는 방법 등이 있을 수 있지만, 본 논문에서는 음향적 데이터 증강에 기반한 재귀적 인코더와 언어적 예측이 가능한 transformer 디코더로 구성된 새로운 end-to-end 모델을 제안한다. 제한된 데이터셋으로 구성된 한국어 노인 및 어린이 음성 인식을 통해 제안된 방법의 성능을 평가한다.

오류 유형에 따른 생성요약 모델의 본문-요약문 간 요약 성능평가 비교 (Empirical Study for Automatic Evaluation of Abstractive Summarization by Error-Types)

  • 이승수;강상우
    • 인지과학
    • /
    • 제34권3호
    • /
    • pp.197-226
    • /
    • 2023
  • 텍스트 생성요약은 자연어처리의 과업 중 하나로 긴 텍스트의 내용을 보존하면서 짧게 축약된 요약문을 생성한다. 생성요약 과업의 특성 상 본문의 핵심내용을 요약문에서 보존하는 것은 매우 중요하다. 기존의 생성요약 방법론은 정답요약과의 어휘 중첩도(Lexical-Overlap)를 기반으로 본문의 내용과 유창성을 측정했다. ROUGE는 생성요약 요약모델의 평가지표로 많이 사용하는 어휘 중첩도 기반의 평가지표이다. 생성요약 벤치마크에서 ROUGE가 49점대로 매우 높은 성능을 보임에도 불구하고, 생성한 요약문과 본문의 내용이 불일치하는 경우가 30% 가량 존재한다. 본 연구에서는 정답요약의 도움 없이 본문만을 활용해 생성요약 모델의 성능을 평가하는 방법론을 제안한다. 본 연구에서 제안한 평가점수를 AggreFACT의 라벨과 상관도 분석결과, 다음의 두 가지 경우 가장 높은 상관관계를 보였다. 첫 번째는 Transformer 구조의 인코더-디코더 구조에 대규모 사전학습을 진행한 BART와 PEGASUS 등을 생성요약 모델의 베이스라인으로 사용한 경우이고, 두 번째는 요약문 전체에 걸쳐 오류가 발생한 경우이다.

얼굴 영역 추출 시 여유값의 설정에 따른 개성 인식 모델 정확도 성능 분석 (Performance Analysis for Accuracy of Personality Recognition Models based on Setting of Margin Values at Face Region Extraction)

  • 구욱;한규원;김봉재
    • 한국인터넷방송통신학회논문지
    • /
    • 제24권1호
    • /
    • pp.141-147
    • /
    • 2024
  • 최근 개인의 성향을 반영한 맞춤형 서비스가 각광 받고 있다. 이와 관련하여 개인의 개성을 인식하고 활용하고자 하는 연구가 지속적으로 이루어지고 있다. 각 개인의 개성을 인식하고 평가하는 방법은 다수가 있지만, OCEAN 모델이 대표적으로 사용된다. OCEAN 모델로 각 개인의 개성을 인식할 때 언어적, 준언어적, 비언어적 정보를 이용하는 멀티 모달리티 기반 인공지능 모델이 사용될 수 있다. 본 논문에서는 비언어적 정보인 사용자의 표정을 기반으로 OCEAN을 인식하는 인공지능 모델에서 영상 데이터에서 얼굴 영역을 추출할 때 지정하는 얼굴 영역 여유값(Margin)에 따른 개성 인식 모델 정확도 성능을 분석한다. 실험에서는 2D Patch Partition, R2plus1D, 3D Patch Partition, 그리고 Video Swin Transformer에 기반한 개성 인식 모델을 사용하였다. 얼굴 영역 추출 시 여유값을 60으로 사용했을 때 1-MAE 성능이 0.9118로 가장 우수하였다. 따라서 개성 인식 모델의 성능을 최적화하기 위해서는 적절한 여유값을 설정해야 함을 확인하였다.

배전용 STATCON 설치사례-엔지니어링 (Field Demonstration of the Distribution STATCON-Engineering)

  • 한영성;유일도;최종윤;홍순욱;이학성;전영수
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 1999년도 하계학술대회 논문집 F
    • /
    • pp.2575-2577
    • /
    • 1999
  • This paper describes the engineering process for analyzing the simulation result and deciding the site in which Distribution STATCON operates more effectively. For this purpose the modeling method of industrial loads, equipments and STATCON was represented. Models of motor, furnace and so on are presented for the modeling of industrial loads. The distribution system models include the parameters of the distribution line and transformer. The models of PESS(Power Electronics Subsystem), controllers and maginetics are consist of STATCON model.

  • PDF

초거대 인공지능 프로세서 반도체 기술 개발 동향 (Technical Trends in Hyperscale Artificial Intelligence Processors)

  • 전원;여준기
    • 전자통신동향분석
    • /
    • 제38권5호
    • /
    • pp.1-11
    • /
    • 2023
  • The emergence of generative hyperscale artificial intelligence (AI) has enabled new services, such as image-generating AI and conversational AI based on large language models. Such services likely lead to the influx of numerous users, who cannot be handled using conventional AI models. Furthermore, the exponential increase in training data, computations, and high user demand of AI models has led to intensive hardware resource consumption, highlighting the need to develop domain-specific semiconductors for hyperscale AI. In this technical report, we describe development trends in technologies for hyperscale AI processors pursued by domestic and foreign semiconductor companies, such as NVIDIA, Graphcore, Tesla, Google, Meta, SAPEON, FuriosaAI, and Rebellions.

Alzheimer's disease recognition from spontaneous speech using large language models

  • Jeong-Uk Bang;Seung-Hoon Han;Byung-Ok Kang
    • ETRI Journal
    • /
    • 제46권1호
    • /
    • pp.96-105
    • /
    • 2024
  • We propose a method to automatically predict Alzheimer's disease from speech data using the ChatGPT large language model. Alzheimer's disease patients often exhibit distinctive characteristics when describing images, such as difficulties in recalling words, grammar errors, repetitive language, and incoherent narratives. For prediction, we initially employ a speech recognition system to transcribe participants' speech into text. We then gather opinions by inputting the transcribed text into ChatGPT as well as a prompt designed to solicit fluency evaluations. Subsequently, we extract embeddings from the speech, text, and opinions by the pretrained models. Finally, we use a classifier consisting of transformer blocks and linear layers to identify participants with this type of dementia. Experiments are conducted using the extensively used ADReSSo dataset. The results yield a maximum accuracy of 87.3% when speech, text, and opinions are used in conjunction. This finding suggests the potential of leveraging evaluation feedback from language models to address challenges in Alzheimer's disease recognition.

탭 변환 단권변압기 기반 LVRT/HVRT 시험장비의 임피던스 설계 (Impedance design of tap changing auto transformer based LVRT/HVRT test device)

  • 백승혁;김동욱;윤영두;김성민
    • 전기전자학회논문지
    • /
    • 제24권1호
    • /
    • pp.216-224
    • /
    • 2020
  • 본 논문은 계통 연계 기준인 Low Voltage Ride Through(LVRT) 및 High Voltage Ride Through(HVRT) 기능을 평가하기 위한 시험 장비의 임피던스 설계 방법을 제안한다. LVRT/HVRT 시험 장비는 계통 연계 규정에 명시되어 있는 계통 사고 전압을 일정시간 동안 발생시킬 수 있어야 하며 설계 사양에 맞게 사고전류의 크기를 제한해야 한다. 본 논문에서는 LVRT/HVRT 동작 시 탭 변환 단권변압기 시험 장비의 등가 모델을 기반으로 계통 연계 규정을 만족하기 위한 단권변압기의 임피던스를 설계한다. 제안하는 설계 방법을 이용하여 LVRT/HVRT 시험 시 요구되는 다양한 사고전압을 출력할 수 있는 시험장비의 설계를 위한 탭 간의 임피던스 설계 과정을 설명한다. 제안하는 설계 방법의 타당성을 검증하기 위하여, 10MVA급 LVRT/HVRT 시험 장비의 설계 과정을 설명하고 시뮬레이션을 통하여 확인하였다.

전력선 통신 기법을 활용한 변압기 식별 방법에 대한 고찰 (Study about Power Transformer Identification Method based on Power Line Communication Technology)

  • 변희정;최상준;손수국
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2015년도 추계학술대회
    • /
    • pp.1006-1009
    • /
    • 2015
  • 3상 4선식 배전계통에서 특정 수용가가 어떤 변압기로부터 공급되는지를 결정하기 위한 전력선 통신방식을 활용한 식별 방법이 제안된다. 이러한 배전계통에서 전력선 통신 신호의 전달 특성을 분석하기 위한 변압기, 3상 선로, 부하 등에 대한 수치해석 모델을 기술한다. 배전선로에 고주파 전력신호를 주입하여 분석 한 결과 고주파 신호는 배전선에서 전달 능력에 한계 능력을 갖는다. 보통 배전계통의 전력 변압기는 그러한 고주파 신호의 전달을 차폐하게 된다. 이러한 제안된 전송제한 방법을 사용하여 변압기를 식별하는데 적용한다. 새로운 형태의 전력선 변압기 식별시스템이 설계 및 구현된다. 시스템은 전력선 통신 모듈을 바탕으로 송수신기로 구성된다. 이론적 개념을 검증하기 위해서 일반 상업용 건물에서 실험이 행하여진다. 또한 MATLAB Simulink 시뮬레이터를 사용하여 개념에 대한 이해를 위한 시뮬레이션이 수행된다.

  • PDF