• 제목/요약/키워드: 어텐션 알고리즘

검색결과 15건 처리시간 0.021초

어텐션 기반 비디오 하이라이트 예측 알고리즘의 개선 (Improving Attention-based Video Highlight Prediction)

  • 윤원빈;황준규;이계민
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2021년도 추계학술대회
    • /
    • pp.314-317
    • /
    • 2021
  • 하이라이트 영상은 원본 영상의 중요한 장면들을 짧은 시간 안에 감상할 수 있게 도와준다. 특히나 경기 시간 긴 축구나 야구 그리고 e-스포츠의 시청자들에게 있어, 하이라이트 영상의 효용성은 더욱 증가한다. 하이라이트 영상 추출의 자동화로 방송사나 온라인 플랫폼은 비용 절감과 시간 절약의 이점을 얻을 수 있다. 따라서 본 논문에서는 스포츠 영상에서 자동으로 하이라이트 구간을 추출하는 모델을 제안한다. 제안하는 모델은 멀티 헤드 어텐션 매커니즘과 LSTM 네트워크의 결합으로 구성된다. 해당 매커니즘의 여러 헤드를 통해 어텐션을 다양한 관점에서 진행한다. 이로 인해 영상의 전체적인 맥락과 장면 간의 유기적 관계를 다양한 관점에서 파악할 수 있다. 또한 오디오와 이미지 정보를 함께 이용하여 모델을 학습한다. 학습한 모델의 평가는 e-스포츠 경기 영상을 이용하여 평가한다.

  • PDF

어텐션임베딩과 다채널 CNN 기반 반시민성 검출 알고리즘 (Detection of Incivility based on Attention-embedding and multi-channel CNN)

  • 박윤정;이세영;금희조
    • 한국정보통신학회논문지
    • /
    • 제26권12호
    • /
    • pp.1880-1889
    • /
    • 2022
  • 온라인 포털 플랫폼은 뉴스 기사와 온라인 댓글을 제공하고 있으나, 온라인 댓글의 익명성은 반시민적 표현을 증가시켜 사회적 문제점으로 간주되고 있다. 댓글의 반시민성 검출 연구가 많이 이루어진 국외와 달리, 국내에서는 비시민성을 세분화한 한국어 데이터셋이 구현되지 않아 심도있는 연구가 이루어지지 못하였다. 본 연구에서는 댓글의 반시민성에 대한 라벨링을 총 13가지 항목으로 시행하였으며 반시민적 표현으로 요약하였다. 또한 어텐션 알고리즘을 이중으로 적용하여 임베딩 벡터를 추출하였고 이후 2-d CNN으로 반시민성 항목을 분류하였다. 그 결과, 제안한 알고리즘이 무례한 호칭 및 공격적 어조 등의 반시민성 검출에 유용하다는 것을 보여주었다. 본 연구는 민주적 담론을 저해하는 반시민적 댓글들을 탐지함으로써 건전한 온라인 댓글 문화 형성에 기여할 것으로 기대된다.

어텐션 기반 게이트 순환 유닛을 이용한 수동소나 신호분류 (Passive sonar signal classification using attention based gated recurrent unit)

  • 이기배;고건혁;이종현
    • 한국음향학회지
    • /
    • 제42권4호
    • /
    • pp.345-356
    • /
    • 2023
  • 수동소나의 표적신호는 수초 내 세기의 변화를 갖는 협대역 고조파 특성과 로이드 거울 효과에 의한 장시간 주파수 변이 특성을 나타낸다. 본 논문에서는 지역 및 전역적 시계열 특징을 학습하는 게이트 순환 유닛 기반의 신호분류 알고리즘을 제안한다. 제안하는 알고리즘은 게이트 순환 유닛을 이용한 다층 네트워크를 구성하고 확장된 연결을 통해 지역 및 전역적 시계열 특징들을 추출한다. 이후 어텐션 메커니즘을 학습하여 시계열 특징들을 가중하고 수동소나 신호를 분류한다. 공개된 수중 음향 데이터를 이용한 실험에서 제안된 네트워크는 96.50 %의 우수한 분류 정확도를 보였다. 이러한 결과는 기존의 잔차 연결된 게이트 순환 유닛 네트워크과 비교하여 4.17 % 높은 분류 정확도를 갖는다.

트랜스포머 알고리즘의 멀티 헤드 어텐션과 피드포워드 네트워크에서 활용 가능한 효율적인 행렬 곱셈기 (An Efficient Matrix Multiplier Available in Multi-Head Attention and Feed-Forward Network of Transformer Algorithms)

  • 장석우;김동순
    • 전기전자학회논문지
    • /
    • 제28권1호
    • /
    • pp.53-64
    • /
    • 2024
  • 자연어 처리 모델이 발전함에 따라 챗 GPT와 같은 대화형 언어 생성 AI 모델이 널리 사용되고 있다. 따라서 자연어 처리 최신 모델의 기반이 되는 트랜스포머 알고리즘을 하드웨어로 구현하여 연산 속도와 전력 소비량을 개선하는 것은 중요하다고 할 수 있다. 특히, 행렬 곱셈을 통해 문장에서 서로 다른 단어 간의 관계를 분석하는 멀티 헤드 어텐션과 피드 포워드 네트워크는 트랜스포머에서 연산량이 가장 큰 핵심적인 알고리즘이다. 본 논문에서는 기존의 시스톨릭 어레이를 변형하여 행렬 곱 연산 속도를 개선하고, 입력 단어 개수 변동에 따라 지연시간도 변동되는 유동적인 구조를 제안한다. 또한, 트랜스포머 알고리즘의 정확도를 유지하는 형태로 양자화를 하여 메모리 효율성과 연산 속도를 높였다. 본 논문은 평가를 위해 멀티헤드어텐션과 피드포워드 네트워크에서 소요되는 클럭사이클을 검증하고 다른 곱셈기와 성능을 비교하였다.

웹 정보 검색 이력을 이용한 사용자 의도 자동 추출 (Automatic Extract User Intention from Web Search Log)

  • 박기남;정순영;서태원;지혜성;이태민;임희석
    • 컴퓨터교육학회논문지
    • /
    • 제12권6호
    • /
    • pp.21-32
    • /
    • 2009
  • 본 논문은 사용자가 정보 욕구를 정확하게 질의어로 입력하고, 원하는 정보가 검색될 수 있도록 지원하기 위한 사용자 의도 자동추출과 이를 이용한 인텐션 맵 구축 방법을 제안한다. 제안하는 방법은 동일한 검색어를 입력한 사용자들의 검색 이력 데이터를 이용하여 사용자 의도 자질을 선정하고, 클러스터링 알고리즘과 사용자 의도 추출 알고리즘을 이용하여 사용자 의도를 추출하였다. 추출된 사용자 의도는 지식표상 이론에 근거한 인텐션 맵으로 표현하였다. 제안한 인텐션 맵의 효용성 분석을 위하여 현재 국내 상용 검색엔진에서 제공받은 2,600개의 사용자 검색 이력 데이터를 이용하였다. 실험결과 인텐션 맵을 이용한 정보검색이 일반 검색엔진을 이용 할 때 보다 통계적으로 유의미한 만족도를 나타내었다.

  • PDF

도심 자율주행을 위한 어텐션-장단기 기억 신경망 기반 차선 변경 가능성 판단 알고리즘 개발 (Attention-LSTM based Lane Change Possibility Decision Algorithm for Urban Autonomous Driving)

  • 이희성;이경수
    • 자동차안전학회지
    • /
    • 제14권3호
    • /
    • pp.65-70
    • /
    • 2022
  • Lane change in urban environments is a challenge for both human-driving and automated driving due to their complexity and non-linearity. With the recent development of deep-learning, the use of the RNN network, which uses time series data, has become the mainstream in this field. Many researches using RNN show high accuracy in highway environments, but still do not for urban environments where the surrounding situation is complex and rapidly changing. Therefore, this paper proposes a lane change possibility decision network by adopting Attention layer, which is an SOTA in the field of seq2seq. By weighting each time step within a given time horizon, the context of the road situation is more human-like. A total 7D vectors of x, y distances and longitudinal relative speed of side front and rear vehicles, and longitudinal speed of ego vehicle were used as input. A total 5,614 expert data of 4,098 yield cases and 1,516 non-yield cases were used for training, and the performance of this network was tested through 1,817 data. Our network achieves 99.641% of test accuracy, which is about 4% higher than a network using only LSTM in an urban environment. Furthermore, it shows robust behavior to false-positive or true-negative objects.

어텐션 적용 YOLOv4 기반 SAR 영상 표적 탐지 및 인식 (SAR Image Target Detection based on Attention YOLOv4)

  • 박종민;육근혁;김문철
    • 한국군사과학기술학회지
    • /
    • 제25권5호
    • /
    • pp.443-461
    • /
    • 2022
  • Target Detection in synthetic aperture radar(SAR) image is critical for military and national defense. In this paper, we propose YOLOv4-Attention architecture which adds attention modules to YOLOv4 backbone architecture to complement the feature extraction ability for SAR target detection with high accuracy. For training and testing our framework, we present new SAR embedding datasets based on MSTAR SAR public datasets which are about poor environments for target detection such as various clutter, crowded objects, various object size, close to buildings, and weakness of signal-to-clutter ratio. Experiments show that our Attention YOLOv4 architecture outperforms original YOLOv4 architecture in SAR image target detection tasks in poor environments for target detection.

3차원 객체 탐지를 위한 어텐션 기반 특징 융합 네트워크 (Attention based Feature-Fusion Network for 3D Object Detection)

  • 유상현;강대열;황승준;박성준;백중환
    • 한국항행학회논문지
    • /
    • 제27권2호
    • /
    • pp.190-196
    • /
    • 2023
  • 최근 들어, 라이다 기술의 발전에 따라 정확한 거리 측정이 가능해지면서 라이다 기반의 3차원 객체 탐지 네트워크에 대한 관심이 증가하고 있다. 기존의 네트워크는 복셀화 및 다운샘플링 과정에서 공간적인 정보 손실이 발생해 부정확한 위치 추정 결과를 발생시킨다. 본 연구에서는 고수준 특징과 높은 위치 정확도를 동시에 획득하기 위해 어텐션 기반 융합 방식과 카메라-라이다 융합 시스템을 제안한다. 먼저, 그리드 기반의 3차원 객체 탐지 네트워크인 Voxel-RCNN 구조에 어텐션 방식을 도입함으로써, 다중 스케일의 희소 3차원 합성곱 특징을 효과적으로 융합하여 3차원 객체 탐지의 성능을 높인다. 다음으로, 거짓 양성을 제거하기 위해 3차원 객체 탐지 네트워크의 탐지 결과와 이미지상의 2차원 객체 탐지 결과를 결합하는 카메라-라이다 융합 시스템을 제안한다. 제안 알고리즘의 성능평가를 위해 자율주행 분야의 KITTI 데이터 세트를 이용하여 기존 알고리즘과의 비교 실험을 수행한다. 결과적으로, 차량 클래스에 대해 BEV 상의 2차원 객체 탐지와 3차원 객체 탐지 부분에서 성능 향상을 보였으며 특히 Voxel-RCNN보다 차량 Moderate 클래스에 대하여 정확도가 약 0.47% 향상되었다.

Applying a Novel Neuroscience Mining (NSM) Method to fNIRS Dataset for Predicting the Business Problem Solving Creativity: Emphasis on Combining CNN, BiLSTM, and Attention Network

  • Kim, Kyu Sung;Kim, Min Gyeong;Lee, Kun Chang
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권8호
    • /
    • pp.1-7
    • /
    • 2022
  • 인공지능 기술이 발달하면서 뉴로사이언스 마이닝(NSM: NeuroScience Mining)과 AI를 접목하려는 시도가 증가하고 있다. 나아가 NSM은 뉴로사이언스와 비즈니스 애널리틱스의 결합으로 인해 연구범위가 확장되고 있다. 본 연구에서는 fNIRS 실험을 통해 확보한 뉴로 데이터를 분석하여 비즈니스 문제 해결 창의성(BPSC: business problem-solving creativity)을 예측하고 이를 통해 NSM의 잠재력을 조사한다. BPSC는 비즈니스에서 차별성을 가지게 하는 중요한 요소이지만, 인지적 자원의 하나인 BPSC의 측정 및 예측에는 한계가 존재한다. 본 논문에서는 BPSC 예측 성능을 높이는 방안으로 CNN, BiLSTM 그리고 어텐션 네트워크를 결합한 새로운 NSM 기법을 제안한다. 제안된 NSM 기법을 15만 개 이상의 fNIRS 데이터를 활용하여 유효성을 입증하였다. 연구 결과, 본 논문에서 제안하는 NSM 방법이 벤치마킹한 알고리즘(CNN, BiLSTM)에 비하여 우수한 성능을 가지는 것으로 나타났다.

어텐션 기반의 지속학습에서 정규화값 제어 방법 (Regularization Strength Control for Continuous Learning based on Attention Transfer)

  • 강석훈;박성현
    • 전기전자학회논문지
    • /
    • 제26권1호
    • /
    • pp.19-26
    • /
    • 2022
  • 본 논문에서는 LwF에서 도메인 차이에 따른 성능 하락 현상을 해결하기 위해, 각 손실값에 각각 다른 가변람다를 적용하는 알고리즘을 제안하여, 향상된 과거 지식유지가 이루어 지게 한다. 이 지식 전달 기반의 방법을 LwF와 접목하여, 과거 학습 태스크의 지식 유지 성능을 강화하였다. 가변 람다 방법을 추가적으로 적용하여, 현재 학습할 태스크를 잘 학습할 수 있도록 람다 값을 가변적으로 조절할 수 있었다. 본 논문의 제안 방법을 적용하여 학습한 결과 시나리오에 상관없이 평균 5% 정도 데이터의 정확도가 향상하였고, 특히 본 논문의 목표인 과거 지식을 유지하는 성능이 최대 70% 가까이 개선되었고, 과거 학습 데이터의 정확도가 기존 LwF 대비 평균 22% 상승하였다.