• 제목/요약/키워드: attention mechanism

검색결과 780건 처리시간 0.032초

인간의 색상처리방식에 기반한 교통 표지판 영역 추출 시스템 (Traffic Sign Area Detection System Based on Color Processing Mechanism of Human)

  • 최경주;박민철
    • 한국콘텐츠학회논문지
    • /
    • 제7권2호
    • /
    • pp.63-72
    • /
    • 2007
  • 교통 표지판은 먼거리에서도 교통 표지라는 것을 쉽게 판별하여 단시간 내에 그 내용을 파악할 수 있어야 한다. 교통 표지판의 도로의 안전 주행에 있어 아주 중요한 객체로 도로 상의 다른 그 무엇보다도 먼저 인간의 시선을 잡아끌어야 한다. 이에 본 논문에서는 인간의 도로 상의 어떤 물체보다도 교통 표지판에 가장 먼저 시선을 집중한다는 가정하에 주의 모듈(Attention Module)을 사용하여 교통 표지판 영역을 추출하는 시스템을 제안하고자 한다. 특히 본 논문에서는 인간의 대상(object)인식과정, 특히 색상처리과정에서 어떠한 특징들이 사용되어지는지를 기존의 정신물리학적, 생리학적 실험결과를 통해 분석하였고, 이 분석결과를 통해 얻어진 특징들을 사용하여 교통 표지판 영역을 추출하였다. 실제 도로위에서 찍은 실영상을 대상으로 실험하였으며, 실험을 통하여 평균 97.8%의 탐지율을 보임을 확인하였다.

저자원 환경의 음성인식을 위한 자기 주의를 활용한 음향 모델 학습 (Acoustic model training using self-attention for low-resource speech recognition)

  • 박호성;김지환
    • 한국음향학회지
    • /
    • 제39권5호
    • /
    • pp.483-489
    • /
    • 2020
  • 본 논문에서는 저자원 환경의 음성인식에서 음향 모델의 성능을 높이기 위한 음향 모델 학습 방법을 제안한다. 저자원 환경이란, 음향 모델에서 100시간 미만의 학습 자료를 사용한 환경을 말한다. 저자원 환경의 음성인식에서는 음향 모델이 유사한 발음들을 잘 구분하지 못하는 문제가 발생한다. 예를 들면, 파열음 /d/와 /t/, 파열음 /g/와 /k/, 파찰음 /z/와 /ch/ 등의 발음은 저자원 환경에서 잘 구분하지 못한다. 자기 주의 메커니즘은 깊은 신경망 모델로부터 출력된 벡터에 대해 가중치를 부여하며, 이를 통해 저자원 환경에서 발생할 수 있는 유사한 발음 오류 문제를 해결한다. 음향 모델에서 좋은 성능을 보이는 Time Delay Neural Network(TDNN)과 Output gate Projected Gated Recurrent Unit(OPGRU)의 혼합 모델에 자기 주의 기반 학습 방법을 적용했을 때, 51.6 h 분량의 학습 자료를 사용한 한국어 음향 모델에 대하여 단어 오류율 기준 5.98 %의 성능을 보여 기존 기술 대비 0.74 %의 절대적 성능 개선을 보였다.

원격 탐사 변화 탐지를 위한 변화 주목 기반의 덴스 샴 네트워크 (Change Attention based Dense Siamese Network for Remote Sensing Change Detection)

  • 황기수;이우주;오승준
    • 방송공학회논문지
    • /
    • 제26권1호
    • /
    • pp.14-25
    • /
    • 2021
  • 서로 다른 시간에 촬영된 같은 위치의 원격 탐사 영상에서 변화된 사항을 찾는 변화 탐지는 다양한 영역에 적용되기 때문에 매우 중요하다. 그러나 정합 오차, 건물 변위 오차, 그림자 오차 등이 오탐지를 발생시킨다. 이러한 문제점을 해결하기 위해 본 논문은 CADNet(Change Attention Dense Siamese Network)을 제안한다. CADNet은 다양한 크기의 변화 영역을 탐지하기 위해 FPN(Feature Pyramid Network)을 사용하며, 변화 영역에 주목하는 변화 주목 모듈을 적용하고, 낮은 수준 (Low-level)의 특징과 높은 수준 (High-level)의 특징을 모두 포함하고 있는 피처 맵을 변화 탐지에 사용하기 위해 DenseNet을 피처 추출기로 사용한다. CADNet의 성능을 Precision, Recall, F1 측면에서 측정하였을 때 WHU 데이터 세트에 대하여 98.44%, 98.47%, 98.46%이었고, LEVIR-CD 데이터 세트에 대해 90.72%, 91.89%, 91.30%이었다. 이 실험의 결과는 CADNet이 기존 변화 탐지 방법들보다 향상된 성능을 제공한다는 것을 보여준다.

Self-Attention 기반의 변분 오토인코더를 활용한 신약 디자인 (De Novo Drug Design Using Self-Attention Based Variational Autoencoder)

  • ;최종환;서상민;김경훈;박상현
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권1호
    • /
    • pp.11-18
    • /
    • 2022
  • 신약 디자인은 단백질 수용체와 같은 생물학적 표적과 상호작용할 수 있는 약물 후보물질을 식별하는 과정이다. 전통적인 신약 디자인 연구는 약물 후보 물질 탐색과 약물 개발 단계로 구성되어 있으나, 하나의 신약을 개발하기 위해서는 10년 이상의 장시간이 요구된다. 이러한 기간을 단축하고 효율적으로 신약 후보 물질을 발굴하기 위하여 심층 학습 기반의 방법들이 연구되고 있다. 많은 심층학습 기반의 모델들은 SMILES 문자열로 표현된 화합물을 재귀신경망을 통해 학습 및 생성하고 있으나, 재귀신경망은 훈련시간이 길고 복잡한 분자식의 규칙을 학습시키기 어려운 단점이 있어서 개선의 여지가 남아있다. 본 연구에서는 self-attention과 variational autoencoder를 활용하여 SMILES 문자열을 생성하는 딥러닝 모델을 제안한다. 제안된 모델은 최신 신약 디자인 모델 대비 훈련 시간을 1/26로 단축하는 것뿐만 아니라 유효한 SMILES를 더 많이 생성하는 것을 확인하였다.

The Role of Quantitative Electroencephalogram in the Diagnosis and Subgrouping of Attention-Deficit/Hyperactivity Disorder

  • Bong, Su Hyun;Kim, Jun Won
    • Journal of the Korean Academy of Child and Adolescent Psychiatry
    • /
    • 제32권3호
    • /
    • pp.85-92
    • /
    • 2021
  • Attention-deficit/hyperactivity disorder (ADHD) leads to functional decline in academic performance, interpersonal relationships, and development in school-aged children. Early diagnosis and appropriate intervention can significantly reduce the functional decline caused by ADHD. Currently, there is no established biological marker for ADHD. Some studies have suggested that various indicators from the quantitative electroencephalogram (QEEG) may be useful biological markers for the diagnosis of ADHD. Until the 2010s, theta/beta ratio (TBR) was a biomarker candidate for ADHD that consistently showed high diagnostic value. However, limitations of TBR have recently been reported. Studies have demonstrated that phase-amplitude coupling, especially theta phase-gamma amplitude coupling, are related to cognitive dysfunction and may assist in the diagnosis of ADHD. As yet, the underlying mechanism is not clearly established, and the clinical efficacy of these biomarkers needs to be proven through well-controlled studies. Based on the heterogeneous characteristics of ADHD, subgrouping through QEEG plays a key role in diagnosis and treatment planning. Sophisticated, well-designed studies and meta-analyses are necessary to confirm these findings.

심층학습 기법을 활용한 효과적인 타이어 마모도 분류 및 손상 부위 검출 알고리즘 (Efficient Tire Wear and Defect Detection Algorithm Based on Deep Learning)

  • 박혜진;이영운;김병규
    • 한국멀티미디어학회논문지
    • /
    • 제24권8호
    • /
    • pp.1026-1034
    • /
    • 2021
  • Tire wear and defect are important factors for safe driving condition. These defects are generally inspected by some specialized experts or very expensive equipments such as stereo depth camera and depth gauge. In this paper, we propose tire safety vision inspector based on deep neural network (DNN). The status of tire wear is categorized into three: 'safety', 'warning', and 'danger' based on depth of tire tread. We propose an attention mechanism for emphasizing the feature of tread area. The attention-based feature is concatenated to output feature maps of the last convolution layer of ResNet-101 to extract more robust feature. Through experiments, the proposed tire wear classification model improves 1.8% of accuracy compared to the existing ResNet-101 model. For detecting the tire defections, the developed tire defect detection model shows up-to 91% of accuracy using the Mask R-CNN model. From these results, we can see that the suggested models are useful for checking on the safety condition of working tire in real environment.

SERADE : 섹션 표현 기반 문서 임베딩 모델을 활용한 긴 문서 검색 성능 개선 (SERADE: Section Representation Aggregation Retrieval for Long Document Ranking)

  • 정혜인;전현규;김지윤;이찬형;김봉수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.135-140
    • /
    • 2022
  • 최근 Document Retrieval을 비롯한 대부분의 자연어처리 분야에서는 BERT와 같이 self-attention을 기반으로 한 사전훈련 모델을 활용하여 SOTA(state-of-the-art)를 이루고 있다. 그러나 self-attention 메커니즘은 입력 텍스트 길이의 제곱에 비례하여 계산 복잡도가 증가하기 때문에, 해당 모델들은 선천적으로 입력 텍스트의 길이가 제한되는 한계점을 지닌다. Document Retrieval 분야에서는, 문서를 특정 토큰 길이 단위의 문단으로 나누어 각 문단의 유사 점수 또는 표현 벡터를 추출한 후 집계함으로서 길이 제한 문제를 해결하는 방법론이 하나의 주류를 이루고 있다. 그러나 논문, 특허와 같이 섹션 형식(초록, 결론 등)을 갖는 문서의 경우, 섹션 유형에 따라 고유한 정보 특성을 지닌다. 따라서 문서를 단순히 특정 길이의 문단으로 나누어 학습하는 PARADE와 같은 기존 방법론은 각 섹션이 지닌 특성을 반영하지 못한다는 한계점을 지닌다. 본 논문에서는 섹션 유형에 대한 정보를 포함하는 문단 표현을 학습한 후, 트랜스포머 인코더를 사용하여 집계함으로서, 결과적으로 섹션의 특징과 상호 정보를 학습할 수 있도록 하는 SERADE 모델을 제안하고자 한다. 실험 결과, PARADE-Transformer 모델과 비교하여 평균 3.8%의 성능 향상을 기록하였다.

  • PDF

인터넷 웹사이트 평가모형 도출에 관한 탐색적 연구 (Study on investigative driving an evaluation model for Internet website)

  • 김정선
    • 경영과정보연구
    • /
    • 제9권
    • /
    • pp.117-137
    • /
    • 2002
  • As attention to the Internet from both companies and individuals is rapidly on the increase, hundreds of new websites are opening in a single day. Along with such a high attention to the Internet, to set up an effective website needs efficient evaluation and reliable evaluation criterions for the website. The existing homepage contests and evaluation models are limited to certain websites in a special field or to the systemic side and to the contents, which in fact weakened the development of detailed evaluation sections and items possibly measured. This study is designed to integrate and seek out methods and success factors that should be considered when a website is built up, discovering evaluation criterions and making evaluation models objectively possible to be measured. The study focused on investigation into a new measurement standard and model by considering the previous studies, in order to suggest the followings: Centering the 7 top evaluation sections by type of each website such as (1) Service, (2) Mechanism, (3) Structure & Navigation, (4) Usability, (5) Contents (6) Community, (7) Communication, the study suggests an objective and reasonable website evaluation model on a basis of common factors considered in an integral and optimum view.

  • PDF

선박 소음 예측 및 제어 대책 (Noise Prediction and Control for Onboard Ships)

  • 주원호;김동해
    • 대한조선학회 특별논문집
    • /
    • 대한조선학회 2006년도 특별논문집
    • /
    • pp.7-14
    • /
    • 2006
  • In recent years, shipboard noise control is attracting increasing attention to human environmental conditions and crew's opportunity for rest and recreation with work on board. In order to minimize the noise levels, careful attention have to be paid by the experts from initial design stage to the delivery. This paper describes the outlines of shipboard noise control including general characteristics of shipboard noise, measurement, evaluation, prediction, and control measures considering the noise transmission mechanism from source to receiver space.

  • PDF

주가 예측을 위한 어텐션 메커니즘의 비교분석 (Comparison and Analysis of the Attention Mechanism for Stock Prediction)

  • 유연국;천용상;조민희;김윤중
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.844-847
    • /
    • 2019
  • 주가 예측은 상업적인 매력 때문에 많은 이목이 끌리는 분야이지만, 주가의 불확실성과 변동성 때문에 주가 예측은 어려운 작업이다. 최근에는 주가 예측 모델에 어텐션 메커니즘을 사용하여 주가 예측에 많은 인자들이 사용되어 생기는 성능 하락 문제를 해결하여 좋은 성능을 보여주는 연구가 존재한다. 본 연구에서는 그 모델 중 하나인 Dual-Stage Attention-Based Recurrent Neural Network(DARNN)의 어텐션 메커니즘을 변경해가며 어떤 어텐션 메커니즘이 주가 예측에 적합한지를 알아본다. KOSPI100 지수의 예측실험을 통해 location 스코어함수를 사용한 어텐션 메커니즘이 가장 뛰어난 성능을 보여주는 것을 확인하였고, 이는 기존의 스코어함수를 사용한 DARNN에 비해 약 10% 향상된 성능으로 스코어 함수가 모델의 중요한 영향을 끼치는 것을 확인하였다.