• 전기전자학회논문지
• /
• 제27권3호
• /
• pp.251-257
• /
• 2023

본 논문에서는 비전 트랜스포머의 셀프 어텐션이 갖는 지역적 특징 부족을 개선하는 이중 구조 셀프 어텐션 방법을 제안한다. 객체 분류, 객체 분할, 비디오 영상 인식에서 합성곱 신경망보다 연산 효율성이 높은 비전 트랜스포머는 상대적으로 지역적 특징 추출능력이 부족하다. 이 문제를 해결하기 위해 윈도우 또는 쉬프트 윈도우를 기반으로 하는 연구가 많이 이루어지고 있으나 이러한 방법은 여러 단계의 인코더를 사용하여 연산 복잡도의 증가로 셀프 어텐션 기반 트랜스포머의 장점이 약화 된다. 본 논문에서는 기존의 방법보다 locality inductive bias 향상을 위해 self-attention과 neighborhood network를 이용하여 이중 구조 셀프 어텐션을 제안한다. 지역적 컨텍스트 정보 추출을 위한 neighborhood network은 윈도우 구조보다 훨씬 단순한 연산 복잡도를 제공한다. 제안된 이중 구조 셀프 어텐션 트랜스포머와 기존의 트랜스포머의 성능 비교를 위해 CIFAR-10과 CIFAR-100을 학습 데이터를 사용하였으며 실험결과 Top-1 정확도에서 각각 0.63%과 1.57% 성능이 개선되었다.

• Korean Journal of Radiology
• /
• 제25권4호
• /
• pp.403-406
• /
• 2024

• 전자통신동향분석
• /
• 제38권5호
• /
• pp.12-22
• /
• 2023

The development of neural networks is evolving towards the adoption of transformer structures with attention modules. Hence, active research focused on extending the concept of lightweight neural network algorithms and hardware acceleration is being conducted for the transition from conventional convolutional neural networks to transformer-based networks. We present a survey of state-of-the-art research on lightweight neural network algorithms and hardware architectures to reduce memory usage and accelerate both inference and training. To describe the corresponding trends, we review recent studies on token pruning, quantization, and architecture tuning for the vision transformer. In addition, we present a hardware architecture that incorporates lightweight algorithms into artificial intelligence processors to accelerate processing.

• 반도체디스플레이기술학회지
• /
• 제22권2호
• /
• pp.77-80
• /
• 2023

Since fires in uncontrolled environments pose serious risks to society and individuals, many researchers have been investigating technologies for early detection of fires that occur in everyday life. Recently, with the development of deep learning vision technology, research on fire detection models using neural network backbones such as Transformer and Convolution Natural Network has been actively conducted. Vision-based fire detection systems can solve many problems with physical sensor-based fire detection systems. This paper proposes a fire detection method using the latest YOLOv8, which improves the existing fire detection method. The proposed method develops a system that detects sparks and smoke from input images by training the Yolov8 model using a universal fire detection dataset. We also demonstrate the superiority of the proposed method through experiments by comparing it with existing methods.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.396-398
• /
• 2022

위장관의 내시경적 병리학적 소견은 대장암의 조기 진단에 중요하다. 최근 CNN 기반 딥 러닝의 활용은 주관적 분석의 정확도와 조기 진단의 성능을 높이는 결과를 보였으나, 계산 복잡도가 높고 임상에 즉시 활용하기에는 상대적으로 낮은 정확도로 사용에 제한적이다. 이러한 문제를 해결하기 위해 본 논문에서는 대장암의 조기 발견을 위한 비전 트랜스포머 기반 내시경 병리 소견 분류법을 제안한다. 식도염, 폴립, 궤양성 대장염을 포함한 병리학적 소견이 있는 내시경 이미지를 각각 1,000개씩 사용하였으며, 제안된 접근 방식을 사용하여 세 가지 병리학적 소견을 분류할 때 98%의 분류 정확도를 보였다.

• 스마트미디어저널
• /
• 제13권8호
• /
• pp.39-48
• /
• 2024

최근 초분광 영상을 활용하여 작물의 생육 분석 및 질병을 조기에 진단하는 다양한 연구들이 등장하였지만, 수많은 스팩트럼 밴드를 사용하거나 최적의 밴드를 탐색하는 것은 어려운 문제로 남아 있다. 본 논문에서는 초분광 영상을 이용한 딥러닝 기반의 최적화된 작물 영역 스펙트럼 밴드를 탐색하는 방법을 제안한다. 제안한 방법은 초분광 영상 내 RGB 영상을 추출하여 Vision Transformer 기반 Segformer을 통해 배경과 전경 영역을 분할한다. 분할된 결과는 그레이스케일 전환한 초분광 영상 각 밴드에 투영 후 전경과 배경 영역의 평균 픽셀 비교를 통해 작물 영역의 최적화된 스펙트럼 밴드를 탐색한다. 제안된 방법을 통해 전경과 배경 분할 성능은 평균 정확도 98.47%와 mIoU 96.48%의 성능을 나타내었다. 또한, mRMR 방법에 비해 제안 방법이 작물 영역 밀접하게 연관된 NIR 영역에 수렴하는 것을 확인하였다.

• 전기전자학회논문지
• /
• 제28권3호
• /
• pp.390-396
• /
• 2024

Vision Transformer(ViT)는 패치 간의 관계를 학습하지만, 색상, 질감, 경계와 같은 중요한 특징을 간과할 경우 의료 분야나 얼굴 인식 등에서 성능 한계가 발생할 수 있다. 이를 해결하기 위해 본 연구에서는 Pairwise Attention Reinforcement(PAR) 모델을 제안한다. PAR 모델은 학습 이미지와 참조 이미지를 인코더에 입력하여 두 이미지 간의 유사성을 계산한 후, 높은 유사성을 보이는 이미지 어텐션 스코어 맵을 매칭하여 학습 이미지의 매칭 영역을 강화한다. 이를 통해 이미지 간의 중요한 특징이 강조되며, 미세한 차이도 구별할 수 있다. 시계 그리기 검사 데이터를 사용한 실험에서 PAR 모델은 Precision 0.9516, Recall 0.8883, F1-Score 0.9166, Accuracy 92.93%를 기록하였다. 본 모델은 Pairwise Attention 방식을 이용한 API-Net 대비 12% 성능이 향상되었으며, ViT 모델 대비 2%의 성능 향상을 보였다.

• Wind and Structures
• /
• 제20권2호
• /
• pp.315-326
• /
• 2015

To overcome the drawbacks of the traditional contact-type sensor for structural displacement measurement, the vision-based technology with the aid of the digital image processing algorithm has received increasing concerns from the community of structural health monitoring (SHM). The advanced vision-based system has been widely used to measure the structural displacement of civil engineering structures due to its overwhelming merits of non-contact, long-distance, and high-resolution. However, seldom currently-available vision-based systems are capable of realizing the synchronous structural displacement measurement for multiple points on the investigated structure. In this paper, the method for vision-based multi-point structural displacement measurement is presented. A series of moving loading experiments on a scale arch bridge model are carried out to validate the accuracy and reliability of the vision-based system for multi-point structural displacement measurement. The structural displacements of five points on the bridge deck are measured by the vision-based system and compared with those obtained by the linear variable differential transformer (LVDT). The comparative study demonstrates that the vision-based system is deemed to be an effective and reliable means for multi-point structural displacement measurement.

• 지능정보연구
• /
• 제28권3호
• /
• pp.119-137
• /
• 2022

최근 추천 시스템 연구에서는 사용자와 아이템 간 상호 작용을 보다 잘 표현하고자 다양한 딥 러닝 모델을 적용하고 있다. ONCF(Outer product-based Neural Collaborative Filtering)는 사용자와 아이템의 행렬을 외적하고 합성곱 신경망을 거치는 구조로 2차원 상호작용 맵을 제작해 사용자와 아이템 간의 상호 작용을 더욱 잘 포착하고자 한 대표적인 딥러닝 기반 추천시스템이다. 하지만 합성곱 신경망을 이용하는 ONCF는 학습 데이터에 나타나지 않은 분포를 갖는 데이터의 경우 예측성능이 떨어지는 귀납적 편향을 가지는 한계가 있다. 본 연구에서는 먼저 NCF구조에 Transformer에 기반한 ViT(Vision Transformer)를 도입한 방법론을 제안한다. ViT는 NLP분야에서 주로 사용되던 트랜스포머를 이미지 분류에 적용하여 좋은 성과를 거둔 방법으로 귀납적 편향이 합성곱 신경망보다 약해 처음 보는 분포에도 robust한 특징이 있다. 다음으로, ONCF는 사용자와 아이템에 대한 단일 잠재 벡터를 사용하였지만 본 연구에서는 모델이 더욱 다채로운 표현을 학습하고 앙상블 효과도 얻기 위해 잠재 벡터를 여러 개 사용하여 채널을 구성한다. 마지막으로 ONCF와 달리 부가 정보(side information)를 추천에 반영할 수 있는 아키텍처를 제시한다. 단순한 입력 결합 방식을 활용하여 신경망에 부가 정보를 반영하는 기존 연구와 달리 본 연구에서는 독립적인 보조 분류기(auxiliary classifier)를 도입하여 추천 시스템에 부가정보를 보다 효율적으로 반영할 수 있도록 하였다. 결론적으로 본 논문에서는 ViT 의 적용, 임베딩 벡터의 채널화, 부가정보 분류기의 도입을 적용한 새로운 딥러닝 모델을 제안하였으며 실험 결과 ONCF보다 높은 성능을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.646-647
• /
• 2022

Multiview stereo (MVS) 3D reconstruction of a scene from images is a fundamental computer vision problem that has been thoroughly researched in recent times. Traditionally, MVS approaches create dense correspondences by constructing regularizations and hand-crafted similarity metrics. Although these techniques have achieved excellent results in the best Lambertian conditions, traditional MVS algorithms still contain a lot of artifacts. Therefore, in this study, we suggest using a transformer network to accelerate the MVS reconstruction. The network is based on a transformer model and can extract dense features with 3D consistency and global context, which are necessary to provide accurate matching for MVS.