• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1322-1324
• /
• 2022

최근 딥러닝의 발전에 따라 단일 이미지 초해상도 분야에 좋은 성과를 보여주고 있다. 그러나 보다 더 높은 성능을 획득하기 위해 네트워크의 깊이 및 파라미터의 수가 크게 증가하였고, 모바일 및 엣지 디바이스에 원활하게 적용되기 위하여 딥러닝 모델 경량화의 필요성이 대두되고 있다. 이에 본 논문에서는 초해상도 모델 중 하나인 EDSR(Enhanced Deep Residual Network)에 대조 학습 기반 지식 전이를 적용한 경량화 기법을 제안한다. 실험 결과 제안한 지식 전이 기법이 기존의 다른 지식 증류 기법보다 향상된 성능을 보임을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.964-966
• /
• 2020

전염성이 매우 강한 돼지 호흡기 질병을 빠른 시간 내에 정확하게 탐지하지 못한다면 해당 돈사는 물론 타지역으로 전파되어 심각한 경제적 손실이 발생한다. 본 논문은 이와 같은 돼지 호흡기 질병을 저가격의 임베디드 보드에서도 탐지가 가능한 시스템을 제안한다. 해당 시스템은 돈사에 설치한 소리센서로부터 돼지의 이상 소리를 자동으로 탐지한 후, 탐지한 소리 시그널을 스펙트로그램으로 변환한다. 마지막으로, 스펙트로그램은 딥러닝 알고리즘에 적용되어 돼지 호흡기 질병을 탐지 및 식별한다. 이 때, 일반 컴퓨터 환경에 비해 비용 부담이 적은 임베디드 환경에서 실행되기 위하여 경량 딥러닝 모델인 MnasNet 을 사용하였으며, 임베디드 보드인 NVIDIA TX-2 에서 해당 시스템의 호흡기 질병 식별 성능을 확인한 결과 높은 탐지 성능과 실시간 탐지가 가능함을 확인하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.51-52
• /
• 2021

본 논문에서는 얼굴 검증(Face Verification) 문제를 해결하기 위한 방법론으로 깊은 삼중 항 네트워크 모델을 제안한다. 본 논문에서는 얼굴 검증을 거리기반 유사도 문제로 보고, 딥러닝 기반 메트릭 러닝으로 해결하고자 하였다. 딥 메트릭 러닝 중 하나인 삼중 항 네트워크를 깊게 쌓기 위해 ResNet50, ResNet101과 경량화 모델인 MobileNet v3를 적용하였으며, 위 모델을 사용함으로써 이미지의 특징 추출을 효과적으로 할 수 있었다. 본 연구에서 제시한 방법론은 추후 복잡한 모델이 필요한 영상 데이터 내 얼굴 식별 모델에 기초 연구로서의 의의가 있다.

• 사물인터넷융복합논문지
• /
• 제9권1호
• /
• pp.9-17
• /
• 2023

많은 연산량을 가진 딥러닝은 초소형 IoT 장치나 모바일 장치에 구현하기가 어렵다. 최근에는 이러한 장치에서도 딥러닝을 구현할 수 있도록 모델의 연산량을 줄이는 딥러닝 경량화 기술이 소개되었다. 양자화는 연속적인 분포를 가지는 파라미터 값들을 고정된 비트의 이산 값으로 표현하여 모델의 메모리 및 크기 등을 줄여 효율적으로 사용할 수 있는 경량화 기법이다. 그러나 양자화로 인한 이산 값 표현으로 인해 모델의 정확도가 낮아지게 된다. 본 논문에서는 정확도를 개선할 수 있는 다양한 양자화 기술을 소개한다. 먼저 기존 양자화 기술 중 APoT와 EWGS를 선택하여 동일한 환경에서 실험을 통해 결과를 비교 분석하였다. 선택된 기술은 ResNet모델에서 CIFAR-10 또는 CIFAR-100 데이터 세트로 훈련되고 테스트 되었다. 실험 결과 분석을 통해 기존 양자화 기술의 문제점을 파악하고 향후 연구에 대한 방향성을 제시하였다.

• 전자통신동향분석
• /
• 제38권5호
• /
• pp.12-22
• /
• 2023

The development of neural networks is evolving towards the adoption of transformer structures with attention modules. Hence, active research focused on extending the concept of lightweight neural network algorithms and hardware acceleration is being conducted for the transition from conventional convolutional neural networks to transformer-based networks. We present a survey of state-of-the-art research on lightweight neural network algorithms and hardware architectures to reduce memory usage and accelerate both inference and training. To describe the corresponding trends, we review recent studies on token pruning, quantization, and architecture tuning for the vision transformer. In addition, we present a hardware architecture that incorporates lightweight algorithms into artificial intelligence processors to accelerate processing.

• 한국군사과학기술학회지
• /
• 제27권3호
• /
• pp.346-354
• /
• 2024

Deep learning models require high computing power due to a substantial amount of computation. It is difficult to use them in devices with limited computing environments, such as coastal surveillance equipments. In this study, a lightweight model is constructed by analyzing the weight changes of the convolutional layers during the training process based on MobileNet and then pruning the layers that affects the model less. The performance comparison results show that the lightweight model maintains performance while reducing computational load, parameters, model size, and data processing speed. As a result of this study, an effective pruning method for constructing lightweight deep learning models and the possibility of using equipment resources efficiently through lightweight models in limited computing environments such as coastal surveillance equipments are presented.

• 응용통계연구
• /
• 제34권6호
• /
• pp.979-993
• /
• 2021

음향 장면 분류는 오디오 파일이 녹음된 환경이 어디인지 분류하는 문제이다. 이는 음향 장면 분류와 관련한 대회인 DCASE 대회에서 꾸준하게 연구되었던 분야이다. 실제 응용 분야에 음향 장면 분류 문제를 적용할 때, 모델의 복잡도를 고려하여야 한다. 특히 경량 기기에 적용하기 위해서는 경량 딥러닝 모델이 필요하다. 우리는 경량 기술이 적용된 여러 모델을 비교하였다. 먼저 log mel-spectrogram, deltas, delta-deltas 피쳐를 사용한 합성곱 신경망(CNN) 기반의 기본 모델을 제안하였다. 그리고 원래의 합성곱 층을 depthwise separable convolution block, linear bottleneck inverted residual block과 같은 효율적인 합성곱 블록으로 대체하고, 각 모델에 대하여 Quantization를 적용하여 경량 모델을 제안하였다. 경량화 기술을 고려한 모델은 기본 모델에 대비하여 성능이 비슷하거나 조금 낮은 성능을 보였지만, 모델 사이즈는 503KB에서 42.76KB로 작아진 것을 확인하였다.

• 전기전자학회논문지
• /
• 제28권2호
• /
• pp.168-173
• /
• 2024

화자인식은 개개인마다 다른 음성 주파수를 분석하여 미리 저장된 음성과 비교해 본인 여부를 판단하는 하나의 기술을 의미한다. 딥러닝 기반의 화자인식은 여러 분야에 적용되고 있으며, 펫 로봇도 그 중 하나이다. 하지만 펫 로봇의 하드웨어 성능은 딥러닝 기술의 많은 메모리 공간과 연산에 있어 매우 제한적인 상황이다. 이는 펫 로봇이 사용자와 실시간 상호작용에 있어 해결해야 할 중요한 문제점이다. 딥러닝 모델의 경량화는 위와 같은 문제를 해결하기 위한 하나의 중요한 방법으로 자리하였으며, 최근 많은 연구가 진행되고 있다. 이 논문에서는 특정한 명령어 형태인 펫 로봇용 음성 데이터 세트를 구축하고 잔차(Residual)를 활용한 모델들의 결과를 비교해 펫 로봇용 화자인식의 경량화 연구의 결과를 서술하며, 결론에서는 제안한 방법에 대한 결과와 향후 연구방안에 대해 서술한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.695-697
• /
• 2023

최근 몇 년 간 딥러닝 기반 모델의 규모와 복잡성이 증가하면서 강력하고, 높은 정확도가 확보되지만 많은 양의 계산 자원과 메모리가 필요하기 때문에 모바일 장치나 임베디드 시스템과 같은 리소스가 제한된 환경에서의 배포에 제약사항이 생긴다. 복잡한 딥러닝 모델의 배포 및 운영 시 요구되는 고성능 컴퓨터 자원의 문제점을 해결하고자 사전 학습된 대규모 모델로부터 가벼운 모델을 학습시키는 지식증류 기법이 제안되었다. 하지만 현대 딥러닝 기반 모델은 높은 정확도 대비 훈련 데이터에 과적합 되는 과잉 확신(overconfidence) 문제에 대한 대책이 필요하다. 본 논문은 효율적인 경량화를 위한 미리 학습된 모델의 과잉 확신을 방지하고자 초점 손실(focal loss)을 이용한 모델 보정 기법을 언급하며, 다양한 손실 함수 변형에 따라서 지식증류의 성능이 어떻게 변화하는지에 대해 탐구하고자 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.719-720
• /
• 2024

센서 기반의 자동화재탐지설비의 역할을 지원할 목적으로, 합성곱 신경망 기반의 AI 화재 감시장비등이 연구되어왔다. ai 기반 화재 감지에 사용되는 알고리즘은 전이학습을 주로 이용하고 있고, 이는 화재 감지에 기여도가 낮은 프로세스가 내장되어 있을 가능성이 존재하여, 딥러닝 모델의 복잡성을 가중시키는 원인이 될 수 있다. 본 연구에서는 이러한 모델의 복잡성을 개선하고자 다양한 딥러닝 및 해석 기술들을 분석하였고, 분석 결과를 토대로 화재 감지에 최적화된 아키텍처인 "IF2bNet" 을 제안한다. 구현한 아키텍처의 성능을 비교한 결과 동일한 성능을 내면서, 파라미터를 약 0.1 배로 경량화 하여, 복잡성을 완화하였다.