• Journal of the Korea Society of Computer and Information
• /
• v.29 no.7
• /
• pp.11-20
• /
• 2024

In this paper, we propose the BAG (Bit-width Aware Generator) and the Intermediate Layer Knowledge Distillation using Channel-wise Attention to reduce the knowledge gap between a quantized network, a full-precision network, and a generator in GDFQ (Generative Data-Free Quantization). Since the generator in GDFQ is only trained by the feedback from the full-precision network, the gap resulting in decreased capability due to low bit-width of the quantized network has no effect on training the generator. To alleviate this problem, BAG is quantized with same bit-width of the quantized network, and it can generate synthetic images, which are effectively used for training the quantized network. Typically, the knowledge gap between the quantized network and the full-precision network is also important. To resolve this, we compute channel-wise attention of outputs of convolutional layers, and minimize the loss function as the distance of them. As the result, the quantized network can learn which channels to focus on more from mimicking the full-precision network. To prove the efficiency of proposed methods, we quantize the network trained on CIFAR-100 with 3 bit-width weights and activations, and train it and the generator with our method. As the result, we achieve 56.14% Top-1 Accuracy and increase 3.4% higher accuracy compared to our baseline AdaDFQ.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1322-1324
• /
• 2022

최근 딥러닝의 발전에 따라 단일 이미지 초해상도 분야에 좋은 성과를 보여주고 있다. 그러나 보다 더 높은 성능을 획득하기 위해 네트워크의 깊이 및 파라미터의 수가 크게 증가하였고, 모바일 및 엣지 디바이스에 원활하게 적용되기 위하여 딥러닝 모델 경량화의 필요성이 대두되고 있다. 이에 본 논문에서는 초해상도 모델 중 하나인 EDSR(Enhanced Deep Residual Network)에 대조 학습 기반 지식 전이를 적용한 경량화 기법을 제안한다. 실험 결과 제안한 지식 전이 기법이 기존의 다른 지식 증류 기법보다 향상된 성능을 보임을 확인하였다.

• Proceedings of the Korean Institute of Industrial Safety Conference
• /
• 1997.11a
• /
• pp.7-14
• /
• 1997

화학공장은 열 없이는 돌아갈 수 없으며 가열로는 공장운전에 있어서 열의 중요한 원천이 된다. 대부분의 공정에 설치되어 있으며, 원유정제공정, 감압증류공정, 탈황공정, 그리고 접촉개질공정 등에서 가열로는 열을 공급하는 주요한 장치이다. 본 연구는 멀티미디어 기술 및 화학 공정 지식을 이용하여 가열로 운전 기술 교육을 위한 새로운 훈련 시스템을 개발한 것이다 이 시스템을 실제 공정에 사용한 결과, 조업자를 교육시키는데 유용하며 특히 운전시 발생할 수 있는 사고를 예방함에 있어 큰 효과가 있음이 증명되었다. (중략)

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.126-128
• /
• 2022

경량화 기법 중 하나인 Knowledge distillation 은 최근 object detection task 에 적용되고 있다. Knowledge distillation 은 3 가지 범주로 나뉘는데 그들 중에서 Self-Knowledge distillation 은 기존의 Knowledge distillation 에서의 pre-trained teacher 에 대한 의존성 문제를 완화시켜준다. Self-Knowledge distillation 또한 object detection task 에 적용되어 training cost 를 줄이고 고전적인 teacher-based methods 보다 좋은 성능을 성취했다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.26 no.9
• /
• pp.1330-1339
• /
• 2022

3D object detection generally aims to detect relatively large data such as automobiles, buses, persons, furniture, etc, so it is vulnerable to small object detection. In addition, in an environment with limited resources such as embedded devices, it is difficult to apply the model because of the huge amount of computation. In this paper, the accuracy of small object detection was improved by focusing on local features using only one layer, and the inference speed was improved through the proposed knowledge distillation method from large pre-trained network to small network and adaptive quantization method according to the parameter size. The proposed model was evaluated using SUN RGB-D Val and self-made apple tree data set. Finally, it achieved the accuracy performance of 62.04% at mAP@0.25 and 47.1% at mAP@0.5, and the inference speed was 120.5 scenes per sec, showing a fast real-time processing speed.

• Journal of Broadcast Engineering
• /
• v.28 no.3
• /
• pp.333-336
• /
• 2023

Recently, the transformer model used in natural language processing is also applied to the image super resolution field, showing good performance. However, these transformer based models have a disadvantage that they are difficult to use in small mobile devices because they are complex and have many learning parameters and require high hardware resources. Therefore, in this paper, we propose a knowledge distillation technique that can effectively reduce the size of a transformer based super resolution model. As a result of the experiment, it was confirmed that by applying the proposed technique to the student model with reduced number of transformer blocks, performance similar to or higher than that of the teacher model could be obtained.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.448-453
• /
• 2023

대규모 언어 모델 (Large Language Model, LLM)을 인간의 선호도 관점에서 평가하는 것은 기존의 벤치마크 평가와는 다른 도전적인 과제이다. 이를 위해, 기존 연구들은 강력한 LLM을 평가자로 사용하여 접근하였지만, 높은 비용 문제가 부각되었다. 또한, 평가자로서 LLM이 사용하는 주관적인 점수 기준은 모호하여 평가 결과의 신뢰성을 저해하며, 단일 모델에 의한 평가 결과는 편향될 가능성이 있다. 본 논문에서는 엄격한 기준을 활용하여 편향되지 않은 평가를 수행할 수 있는 평가 프레임워크 및 평가자 모델 'FubaoLM'을 제안한다. 우리의 평가 프레임워크는 심층적인 평가 기준을 통해 다수의 강력한 한국어 LLM을 활용하여 연쇄적 사고(Chain-of-Thought) 기반 평가를 수행한다. 이러한 평가 결과를 다수결로 통합하여 편향되지 않은 평가 결과를 도출하며, 지시 조정 (instruction tuning)을 통해 FubaoLM은 다수의 LLM으로 부터 평가 지식을 증류받는다. 더 나아가 본 논문에서는 전문가 기반 평가 데이터셋을 구축하여 FubaoLM 효과성을 입증한다. 우리의 실험에서 앙상블된 FubaoLM은 GPT-3.5 대비 16% 에서 23% 향상된 절대 평가 성능을 가지며, 이항 평가에서 인간과 유사한 선호도 평가 결과를 도출한다. 이를 통해 FubaoLM은 비교적 적은 비용으로도 높은 신뢰성을 유지하며, 편향되지 않은 평가를 수행할 수 있음을 보인다.

• IEMEK Journal of Embedded Systems and Applications
• /
• v.17 no.4
• /
• pp.209-215
• /
• 2022

This paper proposes a novel approach for training an unsupervised depth estimation algorithm. The objective of unsupervised depth estimation is to estimate pixel-wise distances from camera without external supervision. While most previous works focus on model architectures, loss functions, and masking methods for considering dynamic objects, this paper focuses on the training framework to effectively use depth cue. The main loss function of unsupervised depth estimation algorithms is known as the photometric error. In this paper, we claim that direct depth cue is more effective than the photometric error. To obtain the direct depth cue, we adopt the technique of knowledge distillation which is a teacher-student learning framework. We train a teacher network based on a previous unsupervised method, and its depth predictions are utilized as pseudo labels. The pseudo labels are employed to train a student network. In experiments, our proposed algorithm shows a comparable performance with the state-of-the-art algorithm, and we demonstrate that our teacher-student framework is effective in the problem of unsupervised depth estimation.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.123-125
• /
• 2022

본 논문에서는 판별자를 활용하여 Image to Image translation(I2I) 분야에서 사용되는 적대적 생성 신경망(GAN)을 압축하는 방법을 제시한다. 우선, 잘 학습된 판별자와 생성자 사이의 adversarial loss 를 활용하여 생성자 내 필터들의 중요도 점수를 매겨준다. 그리고 생성자 내의 필터들을 중요도 점수를 기준으로 나열한 후 점수가 낮은 필터들을 제거하는 필터 프루닝을 한번 수행하여 적은 시간 비용으로 생성자를 압축한다. 마지막으로 지식 증류를 활용해 압축된 생성자를 학습시켜 기존의 생성자와 유사한 성능을 보이도록 하였다. 이 과정들을 통해 효과적이고 빠르게 GAN 모델을 압축할 수 있음을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.190-192
• /
• 2021

얼굴 검증 기술은 출입통제 시스템이나 모바일 기기에서의 열람 또는 금융 서비스 등 보안이 요구되는 다양한 분야에서 널리활용되고 있다. 최근 얼굴 검증 분야에서 높은 성능 향상을 보인 대부분의 검증 모델은 깊은 네트워크를 사용하므로 상대적으로 매우 큰 컴퓨팅 파워를 요구한다. 따라서 해당 모델들을 실환경에 적용하기 위해서는 모델 경량화 기술에 대한 고려가 반드시 필요하다. 얼굴 검증 연구에서 경량화 기술의 중요성에도 불구하고 해당 연구는 이제까지 잘 다뤄지지 않았다. 본 논문은 주요 얼굴 검증 모델에 대해서 지식 증류 기술을 수행하고, 이에 따른 실험 결과를 비교 분석하여 제시함으로써 경량화 기술 적용에 대한 방향성을 제시한다.