• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.22-25
• /
• 2020

본 논문에서는 큰 크기의 심층 신경망을 압축하기위해 네트워크 수준의 가중치 공유방법인 Global Weight 패러다임을 최초로 제시한다. 기존의 가중치 공유방법은 계층별로 가중치를 공유하는 것이 대부분이었다. Global Weight 는 기존 방법과 달리 전체 네트워크에서 가중치를 공유하는 효율적인 방법이다. 우리는 Global Weight 를 사용하여 학습되는 새로운 컨볼루션 연산인 Global Weight Convolution(GWConv)연산과 GWConv를 적용한 Global Weight Networks(GWNet)을 제안한다. CIFAR10 데이터셋에서 실험한 결과 2.18 배 압축에서 85.64%, 3.41 배 압축에서 85.46%의 정확도를 보였다. Global Weight 패러다임은 가중치 공유가 궁극적으로 풀고자 했던 중복되는 가중치를 최소화하는 획기적인 방법이며, 추후 심도 있는 연구가 수행될 수 있음을 시사한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.129-132
• /
• 2020

최근 모바일 기기에서 딥러닝 모델을 사용하기 위한 경량화 연구가 진행되고 있다. 그중 모델의 가중치 표현 bit를 줄이는 양자화와 사용하기 위한 다양한 압축 알고리즘이 개발되었다. 하지만 대부분의 양자화 및 압축 알고리즘들은 한 번 이상의 Fine-tuning을 거쳐야 하는데 이 과정은 모바일 환경에서 수행하기에는 연산복잡도가 너무 높다. 따라서 본 논문은 양자화된 가중치를 High Efficiency Video Coding(HEVC)을 통해 압축하는 방법을 제안하고 정확도와 압축률을 실험한다. 실험결과는 양자화만 실시한 경우 대비 크기는 25%의 감소했지만, 정확도는 0.7% 감소했다. 따라서 이런 결과는 모바일 기기에 가중치를 전송하는 과정에 적용될 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.136-139
• /
• 2020

본 논문에서는 최근 대두되고 있는 심층신경망 압축 연구에서 가중치 공유와 관련하여 심층신경망 모델 압축방법 Inter-Layer Kernel Prediction을 제안한다. 제안 방법은 영상 압축에서 사용되는 프레임 간 prediction 방법을 응용한 컨볼루션 신경망 가중치 공유 및 모델 압축 방법이다. 본 논문은 레이어 간 유사한 kernel들이 존재한다는 것을 발견하고 이를 기반으로 Inter-Layer Kernel Prediction을 사용하여 기존 모델 가중치를 보다 더 적은 비트로 표현하여 저장하는 방법을 제안한다. 제안 방법은 CIFAR10/100으로 학습된 ResNet에서 약 4.1 배의 압축률을 달성했으며 CIFAR10으로 학습된 ResNet110에서는 오히려 기존 Baseline 모델에 비해 0.04%의 성능 향상을 기록했다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2000.11a
• /
• pp.175-178
• /
• 2000

인접한 화소들간의 상관성에 대한 오류 정보만을 추출하여 전송하는 기법인 라플라시안 피라미드는 알고리즘 구성이 간단하며, 낮은 엔트로피 전송이 가능한 무손실 예측 압축과 점진적인 전송이 가능한 이점을 가지고 있다. 이러한 라플라시안 피라미드를 효율적으고 구성하기 위하여 기존의 5$\times$5 가중치 행렬을 3$\times$3 가중치 행렬로 구성하는 새로운 기법을 보인다. 3$\times$3 가중치행렬을 이용하는 방법이 5$\times$5 가중치 행렬에 의한 알고리즘의 구성보다 간단하면서도 압축효율이 좋음을 시뮬레이션을 통하여 보인다.

• Journal of Broadcast Engineering
• /
• v.26 no.6
• /
• pp.778-789
• /
• 2021

Recently, various lightweight methods for using Convolutional Neural Network(CNN) models in mobile devices have emerged. Weight quantization, which lowers bit precision of weights, is a lightweight method that enables a model to be used through integer calculation in a mobile environment where GPU acceleration is unable. Weight quantization has already been used in various models as a lightweight method to reduce computational complexity and model size with a small loss of accuracy. Considering the size of memory and computing speed as well as the storage size of the device and the limited network environment, this paper proposes a method of compressing integer weights after quantization using a video codec as a method. To verify the performance of the proposed method, experiments were conducted on VGG16, Resnet50, and Resnet18 models trained with ImageNet and Places365 datasets. As a result, loss of accuracy less than 2% and high compression efficiency were achieved in various models. In addition, as a result of comparison with similar compression methods, it was verified that the compression efficiency was more than doubled.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.662-663
• /
• 2020

최근 MPEG 에서는 인공신경망 모델을 다양한 딥러닝 프레임워크에서 상호운용 가능한 포맷으로 압축 표현할 수 있는 NNR(Compression of Neural Network for Multimedia Content Description and Analysis) 표준화를 진행하고 있다. 본 논문에서는 MPEG-NNR 에서 CNN 모델을 압축하기 위한 지역 비선형 양자화(Local Non-linear Quantization: LNQ) 기법을 제시한다. 제안하는 LNQ 는 균일 양자화된 CNN 모델의 각 계층의 가중치 행렬 블록 단위로 추가적인 비선형 양자화를 적용한다. 또한, 제안된 LNQ 는 가지치기(pruning)된 모델의 경우 블록내의 영(zero) 값의 가중치들은 그대로 전송하고 영이 아닌 가중치만을 이진 군집화를 적용한다. 제안 기법은 음성 분류를 위한 CNN 모델(DCASE Task)의 압축 실험에서 기존 균일 양자화를 대비 동일한 분류 성능에서 약 1.78 배 압축 성능 향상이 있음을 확인하였다.

• Broadcasting and Media Magazine
• /
• v.28 no.1
• /
• pp.61-80
• /
• 2023

인공신경망 모델이 다양한 분야에서 뛰어난 성능을 보이고 있지만, 동시에 모델의 복잡도도 크게 증가하였다. 따라서, 모바일 같은 저전력 디바이스에 인공신경망 모델이 실시간으로 추론/배포되기 위해서는 모델의 가중치 파라미터의 수 혹은 메모리 소모량을 줄이는 경량화 기술이 필수적이다. 이에 MPEG에서는 인공신경망 모델을 다양한 프레임워크에서 상호 운용 가능하고 파라미터를 압축 표현하는 NNC (Compression of Neural Networks) 표준화를 진행 중에 있다. 본고에서는 NNC 표준의 개요와 가중치 파라미터를 압축하는 압축 기술, 그리고 HLS (High-Level Syntax)들을 소개하고자 한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.22 no.9
• /
• pp.1165-1171
• /
• 2018

CNN requires a large amount of computation and memory in the process of extracting the feature of the object. Also, It is trained from the network that the user has configured, and because the structure of the network is fixed, it can not be modified during training and it is also difficult to use it in a mobile device with low computing power. To solve these problems, we apply a pruning method to the pre-trained weight file to reduce computation and memory requirements. This method consists of three steps. First, all the weights of the pre-trained network file are retrieved for each layer. Second, take an absolute value for the weight of each layer and obtain the average. After setting the average to a threshold, remove the weight below the threshold. Finally, the network file applied the pruning method is re-trained. We experimented with LeNet-5 and AlexNet, achieved 31x on LeNet-5 and 12x on AlexNet.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.38 no.3
• /
• pp.80-80
• /
• 2001

본 논문에서는 가역가변길이 부호를 테이블 메모리에 효율적으로 저장하는 방법을 제안한다. 여러개의 부호들을 적은 개수의 값들로 테이블을 구성하는 새로운 알고리듬으로, 가역가변길이 부호의 부호내의 비트 천이개수와 부호 구성 트리에서의 레벨을 이용하는 TNWT(Transition Number and Weight of Tree)방법을 제안한다. 압축에 앞서 가역가변길이 부호들의 가중치와 천이개수를 구하고, 신장된 값들이 서로 구분이 안되는 경우를 방지하기 위해 테이블의 값들을 재배열한다. 재배열이 끝난 배열의 값들을 세 개씩 묶어 압축된 테이블을 얻는다. 압축된 테이블은 부호의 천이개수와 가중치를 이용하여 복호해 낼 수 있다. 이러한 방법을 통하여 기존의 방법보다 약 20% 적은 크기로 테이블 메모리를 구성하고, 압축된 테이블로 복호가 가능함을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.127-128
• /
• 2020

본 논문은 딥러닝 네트워크의 압축을 위한 양자화 오프셋의 바이어스 기법을 제안한다. 양자화는 32비트 정밀도를 갖는 가중치와 활성화 데이터를 특정 비트 이하의 정수로 압축한다. 양자화는 원 데이터에 스케일과 오프셋을 더함으로써 수행되므로 오프셋을 위한 합성곱 연산이 추가된다. 본 논문에서는 입력 활성화 데이터의 양자화 오프셋과 가중치의 합성곱의 출력은 바이어스에 임베딩될 수 있음을 보여준다. 이를 통해 추론 과정 중 오프셋의 합성곱 연산을 제거할 수 있다. 실험 결과는 오프셋의 합성곱이 바이어스에 임베딩이 되더라도 영상 분류 정확도에 영향이 거의 없음을 증명한다.