• 반도체공학회 논문지
• /
• 제1권1호
• /
• pp.23-30
• /
• 2023

최근 거대 IT 기업들의 Generative AI 기술 개발로 Transformer 모델의 규모가 조 단위를 넘어가며 기하급수적으로 증가하고 있다. 이러한 AI 서비스를 지속적으로 가능케 하기 위해선 모델 경량화가 필수적이다. 본 논문에서는 하드웨어 친화적으로 구조화된(structured) 프루닝 패턴을 찾아 Transformer 모델의 경량화 방법을 제안한다. 이는 모델 알고리즘의 특성을 살려 압축을 진행하기 때문에 모델의 크기는 줄어들면서 성능은 최대한 유지할 수 있다. 실험에 따르면 GPT2 와 BERT 언어 모델을 프루닝할 때 제안하는 구조화된 프루닝 기법은 희소성이 높은 영역에서도 미세 조정된(fine-grained) 프루닝과 거의 흡사한 성능을 보여준다. 이 접근 방식은 미세 조정된 프루닝 대비 0.003%의 정확도 손실로 모델매개 변수를 80% 줄이고 구조화된 형태로 하드웨어 가속화를 진행할 수 있다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권11호
• /
• pp.3507-3522
• /
• 2022

Model pruning methods have attracted huge attention owing to the increasing demand of deploying models on low-resource devices recently. Most existing methods use the weight norm of filters to represent their importance, and discard the ones with small value directly to achieve the pruning target, which ignores the contribution of the small norm filters. This is not only results in filter contribution waste, but also gives comparable performance to training with the random initialized weights [1]. In this paper, we point out that the small norm filters can harm the performance of the pruned model greatly, if they are discarded directly. Therefore, we propose a novel filter contribution recycle (FCR) method for structured model pruning to resolve the fore-mentioned problem. FCR collects and reassembles contribution from the small norm filters to obtain a mixed contribution collector, and then assigns the reassembled contribution to other filters with higher probability to be preserved. To achieve the target FLOPs, FCR also adopts a weight decay strategy for the small norm filters. To explore the effectiveness of our approach, extensive experiments are conducted on ImageNet2012 and CIFAR-10 datasets, and superior results are reported when comparing with other methods under the same or even more FLOPs reduction. In addition, our method is flexible to be combined with other different pruning criterions.

• 한국음향학회지
• /
• 제20권7호
• /
• pp.55-62
• /
• 2001

음성인식의 고속화를 위한 저자들에 의한 기존의 연구에서는 탐색이 진행함에 따라 시간방향의 탐색공간 문턱치를 가변적으로 적용하여 인식률의 저하없이 인식속도를 개선시켰다. 이 방법은 탐색 공간을 효과적으로 줄일 수는 있었으나 문턱치를 결정하기 위해서 여러 번의 사전 실험을 수행하여야 하는 번거러움이 있었다. 이러한 문제점을 해결하기 위하여 본 논문에서는 이전 탐색구간에 대한 최대우도와 후보들의 우도를 이용하여 현재 탐색구간의 문턱치를 탐색이 진행하는 과정에서 자동적으로 구하는 적응 프루닝 문턱치 알고리즘을 제안하였다. 제안한 알고리즘의 유효성을 확인하기 위해 국내 행정단위 시 (도), 구 (군), 동 (읍, 면), 번지를 구성하는 단어로 구성된 주소 인식 시스템에 적용하여 기존의 방법과 제안한 방법을 비교 검토하였다. 인식실험 결과, 연결단어 인식률 96.0%, 단어 인식률이 98.7%인 경우를 기준으로 하였을 때 제안된 방법이 기존의 고정 프루닝과 가변 프루닝 문턱치에 비하여 인식률 저하없이 각각 14.4%와 9.14%의 탐색 공간을 상대적으로 줄일 수 있어 제안된 방법의 유효성을 확인할 수 있었다.

• 한국정보통신학회논문지
• /
• 제26권6호
• /
• pp.850-858
• /
• 2022

리소스가 제한된 임베디드 장치에 GRU를 배포하기 위해 이 논문은 구조적 압축을 가능하게 하는 재구성 가능한 FPGA 기반 GRU 가속기를 설계한다. 첫째, 조밀한 GRU 모델은 하이브리드 양자화 방식과 구조화된 top-k 프루닝에 의해 크기가 대폭 감소한다. 둘째, 본 연구에서 제시하는 재사용 컴퓨팅 패턴에 의해 외부 메모리 액세스에 대한 에너지 소비가 크게 감소한다. 마지막으로 가속기는 알고리즘-하드웨어 공동 설계 워크플로의 이점을 얻는 구조화된 희소 GRU 모델을 처리할 수 있다. 또한 모든 차원, 시퀀스 길이 및 레이어 수를 사용하여 GRU 모델에 대한 추론 작업을 유연하게 수행할 수 있다. Intel DE1-SoC FPGA 플랫폼에 구현된 제안된 가속기는 일괄 처리가 없는 구조화된 희소 GRU 네트워크에서 45.01 GOPs를 달성하였다. CPU 및 GPU의 구현과 비교할 때 저비용 FPGA 가속기는 대기 시간에서 각각 57배 및 30배, 에너지 효율성에서 300배 및 23.44배 향상을 달성한다. 따라서 제안된 가속기는 실시간 임베디드 애플리케이션에 대한 초기 연구로서 활용, 향후 더 발전될 수 있는 잠재력을 보여준다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권5호
• /
• pp.2211-2232
• /
• 2018

The unstructured and semi-structured big data in social network poses new challenges in query retrieval. This requirement needs to be met by introducing quality retrieval time measures like indexing. Due to the huge volume of data storage, there originate the need for efficient index algorithms to promote query processing. However, conventional algorithms fail to index the huge amount of frequently obtained information in real time and fall short of providing scalable indexing service. In this paper, a new LIndex algorithm, which is a heuristic on Lucene is built on Neo4jHA architecture that holds the social network Big data. LIndex is a flexible and simplified adaptive indexing scheme that ascendancy decomposed shortest paths around term neighbors as basic indexing unit. This newfangled index proves to be effectual in query space pruning of graph database Neo4j, scalable in index construction and deployment. A graph query is processed and optimized beyond the traditional Lucene in a time-based manner to a more efficient path method in LIndex. This advanced algorithm significantly reduces query fetch without compromising the quality of results in time. The experiments are conducted to confirm the efficiency of the proposed query retrieval in Neo4j graph NoSQL database.

• 정보처리학회논문지D
• /
• 제14D권6호
• /
• pp.605-614
• /
• 2007

XML 데이터 검객을 위한 표준 질의 언어로서 XQuery와 XPath가 W3C에 의해 표준으로 제정되었다. XQuery와 XPath를 보편적으로 사용함에 따라, 최근 연구는 방대한 XML 데이터베이스에서 XPath 경고 표현식에 대한 효율적인 질의 처리를 위한 데이터 구조 및 알고리즘 개발에 초점을 두고 있다. 최근에, XPath 경로 표현식을 처리할 때 XML 엘리먼트 사이의 구조적 관계(조상-자손, 부모-자식)를 결정하는 구조적 조인의 개념은 중요한 XPath 프로세싱 기법중의 하나가 되었다. 그러나 XPath 질의 처리에서 자주 발생하는 구조적 조인들은 높은 비용을 요구한다. 본 논문에서, 우리는 XPath 질의들을 효율적으로 처리하기 위해 제안한 구조적 인덱스(SI) 기반의 새로운 구조적 조인 알고리즘(SISJ)을 제안한다. 실험 결과에서는 이전의 알고리즘보다 근소하게 더 효율적인 성능을 보여 준다. 그러나 재귀성이 높은 문서에 대해서는 제안기법의 가지치기 특성으로 인해 약 30% 이상의 성능향상을 보였다.