Analysis of trends in deep learning and reinforcement learning

Abstract

본 논문에서는 딥러닝 및 강화학습 연구에 대해 KeyBERT(Keyword extraction with Bidirectional Encoder Representations of Transformers) 알고리즘 기반의 토픽 추출 및 토픽 출현 빈도 분석으로 급변하는 딥러닝 관련 연구 동향 분석을 파악하고자 한다. 딥러닝 알고리즘과 강화학습에 대한 논문초록을 크롤링하여 전반기와 후반기로 나누고, 전처리를 진행한 후 KeyBERT를 사용해 토픽을 추출한다. 그 후 토픽 출현 빈도로 동향 변화에 대해 분석한다. 분석된 알고리즘 모두 전반기와 후반기에 대한 뚜렷한 동향 변화가 나타났으며, 전반기에 비해 후반기에 들어 어느 주제에 대한 연구가 활발한지 확인할 수 있었다. 이는 KeyBERT를 활용한 토픽 추출 후 출현 빈도 분석으로 연구 동향변화 분석이 가능함을 보였으며, 타 분야의 연구 동향 분석에도 활용 가능할 것으로 예상한다. 또한 딥러닝의 동향을 제공함으로써 향후 딥러닝의 발전 방향에 대한 통찰력을 제공하며, 최근 주목 받는 연구 주제를 알 수 있게 하여 연구 주제 및 방법 선정에 직접적인 도움을 준다.

In this paper, we apply KeyBERT(Keyword extraction with Bidirectional Encoder Representations of Transformers) algorithm-driven topic extraction and topic frequency analysis to deep learning and reinforcement learning research to discover the rapidly changing trends in them. First, we crawled abstracts of research papers on deep learning and reinforcement learning, and temporally divided them into two groups. After pre-processing the crawled data, we extracted topics using KeyBERT algorithm, and then analyzed the extracted topics in terms of topic occurrence frequency. This analysis reveals that there are distinct trends in research work of all analyzed algorithms and applications, and we can clearly tell which topics are gaining more interest. The analysis also proves the effectiveness of the utilized topic extraction and topic frequency analysis in research trend analysis, and this trend analysis scheme is expected to be used for research trend analysis in other research fields. In addition, the analysis can provide insight into how deep learning will evolve in the near future, and provide guidance for select research topics and methodologies by informing researchers of research topics and methodologies which are recently attracting attention.

I. Introduction

딥러닝 (deep learning)은 이용 가능한 데이터의 양이 많아지고 이 데이터를 처리할 수 있는 하드웨어 연산력의 향상 그리고 학습 알고리즘의 발전으로 그 활용도가 높아 지고 있다. 이미지나 음성 신호, 문자 등의 패턴을 파악하여 짧은 시간에 새로운 이미지를 만들어 내거나[1] 특정 노이즈를 선택적으로 탐지하여 제거하고[2], 문장의 종류를 분류해 낼 수도 있다[3]. 또한 딥러닝의 정확한 패턴 인식 능력을 높은 효율과 빠른 속도로 제공하려는 연구도 많아지고 있다[4]. 또한 컴퓨터가 정복하기 어렵다고 생각했던 분야인 바둑을 딥러닝과 강화학습을 사용해 인간을 이겼던 알파고[5], 예술은 창의력의 영역으로 컴퓨터가 창조할 수 없다고 생각했으나 간단한 문장의 입력만으로 정교한 이미지를 생성해 내는 DALL-E[6], 분야를 막론하고 인간과 대화가 가능한 수준의 대화력을 지닌 Chat-GPT (Chat Generative Pre-trained Transformer)[7] 등의 등장은 일반인에게 딥러닝을 각인시키고 관련 연구 속도를 가속하기에 충분했다.

딥러닝을 활용한 연구는 2000년대에 들어 switchboard[8]와 image net[9]과 같은 데이터 셋의 등장, 병렬 연산 하드웨어의 발전, 알고리즘 경진대회를 통한 알고리즘의 발전이 동시다발적으로 이루어지며 현재까지도 아주 활발하게 연구가 진행되고 있다. 한국교육학술정보원에서 운영하는 학술 연구 정보서비스인 RISS의 연구 동향 분석 결과에 따르면, 2021년과 2022년 공학 분야에서 가장 많이 연구된 주제로 딥러닝이 1위를 차지하였고, 많이 활용된 주제 또한 2021년과 2022년 공학 분야에서 딥러닝이 1위를 차지하였다[10]. 이처럼 딥러닝과 관련된 연구가 다양한 분야에서 활발하게 진행되고 있지만, 그 속도에 비해 딥러닝의 동향 분석은 미미한 편이다.

본 논문의 목적은 다음과 같다.

1) 본 논문에서는 딥러닝의 대표적 알고리즘인 autoencoder, CNN (Convolution Neural Network), GAN (Generative Adversarial Network), LSTM (Long-Short Term Memory), RNN (Recurrent Neural Network)의 5가지 알고리즘과 현재 가장 각광받는 연구 분야인 RL (Reinforcement Learning)의 연구 동향을 분석한다.

2) 본 논문의 목적인 딥러닝의 동향을 아는 것은 향후 딥러닝 발전 방향에 대한 통찰력을 제공하여, 최근 주목받는 연구 주제 및 방법을 알 수 있게 하여 연구 주제 및 방법 선정에 직접적인 도움을 준다.

3) 또한 연구 동향 분석 방법론과 분석 결과를 함께 기술하여 방법론의 동향 분석 가능성을 보이고 타 주제의 연구 동향 분석 시에도 본 방법론을 사용하여 분석이 가능하게 한다.

본 논문은 2장에서 딥러닝 및 강화학습 연구 동향을 선행 분석한 논문을 리뷰하고 본 논문의 특장점을 설명하며, 본 논문에서 주로 사용하는 KeyBERT 알고리즘에 대해 기술한다. 3장에서는 본 논문에서 제시하는 분석 방법에 관해 설명한다. 또 4장에서는 3장에서 소개한 방법론을 사용한 딥러닝 및 강화학습의 연구 동향 분석을 기술하며, 5장에서는 본 논문에서의 분석 방법론과 분석 결과에 대한 결론을 기술하고 본 논문의 기여도와 역할 그리고 보완해야 할 점에 관해 기술한다.

II. Preliminaries

1. Related works

기존의 딥러닝 동향 분석 연구는 토픽모델링 방법인 LDA (Latent Dirichlet Allocation)를 활용한 분석 방법이 주를 이루고 있다[11-14]. [11-13]는 머신러닝, 딥러닝 분야의 연구 동향을 분석하기 위해 논문 주제어와 초록, 혹은 초록만을 수집하고 LDA 알고리즘을 사용해 연구 주제 및 트렌드의 추이를 파악하였다. 또한 딥러닝과 머신러닝의 연구 동향 분석을 위해 LDA 알고리즘을 사용하는 SAS EM을 활용하여 토픽 모델링을 수행한 연구도 수행되었다[14]. LDA[15]는 문서 내에서 토픽을 찾기 위해 문서 내에 N개의 토픽이 있다고 가정 후 단어 빈도수를 기반으로 문서 내의 토픽을 확률적으로 찾아내는 기법으로 주제 추정을 하기 위해 단어의 순서는 고려하지 않고 빈도를 기반으로 찾기 때문에, 단어의 위치에 따른 의미 변화는 고려하지 않아 문장이 길어지면 문장 내에서 멀리 떨어져 있는 단어와 서로 가까이 있는 단어의 의미구조를 파악하지 못한다는 단점이 있다. 또한, LDA는 사용자가 추정하는 토픽의 개수를 직접 입력해 주어야 하고, 입력된 추정 토픽 수에 따라 추출 되는 토픽이 크게 달라진다는 단점이 존재한다.

LDA를 사용한 딥러닝 동향 분석 외에 사용된 동향 분석 방법으로는 TF-IDF (Term Frequency-Inverse Document Frequency)를 사용해 6개의 주요 저널에서 논문 수집 후 분석한 연구가 수행되었다[16]. 하지만 TF-IDF 또한 단어 빈도를 기반으로 분석하고 순서는 고려하지 않기 때문에 LDA와 같은 단점이 존재한다.

또 다른 방법으로는 최다 인용이 된 논문을 중심으로 인용 네트워크를 구성하여 특정 분야의 네트워크 및 트렌드를 분석하는 자아 중심 주제 인용 분석[17]을 사용해 딥러닝의 인용 네트워크 및 트렌드를 분석한 연구[18]가 수행되었다.

그 외에는 직접 자료를 수집하여 주장을 뒷받침해 딥러닝과 강화학습의 응용 분야와 적용 사례에 대해 최신 기술을 조사한 논문[19-20], IoT, 센서, 모바일, 산업, 차량 네트워크의 5가지 분야에 대해 기술 특징을 소개하고 그에 맞는 딥러닝 트렌드를 소개한 논문[21]과 같이 자료 수집 및 분석이 능동적으로 이루어진 논문이 존재했다.

본 논문에서는 단어 순서에 따른 의미 변화를 고려하기 위해 transformer[22]의 인코더 구조를 사용하여 문장의 길이와 상관없이 단어의 의미 관계를 파악하여 임베딩 할 수 있는 BERT (Bidirectional Encoder Representations from Transformers)[23] 모델을 기반으로 문장 임베딩에 최적화된 SBERT (Sentence BERT)[24]를 이용하여 문장을 임베딩하고 토픽을 추출하는 KeyBERT 알고리즘[25]을 사용하여 LDA와 TF-IDF가 가지는 단점을 해결해 토픽을 추출할 것이며, 이와 같이 추출된 토픽을 출현 빈도에 기반하여 분석해 보고자 한다. 또한, KeyBERT 알고리즘은 토픽을 분석하기 위해 N개의 주제를 추정하는 방식이 아닌, 전체 문장과 n—gram 단위 어절 간의 임베딩 된 벡터의 코사인 유사도를 계산하여 주제를 추정하기 때문에 토픽을 추출하는 과정에서 토픽의 개수를 추정하여 입력하지 않아도 돼 LDA와 같은 단점이 존재하지 않는다.

또한 기존에 수행된 딥러닝 동향 분석 논문들은 특정 기간 전체의 연구 동향을 분석하였지만[11-14], 본 논문에서는 2015년부터 2022년까지의 연구를 전반기(2015-2018)와 후반기(2019-2022)로 나누어 연구 동향의 변화를 분석해 보았다.

2. KeyBERT

KeyBERT는 FIg. 1와 같이 사전 훈련된 SBERT 모델을 사용하여 문서와 n-gram 단위의 어절을 임베딩하고, 코사인 유사도를 계산하여 문서와 가장 관계가 깊은 top_n개의 토픽을 추출하는 토픽 추출 알고리즘이다. KeyBERT는 토픽 추출 분야에서 기존의 토픽 추출 방식인 YAKE (Yet Another Keyword Extractor)[26], Gensim[27], Rake[28], Text Rank[29], TF-IDF 등의 방식보다 우수한 성능을 보이며 사용자가 지정한 토픽과 51% 일치하는 토픽 추출 정확성을 보였다[30]. 또한 분야별 인공지능 기술과 각 분야의 다양한 요인이 어느 영향을 미치며 어떻게 연결되어 있는지 분석하기 위해 KeyBERT를 사용하여 인공지능 주제별 특허 문헌에서 토픽 추출 후 인과관계를 분석[31]하는 등의 연구가 진행되었으며, KeyBERT를 활용해 연구 동향을 분석하는 논문은 존재하지 않았다.

Fig. 1. KeyBERT algorithm

III. The Proposed Scheme

본 연구는 Fig. 2에 나타난 것처럼 자료를 수집하는 crawling, 수집된 데이터의 분석을 위한 전처리 단계인 preprocessing, 그리고 KeyBERT를 활용한 토픽 추출 단계 그리고 초록의 수를 기반으로 한 분석, 토픽의 전반기, 후반기 순위 변화를 기반으로 한 분석의 순서로 진행되었다.

Fig. 2. KeyBERT based research trend analysis

1. Crawling

먼저 데이터를 수집하기 위해 국내 논문 검색 포털인 RISS와 해외 논문 검색 포털인 arXiv에서 초록을 크롤링하였다. Python의 selenium 라이브러리를 활용하여 크롬 브라우저를 제어하였으며 RISS와 arXiv 둘 다 url에 검색 정보가 모두 담겨있기 때문에 url에 2015년부터 2022년까지의 검색 범위를 지정해준 뒤 autoencoder, CNN, GAN, LSTM, RNN의 5가지 알고리즘과 RL에 대한 검색 결과 중 초록만을 크롤링하였고, 이를 통해 주제별 2,000개 이상의 초록 데이터를 수집하여 각각 csv 파일로 저장하였다.

2. Preprocessing

수집된 데이터는 줄 바꿈 문자와 중복된 논문이 포함된 상태였기 때문에 excel의 중복된 항목 제거와 문자 변경 기능을 사용하여 줄 바꿈 문자를 제거하고 중복된 논문을 제거하였다. 그 후 python의 csv 라이브러리를 사용하여 전반기 데이터와 후반기 데이터로 나누고 초록들을 줄 바꿈 문자로 구분한 뒤 저장하였다. 그 후 한 가지 언어로 이루어진 결과를 얻기 위해 영어만으로 이루어진 데이터가 필요했기 때문에 저장된 txt 파일 내의 초록 중 영어로 된 부분만 추출하기 위하여 python의 re 라이브러리 내의 정규식 기능을 사용하여 한국어만으로 된 초록은 삭제하고 한국어와 영어로 모두 쓰인 초록의 경우는 영어 부분만 추출하였다. 위와 같이 전처리 한 결과 Table 1과 같이 주제별로 최소 55개에서 많게는 455개의 초록이 필터링되었다. 다음으로 특수문자와 html 형식의 문법 등을 삭제하기 위하여 다시 한번 정규식을 사용하여 영어 대문자와 소문자, 숫자를 제외한 모든 문자를 제거하였으며, html 문법인 sub, /sub가 많이 포함되어 있었기에 이 또한 수동으로 제거해 주었다. 추가로 영어의 시제와 주어, 개수의 형태에 따라 달라지는 동사와 명사의 형태를 일반화하기 위해 nltk 패키지의 stem 라이브러리를 사용하여 lemmatization을 진행하였다.

Table 1. Abstract counts before and after preprocessing

3. Topic Extraction

토픽 추출은 토픽 모델을 가지고 할 수 있는 작업 중 하나로 문서와 관련이 가장 많은 단어 및 문장을 추출하는 분석 방법이다. 본 논문에서는 SBERT를 활용해 토픽을 추출하기 위해서 KeyBERT 알고리즘을 사용하였다.

KeyBERT를 사용하기 위해서는 기본적으로 사전에 훈련된 SBERT 기반의 모델을 선택하고 n-gram range 설정, N개의 토픽 추출 개수 설정, stopwords list 설정을 해주어야 하며 본 연구에서는 사전 훈련된 SBERT 기반의 모델로 ‘all-MiniLM-L6-V2’를 사용하였고, n-gram range를 (1, 2)로 지정해 주었으며, 초록 당 토픽 추출 개수는 10개로 지정해 주었다. 또한 토픽 추출 시 the, a, is와 같이 자주 등장하는 단어의 경우 중요도가 크지는 않지만, 단순히 자주 등장한다는 이유만으로 토픽으로 인식될 수 있기에 nltk 패키지의 corpus 라이브러리 중 stopwords 함수를 사용하여 일반적인 stopwords를 지정하고, 키워드 추출시 neural, network, recurrent, reinforcement, convolution과 같이 제목과 똑같은 토픽이 추출되는 것을 방지하기 위해 해당 토픽들을 stopwords에 추가하여 stopwords list를 설정함으로 매개변수의 설정을 마쳤다.

이로 인해 주제별 최소 2,000개 이상의 초록에서 10개의 토픽을 추출하여 알고리즘 관련 초록 모음 당 20,000개 이상의 토픽을 추출하였고, 이를 빈도수 기준 상위 400개의 토픽만을 정렬하여 excel로 저장하였다.

4. Analysis

분석 단계에서는 preprocessing 후 중복이 제거된 초록 목록으로부터 주제별 초록 개수를 파악하여 전반기와 후반기의 변화를 살펴보았으며, topic extraction 단계에서 KeyBERT에 의해 추출된 토픽들을 전반기와 후반기 모두 빈도순으로 정렬 후 변화된 순위 값을 기반으로 전반기와 후반기의 변화를 살펴보았다.

IV. Analysis

1. Abstract Counts based Analysis

RISS와 arXiv에서 수집된 초록의 개수를 전체, 그리고 전반기 (2015~2018)와 후반기 (2019~2022)로 나누어 변화율을 살펴보았다. Table 2는 이를 알아보기 쉽도록 표로 나타낸 것이다. 전체적인 순위로는 RL의 초록이 가장 많아 강화학습 관련 연구가 나머지 5개 딥러닝 알고리즘에 비해 많은 연구가 진행되었음을 알 수 있었으며, CNN이 그 뒤를 이었다. 그 외에 autoencoder와 GAN, LSTM, RNN은 비교적 비슷한 초록 수를 가지며 강화학습과 CNN에 비해서는 낮은 연구도를 가졌음을 알 수 있었다.

Table 2. Abstract counts analysis (1^st half : 2015 ~ 2018, 2^nd half : 2019 ~ 2022)

전반기 초록 수 1위인 CNN이 RL보다 높은 초록 수로 높은 연구도를 보였지만, 후반기의 경우 강화학습이 403%의 증가율을 보이며 7289개의 초록 수로 후반기 초록 수 1위를 차지하며 연구도가 크게 상승했음을 알 수 있었다. 또한 RL이 6개의 주제 중 가장 높은 증가율을 보여 연구 관심도가 가장 크게 증가하고 있음을 알 수 있었다. 반대로 RNN의 경우 타 주제에 비해서는 비교적 낮은 증가율을 보이며 연구 관심도가 비교적 적은 수준으로 증가하고 있음을 알 수 있었다.

2. Topic Rank Change based Analysis

전반기와 후반기를 기준으로 분리된 토픽 빈도 순위에서 변화를 분석하기 위하여 후반기 상위 30개 키워드의 변화된 순위값을 계산하였다. 각 주제에 존재하는 Table은 후반기의 토픽 빈도 순위이며 우측 열에 전반기와 비교 시 상승된 순위값을 계산하여 작성하였다.

2.1. Autoencoder

Autoencoder의 경우 Table 3와 같이 후반기 토픽 순위의 변화가 있었다. 그 중 anomaly detection이 큰 순위 변화폭을 보이며 후반기의 1위 키워드로 부상하였는데, 전반기의 상위키워드인 encoder와 deep model, variational등과 비교하여 활용 방안이 상위키워드로 분석되며 알고리즘의 분석보다는 활용에, 활용 중에서 anomaly detection 분야에 많이 쓰이고 있었음을 알 수 있었다. 그에 반해 denoising과 classification은 전반기에 비해 감소하는 추세를 보여 주된 연구주제 트렌드가 바뀌었음을 알 수 있었다. 크게 증가한 키워드로 data augmentation과 regularization이 있었는데, 정칙화를 사용해 과적합을 줄이기 위한 첨가 관련 연구가 많아졌다는 것을 알 수 있었다. 전반기와 후반기에 모두 등장하는 키워드로 variational, variational inference가 존재했는데 이는 autoencoder의 수렴하는 특징맵 성향을 보완하고자 생긴 모델로 2013년 variational autoencoder[32]가 제안되었는데 해당 알고리즘이 꾸준히 활발하게 연구되고 있음을 알 수 있었다. 이 외에도 autoencoder의 특징이자 작동 원리인 encoder, decoder, compression. 분석을 위해 많이 사용하는 latent space, latent representation에 대한 키워드도 확인할 수 있었다.

Table 3. Autoencoder topic rank and the improvement in rank of the 2nd half

2.2. CNN

CNN의 경우 Table 4에 따르면 큰 순위 변화를 보인 image segmentation, super resolution이 눈에 띄는데, 전반기에 높은 순위를 가졌던 활용방안인 object recognition이 순위 하락을 보이고 image segmentation, super resolution 연구에 더 힘이 실렸음을 알 수 있었다. 또한 convolution layer와 feature extraction의 순위가 높아진 것은 classification의 순위 상승과 연관이 있다고 보이는데, classification의 정확도 향상을 위해 convolution layer를 이용한 feature extraction이 수행되었다고 보인다. 또한 attention이 높은 순위 향상을 보였는데, 2018년 BAM (Bottleneck Attention Module)[33]와 CBAM (Convolution Bottle Attention Module)[34]의 등장으로 이미지 분류나 이미지 감지에서 양질의 데이터에 가중치를 부여하는 attention 구조를 적용해 이미지 감지에 더 좋은 성능을 주고자 하는 연구가 후반기에 활발히 진행되었던 것을 확인할 수 있었다. 이외에도 전체적으로 recognition 토픽이 하락하고 classification이 상위에 존재하면서 후반기에 들어서는 인식보다는 분류 관련 연구가 활발히 진행 중임을 알 수 있었다. 또 인식과 탐지, 분류가 모두 필요한 image segmentation, semantic segmentation이 주된 활용 분야로 부상하여 연구가 활발히 수행 중임을 알 수 있었다. 또 활용 분야로 super resolution, data augmentation, remote sensing, feature extraction이 존재해 이 활용 분야들에 대한 연구가 활발히 이루어짐을 알 수 있었다.

Table 4. CNN topic rank and the improvement in rank of the 2nd half

2.3. GAN

GAN의 경우 Table 5와 같이 데이터 증강을 위한 활용 분야인 data augmentation과 image generation이 최상위로 존재하면서 최근 GAN의 연구 주제로 가장 활발한 것이 이미지 생성과 데이터 증강, 데이터 첨가임을 알 수 있었다. 위 두 개 외에 차례로 super resolution, image translation, face image, anomaly detection, image synthesis가 상위에 존재했으며 anomaly detection 외에는 전반기와 큰 차이 없이 여전히 활발한 연구가 진행중임을 알 수 있었다. Anomaly detection은 2017년과 2018년 등 후반기에 GAN을 활용한 GANomaly (Semi-Supervised Anomaly Detection via Adversarial Training)[35], AnoGAN (Unsupervised Anomaly detection with GAN)[36] 등과 같은 anomaly detection 연구가 많이 진행되면서 관련 연구가 활발히 진행되었음을 알 수 있었다. 또한 활용 분야 외에도 파생 모델들이 많이 추출되었는데, CGAN (Conditional GAN)과 DCGAN (Deep Convolutional GAN), CycleGAN (Cycle-Consistent Adversarial Networks)이 상위에 속하면서 현재 GAN 연구 중 가장 많이 쓰이는 파생 모델임을 알 수 있었다. 다만 전반기와 하반기의 차이가 존재했는데, CGAN과 CycleGAN은 전반기에 비해 상승세를 보였지만 앞선 두 개의 모델에 비해 DCGAN은 하락세를 보였다.

Table 5. GAN topic rank and the improvement in rank of the 2nd half

2.4. LSTM

LSTM의 경우 Table 6과 같이 전반기와 후반기의 토픽 순위 차이가 크게 두드러졌는데, 전반기에는 speech recognition, forecasting, natural language, entity recognition 등으로 주로 인식과 예측, 자연어 처리에 다양하게 연구가 수행되었음을 알 수 있었지만, 후반기에는 forecasting, prediction, predicting, prediction model, time series, price prediction, prediction accuracy 등으로 대부분의 LSTM 관련 연구가 예측에 초점을 맞추어 이루어졌음을 알 수 있었다. 이를 뒷받침하듯 상세 분야로 stock price, stock market이 상위 키워드에 속하며 주식시장에서의 가격 예측에 LSTM을 사용한 연구가 많아지고 있음을 알 수 있었다. Prediction과 forecasting 외에, 눈에 띄는 활용 분야로는 language model, attention (transformer 관련 키워드), speech recognition 등이 상위에 존재하며 자연어 처리 분야에도 예측에 비해서는 낮지만, 여전히 많은 연구가 진행되고 있음을 알 수 있었다. 새로 급부상한 키워드에 IoT (Internet of Things)가 있었는데, IoT가 포함된 LSTM 연구 초록들을 분석한 결과 IOT 미세먼지 센서의 미세먼지 농도 예측[37], IoT 전력 센서의 전력 사용량 예측[38] 등 여러 IoT 센서를 활용해 다양한 지표로 센서 측정값을 예측하는 연구가 진행되어 IoT가 급부상한 것임을 알 수 있었다.

Table 6. LSTM topic rank and the improvement in rank of the 2nd half

2.5. RNN

RNN의 경우 Table 7과 같이 전반기에는 speech recognition, language modeling, machine translation, natural language, attention이 상위에 존재하며 다른 활용 분야는 집계되지 않을 정도로 자연어 처리와 관련한 연구가 대부분이었지만, 후반기에는 forecasting, forecast, prediction이 더 높은 키워드로 자리하며 예측과 관련한 연구가 활발했음을 알 수 있었다. 다만 여전히 자연어 처리 관련 키워드 역시 상위에 존재해 관련 연구가 여전히 활발히 진행 중임을 알 수 있었다. 자연어 처리 분야 중에서도 sentiment analysis가 전반기에 비해 높은 순위 상승을 보이며 감성 분석에 대한 요구가 많아져, 자연스럽게 많은 연구가 이루어진 것으로 파악된다.

Table 7. RNN topic rank and the improvement in rank of the 2nd half

그 외에는 RNN의 특징인 time series가 눈에 띄었으며, 자연어 처리, 예측 분야 외에도 시계열 데이터인 음성(audio) 데이터에도 RNN이 많이 사용되고 있음을 알 수 있었다.

2.6. Reinforcement Learning

Table 8에 따르면 reinforcement learning의 경우 최상위 키워드로 multi agent가 위치하며 단일 에이전트보다는 다중 에이전트 강화학습 연구가 활발하게 이루어지고 있음을 알 수 있었고, 활용 분야로는 robot, autonomous driving, UAV (Unmanned Aerial Vehicle)가 활용 분야 중 최상위 키워드로 존재하며 로봇과 자율주행, 무인항공기에 대한 강화학습 연구가 가장 활발하게 이루어지고 있음을 알 수 있었다. 위 세 가지 활용 분야 중 robot과 autonomous driving은 전반기와 후반기 모두 큰 변화가 없었지만, UAV는 전반기에 비해 많이 추출되어 강화학습 연구 분야 중 떠오르고 있는 연구 분야임을 알 수 있었다. 위 활용 분야 외에는 edge computing이 존재했으며, 컴퓨터의 자원관리를 위한 연구가 강화학습과 함께 연구되고 있음을 알 수 있었다. 강화학습의 알고리즘 중 policy optimization 알고리즘이 5위에 위치했는데, 이는 2020년 새로운 policy optimization 알고리즘인 PPO (Proximal Policy Optimization)[39]가 큰 화제를 일으키며 후반기에 들어 높은 순위 상승을 보인 것으로 분석된다. 또 강화학습의 방법 중 하나인 offline RL이 후반기에 들어 순위권에 진입하게 되었는데, 이는 online RL이 갖는 단점인 초기 네트워크 학습 수행시간의 장기화를 해결하기 위해 고정된 데이터로 초기 훈련을 진행하는 방법으로, 후반기에 들어 많은 연구가 진행되었음을 알 수 있었다.

Table 8. Reinforcement learning topic rank and the improvement in rank of the 2nd half

2.7. Comprehensive analysis

여러 알고리즘에 대한 경향을 종합적으로 봤을 때 보이는 특징은 다음과 같다. Autoencoder와 CNN, GAN에서 공통으로 부상한 키워드로 data augmentation이 존재하며 데이터 첨가 및 증가에 대한 연구가 활발하게 진행됨을 알 수 있었다.

또한 CNN과 GAN에서 상위 30개에 함께 포함된 키워드로 CT image가 존재했는데, 의학계, 그중에서도 단층 촬영 이미지 분석에서 CNN과 GAN을 사용한 연구가 활발히 진행 중임을 알 수 있었다.

Autoencoder와 GAN에는 공통으로 급상승한 토픽인 anomaly detection이 존재했는데, 이는 autoencoder와 GAN이 다른 모델 (CNN, LSTM, RNN)에 비해 이상치 탐지에 높은 효율을 보이고 관련 연구가 활발히 진행 중임을 알 수 있었다.

또한 CNN, autoencoder, GAN이 주로 image 관련 분야에 이용된 것과는 대조적으로 LSTM과 RNN은 sequencial 데이터인 audio, language 등에 활용이 되고 있음을 확인할 수 있었다. 이는 RNN과 LSTM 모델의 특성이 타 모델과는 다르게 현재 값뿐 아니라 과거 값을 함께 고려하는 것이 가능하기 때문에 시간 순차 데이터 분석에 적합하고, 자연스럽게 관련 연구가 많이 진행된 것으로 분석된다.

V. Conclusion

본 논문에서는 KeyBERT 알고리즘을 사용하여 딥러닝과 강화학습 연구 논문 초록에서 토픽 추출 후 출현 빈도 기반 분석을 시도하였으며, 분석 결과 모든 딥러닝과 강화 학습 분야에서의 전반기와 후반기의 트렌드 변화가 명확함을 알 수 있었다. 이를 통해 딥러닝과 강화학습의 최근 연구 동향 변화에 대해 알 수 있었고, 특히 딥러닝 알고리즘의 활용 분야, 새로운 알고리즘의 등장과 관심도, 알고리즘의 특징에 대해 파악할 수 있었다. 이는 특정 분야의 트렌드를 분석하기 위한 방법으로 KeyBERT를 사용한 토픽 추출 후 출현 빈도 기반 분석이 적절하다고 할 수 있으며, 향후 딥러닝 발전 방향에 대한 통찰력을 제공하고, 연구 주제 및 방법 선정에 직접적인 도움을 주기에 충분했다고 볼 수 있다. 또한 본 논문에서 사용한 방법론의 동향 분석 가능성을 보임으로써 타 주제의 연구 동향 분석 시에도 본 방법론을 사용하여 트렌드 분석이 필요한 타 연구 분야 및 주제에도 적용이 가능할 것으로 기대한다.

다만 데이터의 수가 적은 경우 객관성을 보이기 힘들만큼 적은 토픽이 추출되는 단점이 존재했다. 또한 the, a, I, are 등과 같이 중요도가 낮지만 자주 등장하는 단어에 대해 stopwords 지정이 필요하지 않은 LDA와 달리 KeyBERT를 활용한 토픽 추출 시에는 stopwords를 지정하지 않을 경우에는 중요도가 낮은 토픽이 추출되거나 너무나 당연한 토픽이 추출되어 이 또한 객관성이 사라지게 된다는 한계가 존재했다. 그리고 크롤링의 한계로 RISS와 arXiv 두 개의 사이트에서 데이터를 수집하고 분석하였는데, arXiv의 경우 검증되지 않은 논문이 업로드되는 플랫폼으로, SCOPUS, Web of Science 등의 검증 된 학술지에 비해 신뢰성이 떨어지는 문제가 존재했다. 즉, 해당 방법론의 객관성을 높이기 위해서는

1. 모집단의 데이터가 많아야 한다.

2. stopwords를 지정하여 추출된 토픽의 객관성을 높여야 한다.

3. 모집단 데이터 수집 시 신뢰도가 높은 플랫폼에서 수집해야 한다.

의 세 가지 조건이 필요하다는 한계가 존재했다.