Development of Science Technology Information Service using Citation Information Data

인용정보 데이터를 활용한 과학기술 학술정보서비스 개발

Abstract

The citation information of academic resources contains the knowledge flow from previous research, so it is possible to connect fragmented research in relational aspects. The citation information can grasp the overall flow of research, so it can promote convergence research such as developing existing research or deriving related fields. Therefore, in this study, the citation information of academic literature, which was previously provided at the level of simple disclosure, was reconstructed based on the citation relationship. Through this, backward and forward citation analysis were conducted based on time series, and the research flow was analyzed by setting the citation stage. Finally, we developed an academic information service that visualizes the main research contents of backward and forward citation based on time series. This accesses academic resources through the meaning contained in the citation information.

학술자원의 인용정보는 선행연구로부터 흘러온 지식의 흐름을 담고 있어 관계론적 측면에서 파편화된 연구를 연결할 수 있다. 인용관계 기반의 정보는 연구의 종합적인 흐름을 파악할 수 있어 기존 연구결과를 발전시키거나 관련된 연구 분야를 도출하여 융합연구를 촉진하는 등 연구논문의 새로운 가치를 발견할 수 있다. 이에 본 연구에서는 기존 단순 공개수준으로 제공하던 학술문헌 인용정보 데이터를 인용관계를 통해 재생산하여 시계열 기반으로 인용, 피인용 분석을 실시하였다. 추가적으로 인용이 전파되는 과정에 단계를 설정하여 인용 범위를 넓히며 연구의 흐름을 분석 하였다. 이를 통해 인용, 피인용 문헌의 주요 연구 내용을 시계열기반으로 시각화하는 학술정보서비스인 논문타임라인 서비스를 개발하였다. 이는 인용정보가 담고 있는 의미를 전달할 수 있는 서비스로 학술자원을 접근하는 새로운 방법이 될 것이다.

I. 서론

최근 학술정보서비스는 서지정보에 대한 메타데이터 및 원문을 제공하는 서비스에서 온톨로지 모델, 시멘틱웹 등을 활용하여 학술정보가 담고 있는 의미를 추출하여 제공하는 방향으로 서비스 개발이 이루어지고 있다[1]. 정보가 담고 있는 의미를 전달하는 것은 정보의 활용성 측면에서 이용자의 니즈에 따라 의미기반으로 정보를 접근할 수 있도록 한다.

빅데이터 분석은 방대한 양의 데이터를 대상으로 개별 데이터 단위에서는 발견할 수 없었던 데이터간의 패턴, 의미 등을 분석하는 것이다. 현재 학술정보서비스의 가장 주된 유형인 검색서비스는 학술지의 논문 단위로 주제어, 저자, 기관 등에 대한 검색을 제공한다[2]. 본 연구에서는 시간이 지남에 따라 방대하게 쌓인 논문단위의 학술정보 데이터에서 새로운 가치를 발견하고 분석하고자 한다.

학술정보의 인용정보는 참고문헌으로의 접근을 제공할 뿐만 아니라 파편화된 문헌들을 인용관계를 통해 연결할 수 있다. 선행연구로부터 인용된 기술 분야의 지식은 새로운 연구를 창출하는 기반이 되며 신규 연구로 지식이 흘러간다고 볼 수 있다. 이러한 인용정보를 활용하여 잠재성이 높은 신규 연구주제를 도출하거나 기술기회를 발굴하는 많은 연구들이 진행되고 있지만 대부분의 논문 인용정보 서비스는 인용정보를 단순 제공하는데 그친다.

따라서 본 연구에서는 한국과학기술정보연구원 (Korea Institute of Science Technology Information, KISTI)에서 구축한 방대한 과학기술 지식자원을 단순 공개하는 수준에서 나아가 인용정보를 재생산하여 데이터 기반의 새로운 가치를 창출할 수 있는 학술정보서비스를 개발하고자 한다. 이는 수집된 학술정보 데이터에 대하여 연구자들의 연구 활동에 필요로 하는 정보를 분석하여 제공함으로써 연구논문의 새로운 가치를 발견할 수 있는 새로운 계기가 될 수 있다.

Ⅱ. 이론적 고찰

1. 인용정보 서비스 현황

과학기술 학술정보서비스는 기본적으로 정보검색서비스를 중점으로 원문 및 메타정보를 제공한다. 이는 논문제목, 저자명, 주제어, 기관명 등에 대한 서지 데이터가 원문 및 참고문헌에서 정확하게 추출되어 구축되어 있으면 가능한 일반적인 서비스이다[2]. 과학기술 학술정보서비스 중 인용정보를 제공하는 국내외 서비스를 [표 1]과 같이 분석하였다. 인용정보는 참고문헌을 제공하는 것과 인용 분석을 제공하는 유형으로 나누어 각 유형에 대하여 정리하였다. 인용정보는 원문 데이터에 포함된 참고문헌의 정확한 식별을 통해 제공되는 정보로 참고문헌 및 피인용 문헌 제공여부, 피인용 빈도, 인용관계 시각화 제공 여부를 확인하였다. 인용 분석은 구축된 인용색인 데이터를 통해 인용지표를 포함한 다양한 인용 분석을 제공하는 것을 나타낸다[2]. 간략한 계량서지학적 분석결과를 제공하거나 영향력지수 (Impactor Factor), h-지수(Hirsch Index) 등 인용지수(Citation Index)를 분석하여 제공하는 서비스를 말한다. 대부분의 인용 분석에 활용되는 인용지수는 인용 빈도를 통해 과학적 지식이 얼마나 빠른 속도로 확산되는지를 측정하여 학술지의 수준을 평가하는 지표이다.

표 1. 국내외 학술정보서비스의 인용정보 제공항목

WoS(Web of Science)와 SCOPUS는 대규모 인용색인데이터베이스를 통해 인용 분석 서비스를 제공한다. WoS와 SCOPUS는 인용관계에 대한 시각화 서비스는 제공하지 않지만 저자나 출판물의 영향력을 측정하기 위하여 계량서지학 또는 출판물의 통계분석 (Bibliometrics)을 제공한다. WoS의 인용 분석 기능은‘Analyze Results’를 통해 인용문헌의 국가, 문헌유형, 학술지명, 저자명 등을 계량서지학적 분석을 제공하고‘Create Citation Report’를 통해 연도별 인용빈도 및 h-지수를 제공한다[2]. SCOPUS는 ‘Citation Overview’를 통해 연도별 인용빈도, 피인용수, h-지수, 자기인용 지수 등을 제공한다. 저자검색을 통해 저자의 출판논문, 피인용 현황 등 저자의 연구실적을 확인할 수 있고 기관검색을 통해 기관의 상세정보, 영향력 등을 확인할 수 있다. SCOPUS의 간행물에 대하여 영향력지수, 해당 주제 분야의 랭킹 등을 분석하여 간행물 별 영향력을 비교 분석할 수 있다.

Google Scholar는 Google에서 운영하는 학술자료 검색엔진으로 연구자의 검색패턴, 저자, 피인용수, 피인용 경향 등 다양한 요소를 고려하여 검색결과를 제공한다. Google Scholar는 참고문헌에 대한 리스트를 제공하지 않고 피인용 문헌과 피인용 빈도를 제공한다. 그리고 저자의 출판논문에 대하여 피인용 빈도, 연도별 인용 빈도, 인용지수 등을 통해 저자의 영향력을 분석하여 제공한다.

IEEExplore는 전기공학, 컴퓨터 과학 및 전자 분야 출판물 중 세계에서 가장 많이 인용된 문헌을 제공한다. 참고문헌, 피인용 문헌, 피인용 빈도를 제공하고 있으며 논문의 참고문헌과 피인용 문헌에 대하여 인용맵 (Citation Map)을 구축하여 시각적으로 인용관계를 제공한다. SpringerLink는 Springer 출판사에서 제공하는 학술데이터베이스로 참고문헌 리스트와 피인용 빈도를 간략하게 제공하고 있다.

국내의 대표적인 학술정보서비스로는 KCI, Riss, ScienceON, DBpia 등이 있다. 전반적으로 모든 학술정보서비스에서 참고문헌, 피인용 문헌, 피인용 빈도 등의 인용정보를 제공하고 있다.

KCI는 국내 학술지, 논문, 참고문헌을 DB화하여 논문간 인용관계를 분석하는 목적의 시스템이지만 영향력지수를 포함하는 인용지수와 피인용 빈도를 중심으로 학술지, 논문, 연구자에 대한 인용정보를 제공하고 있어 주로 학술지의 영향력 평가에 활용된다.

Riss는 최근 학술관계분석서비스를 통해 논문의 관계도 및 연구자 관계도를 제공한다. 논문 관계도는 논문의 활용도와 피인용 분석을 시각적으로 제공하는 것으로 피인용 관계를 시각화하여 제공한다. 주요 키워드에 해당하는 논문들의 간략정보와 피인용 횟수를 확인할 수 있지만 논문간의 관계 및 피인용정보가 담고 있는 의미를 파악하는 것은 한계가 있다.

ScienceON과 DBpia의 경우 인용정보는 제공하고 있지만 인용 분석에 대한 정보를 제공하지는 않고 있다. ScienceON은 인용관계를 시각화하여 제공하는 베타서비스를 제공하고 있지만 대상 논문이 5편으로 제한적이다.

국내외 학술정보서비스는 문헌의 참고문헌을 식별하여 참고문헌 DB를 구축하고 인용정보를 제공하고 있지만 구축된 참고문헌의 리스트, 피인용 문헌 리스트 및 인용빈도 위주로 인용 분석 서비스를 제공하고 있다. 과학기술에 대한 연구와 교육이 가속화되면서 학술정보가 출판되는 양 또한 급격이 증가하고 있다. 엄청난 양의 학술자원과 학술자원들의 인용정보가 쌓이고 있지만 연구자가 과학적 자원에 접근할 수 있는 방법은 주로 검색을 통한 고전적인 접근 방법이다. 따라서 방대한 양의 과학기술 리포지토리(Scientific Repository) 에서 새로운 정보를 발견하고 기존과는 다른 접근 방식으로 과학적 자원을 활용할 필요가 있다. 이에 본 연구에서는 학술자원간의 관계정보가 포함된 인용정보를 통해 학술자원에 대한 새로운 접근 방식을 개발하고자 한다.

2. 인용정보를 활용한 선행연구 분석

인용정보는 선행연구로부터 진행된 지식의 흐름 (Knowledge Flow)을 담고 있다. 과학기술 학술정보 간의 인용관계는 정보검색 및 데이터 마이닝, 인용기반 추천 알고리즘 작업에 활용이 되고[3], 연구 경향을 파악하는 것에서 연구 성과 평가까지 다양하게 활용되고 있다[2]. 다시 말해 인용정보를 통해 연구 활동을 지원하는 다양한 서비스 제공이 가능하다.

인용정보가 담고 있는 의미에 대해 분석한 연구로는 인용 네트워크 분석, 지식 구조 및 흐름 분석 등이 있다. H. Lee(2015)는 저널단위의 인용네트워크 분석을 통해 기술관리(Technology Management)분야에서 다른 분야와 높은 수준으로 지식 교환이 이루어지는 주요 분야를 도출하였다[4]. 인용관계를 시각화함으로써 다양한 분야의 지식 흐름 구조를 분석하였다. 김동성 외 1인(2014)은 클라우드 컴퓨팅 관련 논문의 인용정보를 통해 네트워크 분석을 실시하여 잠재성이 높은 신규 연구주제를 도출하였다[5]. 이재윤(2017)은 딥러닝 분야의 주요 연구기관의 연구 활동을 분석하고 군집분석을 통해 주요 세부 분야의 특성과 최근 급격히 성장하는 핵심연구 주제를 도출하여 향후 딥러닝 연구 방향을 제시하였다[6]. 인용관계를 통해 의미를 도출함으로써 인용정보에 담긴 연구의 종합적인 흐름을 분석할 수 있다.

기술이 개발되는 과정에서도 인용정보는 원천 기술에서 부터 시작된 기술 개발 경로와 기술의 융합 과정을 담고 있다. 따라서 특허의 인용정보는 원천 기술로 부터 흘러온 기술의 진행 방향을 파악하고 기술기회 탐색, 기술개발 전략을 제시하는데 중요한 역할을 한다. 특허 기술의 인용정보를 분석한 연구로는 기술의 흐름과 확산을 분석하고 융합기술에 대한 기술 발전 경로를 통해 기술을 예측 분석하는 연구가 있다[7]. 인용정보에 담긴 의미를 분석하는 다양한 연구들이 진행되고 있지만 인용정보를 제공하는 학술정보서비스는 단순 정보 공개 수준이다. 인용관계를 통해 연결된 학술정보가 담고 있는 의미를 제공하는 서비스를 개발할 필요가 있다.

Ⅲ. 인용정보 관련 학술논문 DB 분석

1. 참고문헌 식별 DB 분석

인용색인에 대한 관심이 증대되면서 국가적 차원에서 인용색인 데이터베이스를 구축하고 관련된 서비스를 개발하고 있다[2]. 이러한 현상은 인용색인 데이터뿐만 아니라 이를 활용한 서비스에 대한 요구가 증가하고 있음을 알 수 있다[2]. KISTI는 국가 과학기술 지식정보를 수집, 관리하여 공유, 유통하는 전문연구기관으로 논문, 특허, 보고서 등 국가 R&D 성과물에 대한 전반적인 관리를 하고 있다. KISTI에서 관리하고 있는 학술논문의 지식자원 중 국내 학술논문 DB은 KISTI와 국내학술단체가 학술정보공동활용사업 협약을 통하여 수집된 학술지 원문을 관리한다[8].

수집된 학술지 원문은 저자-기관 식별 DB, 한국인저자 DB, 참고문헌 DB등으로 다양하게 구축 관리 되며 이를 통해 연구자를 위한 서비스를 제공하고 있다.

[표 2]는 참고문헌 DB에서 주요 콘텐츠를 정리한 것이다. 참고문헌 DB는 학술지 논문 원문에 포함된 참고 문헌 리스트를 식별하여 DB화하고 있다. 참고문헌은 특정 논문의 참고문헌인 동시에 하나의 원 문헌이 된다. 따라서 참고문헌이 정확히 식별되면 해당되는 논문의 제어번호를 가져와 원 문헌의 메타정보와 연결할 수 있게 된다. 논문의 제어번호 외에도 DOI, Crossref와 연결하여 원문을 제공할 수 있다.

ACN_CIN은 참고문헌을 식별할 특정 논문에 해당하며 해당 논문의 참고문헌을 ART_NM(논문명), ANM (저자명) 등으로 정보를 구축한다. 구축된 참고문헌을 정확히 식별하면 ACN_CEN값에 CN(논문제어번호)값이 부여되면서 논문의 메타정보를 불러올 수 있다. 구축된 참고문헌은 참고문헌 DB에서 RRCN(참고문헌 제어번호)으로 관리된다.

표 2. 참고문헌 DB 구조

2. 참고문헌 DB 활용현황

다양한 정보원으로부터 수집된 학술논문을 통해 구축된 DB는 KISTI의 연구자원 공유·활용 플랫폼인 ScienceON을 통해 서비스된다. ScienceON은 연구자의 연구 환경을 지원하는 과학기술 지식인프라 통합 서비스로 KISTI에서 구축한 모든 과학기술정보, 국가 R&D정보, 연구데이터, 정보분석 서비스 등을 한 곳에서 제공하는 서비스이다.

학술논문을 이용하는 주된 방법은 정보검색을 통한 접근으로 메타정보를 통해 학술논문을 접근하게 된다. 학술논문에 대한 다양한 DB가 구축되고 이용자가 필요한 서비스로 제공되고 있지만 참고문헌 DB를 활용한 서비스는 앞 장에서 분석한 논문 메타정보의 참고문헌 리스트, 피인용 문헌 리스트이다. 그 외 다른 지식 서비스에서도 참고문헌 DB의 활용도는 낮다. 기존 ScienceON에서는 문헌의 인용관계를 시각화하는 베타서비스를 제공하였지만 외부 자원인 Google Scholar를 통해 인용문헌을 링크 연결하여 제한적으로 인용정보를 제공하였다.

학술논문이 구축이 됨과 동시에 지속적으로 생성되는 참고문헌 DB는 인용관계라는 문헌간의 관계론적 정보를 담고 있다. 따라서 인용문헌에 대한 지식자원을 단순 공개하는 수준에서 나아가 인용정보를 재생산한 서비스를 제공함으로써 연구자의 학술논문 접근성 및 활용성을 높이는 것이 필요하다.

Ⅳ. 인용정보를 활용한 학술정보서비스 개발

1. 인용관계 기반의 학술정보서비스 설계

본 연구에서는 학술자원간의 관계정보가 포함된 인용정보를 통해 파편화된 연구들을 인용관계로 연결하고자 한다. 인용관계는 선행연구로부터 흘러온 지식의 흐름을 담고 있어 특정 연구 분야에 대하여 시간에 따라 변하는 연구의 흐름을 확인할 수 있다.

그림 1. 기준 논문(2016)에 대한 인용관계 시각화

학술지 논문으로부터 식별된 참고문헌은 특정 논문의 참고문헌이자 또 다른 문헌의 피인용 문헌이 될 수 있다. 따라서 참고문헌 DB상 ACN_CIN과 ACN_CEN 값으로 특정 논문의 인용, 피인용 정보를 추출할 수 있다. 기준이 되는 논문의 ACN_CIN 값을 통해 ACN_CEN에 해당하는 참고문헌을 추출하고, 기준 논문의 ACN_CEN 값을 통해 피인용 문헌인 ACN_CIN 값을 추출한다. 다시 말해 [그림 1]과 같이 2016년도의 기준 논문을 중심으로 인용, 피인용 문헌들을 수집하고 이를 연도별로 구성하고자 한다. 기준 논문과 인용관계의 문헌들을 시계열로 구성함으로써 관련된 연구의 흐름을 파악할 수 있다.

인용, 피인용 관계는 기준 논문의 참고문헌, 피인용 문헌에서 더 나아가 인용단계를 설정할 수 있다. 본 연구에서는 기준 논문의 참고문헌을 인용 1단계로 설정하고 더 나아가 단계를 확장하였다. 피인용 또한 기준 논문을 인용한 문헌을 피인용 1단계로 보고 피인용 단계를 확장하였다. 다시 말해 인용 1단계는 기준 논문이 인용한(참고) 논문, 피인용 1단계는 기준 논문이 인용된 (피인용) 논문이다. 인용단계를 설정하는 것은 인용의 범위를 넓히는 것으로 볼 수 있다. 인용단계를 넓히면서 넓어진 연구의 범주에서 연구가 담고 있는 여러 주제 분야를 파악할 수 있게 된다.

기준 논문을 중심으로 인용문헌들을 시계열 기반으로 시각화하면 각 연도별 문헌들의 메타정보를 활용하여 연구주제에 대한 키워드맵을 생성하게 된다. 키워드 맵은 키워드 출연빈도로 가중치를 설정하여 연도별 주요 키워드를 강조할 수 있다.

[그림 2]은 본 연구에서 개발한 인용관계를 기반으로 제공하는 학술정보서비스의 DB 구축 프로세스이다. 기존 구축되고 있는 참고문헌 DB에서 인용 분석을 실시할 기준 논문을 입력하면 쿼리를 통해 자동으로 문헌간 관계정보를 추출하여 인용, 피인용 문헌을 단계별로 수집할 수 있다. 수집된 문헌의 제어번호를 통해 메타 정보를 불러올 수 있다. 이렇게 기준이 되는 논문을 중심으로 인용, 피인용 문헌들을 인용단계별로 DB를 구축하여 응용서비스 DB를 관리한다. 구축된 DB의 데이터를 시각화 하고 타임라인에 따라 인용관계를 구축함으로써 파편화된 연구들을 연결할 수 있다. 따라서 인용정보에 담긴 연구의 종합적인 흐름을 타임라인에 따라 제공할 수 있다.

그림 2. 응용서비스 DB 구축 프로세스

2. 인용정보를 활용한 학술정보서비스 개발

논문의 인용, 피인용 관계에 대한 데이터를 기반으로 인용, 피인용 문헌들을 인용단계별로 시각화하고 타임라인별 해당하는 연구의 주요 키워드맵을 생성하여 인용정보가 담고 있는 지식을 제공하는 서비스를 구성하였다. 따라서 기준 논문을 설정하면 기준 논문 중심으로 인용, 피인용 정보가 단계별, 연도별로 구성되는 서비스이다.

[그림 3]은 서비스 예시 화면으로 '스마트폰 가속도 센서 기반의 돌발 상황인식 어플리케이션 개발' 논문을 대상으로 인용, 피인용 문헌들을 타임라인별로 생성하였다. 연도별로 출연 빈도가 높은 주요 키워드의 가중치를 자동으로 설정하여 키워드맵을 생성하였다.

[그림 4-a]는 기준 논문을 중심으로 인용, 피인용 문헌들의 키워드맵을 연도별로 생성한 결과이다. 키워드가 중복될 경우 가중치로 합산하여 중요도순으로 키워드가 자동 생성된다. 이를 통해 연도별로 연구주제의 흐름이 변하는 것을 확인할 수 있다. 본 예시에서는 가속도 센서 기반의 돌발 상황인식의 연구가 사용자의 사용의도를 통한 상황인식 연구에서 위치기반의 상황인식 및 낙상감지시스템, 이동상황 판별 및 이동상황 인식에 대한 내용으로 연구가 진행되는 것을 확인할 수 있다.

[그림 4-b]는 인용, 피인용 단계를 설정할 수 있는 화면으로 설정한 인용, 피인용 단계에 해당하는 문헌들을 확인할 수 있다. 인용 단계 설정을 통해 인용 범위를 넓혀 관련된 연구 주제를 해석할 수 있다. 연구자가 설정한 인용 단계 별로 연구가 담고 있는 주제 분야를 확인할 수 있고 인용문헌의 상세 정보 또한 확인할 수 있다.

[그림 4-c]는 전체적인 서비스 화면으로 기준이 되는 논문을 중심으로 인용 관계에 있는 문헌들의 인용정보가 담고 있는 지식들을 종합적인 흐름으로 파악할 수 있다.

[표 3]은 개발된 학술정보서비스의 DB 구조를 정리한 것으로 Paper_NO, CITED_BY_CD, CN, UPPER_PAPER_NO, ACN 등으로 인용정보에 대한 DB가 구축된다. Paper_NO는 해당 DB에서 관리되는 관리번호, CITED_BY_CD는 인용문헌(Backward), 피인용 문헌(Forward)을 나타내며 각 인용, 피인용 단계를 따라 하위 라벨을 생성하고 관리한다. CN은 해당하는 논문의 제어번호이고, UPPER_PAPER_NO와 ACN 은 상위 논문 즉, 인용된 논문의 관리번호 및 제어번호이다. 따라서 기준 논문의 UPPER_PAPER_NO는 0이 된다. 구축된 DB를 통해 관리자는 트리구조 방식으로 인용, 피인용 문헌 및 연도별 연구 키워드를 관리할 수 있다.

그림 3. ScienceON ‘논문타임라인’ 베타서비스

그림 4. '논문타임라인‘ 서비스 활용가이드

이렇게 인용정보를 활용한 학술정보서비스는 기존 단순히 인용정보를 공개하여 제공하던 서비스에서 더 나아가 인용정보가 담고 있는 의미를 분석하여 해당 연구 분야의 종합적인 흐름을 제공할 수 있다.

이는 방대하게 구축된 학술정보 데이터를 연구 논문의 관계론적 측면에서 새로운 가치를 창출하였다고 해석할 수 있다. 연구자들은 특정 연구 분야의 인용정보에 담긴 연구의 종합적인 흐름을 통해 연구논문의 새로운 가치를 발견할 수 있는 계기가 될 수 있다. 이를 통해 기존 연구결과를 더욱 발전시키고, 타 분야와의 융합연구를 촉진할 수 있는 지식과 근거로 활용할 수 있다. 또한 연구의 전체적인 흐름을 쉽게 이해하게 함으로써 융합연구를 촉진할 수 있으며 일반시민의 창의적 참여기회 확대를 통해 연구자원 공유의 대중화를 실현할 수 있다.

표 3. 인용정보를 활용한 학술정보서비스 DB 구조

Ⅴ. 결론

본 연구에서는 R&D 연구의 증가에 따라 지속적으로 증가하는 연구 성과물인 학술문헌의 인용정보 데이터에 대하여 관계론적 정보를 통해 파편화된 연구를 연결하는 서비스를 개발하였다. 문헌의 인용, 피인용 정보에 담긴 연구의 흐름을 시각화함으로써 특정 연구를 중심으로 시간에 따라 연구 주제의 흐름이 변하는 과정을 파악할 수 있게 되었다. 기존 단순 제공되고 있는 참고 문헌 DB를 분석하여 방대한 인용관계 데이터가 담고 있는 의미를 제공할 수 있는 인용관계 기반 학술정보서비스를 통해 학술자원에 대한 새로운 접근 방식을 제공할 수 있다.

본 연구는 방대한 양의 학술정보 DB가 담고 있는 의미를 재분석해서 서비스로 제공한다는 점에서 기존 메타정보를 통해 제공되는 서비스의 정보 활용성을 보다 높이고 연구자의 정보 접근성을 높여 연구의 효율성을 강화할 수 있다. 연구의 한계점으로는 참고문헌을 식별하는 과정에서 모든 참고문헌이 정확히 식별되지 않아 모든 인용 문헌을 서비스하기 어려운 점이 존재하였다. 따라서 참고문헌 DB 구축의 정확도를 높여 인용정보의 제공범위를 확대할 필요가 있다. 또한 향후에는 인공지능 기술을 활용하여 인용문헌들이 인용된 이유에 해당 하는 핵심 내용을 추출하여 인용정보를 해석할 수 있는 자동화된 서비스 개발이 필요하다.