DOI QR코드

DOI QR Code

특허정보의 NLP 분석을 통한 R&D 계획수립 방안 연구: 디스플레이 기술 분석을 중심으로

Research on R&D Planning Through NLP Analysis of Patent Information: Focusing on Display Technology

  • 김정희 (한양대학교 기술경영전문대학원) ;
  • 김영민 (한양대학교 기술경영전문대학원)
  • Kim, Jung-Heui (Hanyang University Graduate School of Technology Management) ;
  • Kim, Young-Min (Hanyang University Graduate School of Technology Management)
  • 투고 : 2022.08.30
  • 심사 : 2022.09.27
  • 발행 : 2022.10.31

초록

Patent information describes the history of technological progress in the relevant field, so it can be usefully used to identify trends in technological development and change and to establish R&D development strategies. This study proposes a method to identify the needs and problems of technology development at the planning stage of the R&D process and to analyze core technologies through patent analysis using Natural Language Processing(NLP) technology. As a big data source, collected patent documents registered in Google Patents for foldable technology, the latest technology in the display industry, and then extracted keywords using NLP analyzer. By classifying the extracted keywords into needs and problems for technology development, developed technology and materials, identified the needs of the market and customers and analyzed the technologies being researched and developed. Unlike previous studies that performed patent analysis, this methodology is different in that it can quickly and conveniently analyze the latest technology trends from big data called patents even if you do not have specialized knowledge and skills in the text mining. This study contributes to the digitalization of the R&D process based on data analysis.

키워드

1. 서론

기업은 기술 사업화와 독점적 권리 확보를 위해서 개발한 기술을 특허로 등록하고 보호받고자 한 다. 또한 최신 기술에 대한 연구 개발 경쟁력을 홍보하고자 개발한 기술들을 논문을 통해 공개하기도 한다. 따라서 최신 기술 및 경쟁 기술을 탐색하는 데 있어 특허문서와 논문은 중요한 데이터 소스가 된다[1]. 일부 기업들의 경우 특허나 논문 등의 기술문서를 사전에 분석하고 그 결과를 토대로 개발 계획을 수립하는 연구개발 프로세스를 도입하고 있 다. 특히 디스플레이 산업과 같이 국가적 산업으로 지정되어 기술이 보호받고 연구개발이 중요한 산업의 경우, R&D 계획수립 단계에서 참조할 수 있는 정보가 제한적이기 때문에 선행 기술에 대한 공개된 기술문서 분석은 더욱 중요하다.

본 연구에서는 4차산업혁명 시대에 R&D 프로세스는 어떻게 혁신되어야 하는가 라는 관점에서 인공지능을 활용하여 R&D 프로세스의 계획수립 단계를 혁신할 수 있는 기술분석 방법론을 제시한 다. 실증분석으로 디스플레이 산업의 최신 개발 기술인 폴더블 기술을 중심으로 자연어처리(Natural Language Processing: NLP) 기술을 이용하여 특허문서의 키워드 분석을 수행하였다. 텍스트마이닝에 대한 전문적인 지식이나 스킬이 없이도 관련된 선행 특허문서에서 R&D 대상 기술을 선정하고 기술개발 전략을 수립하는데 유용한 정보 추출이 가능한지를 검증한다. 본 기술분석 방법론은 기술 개발에 앞서 고객의 니즈, 시장 및 경쟁사의 기술 동향, 기술 개발시의 문제점과 해결을 위한 핵심 기술을 빠르고 효율적으로 파악하는 데 그 목적이 있으며, 이러한 정보분석 단계를 선행하고 기술개발 전략을 수립 후 연구개발에 돌입하는 새로운 디지털 R&D 프로세스로의 혁신을 제시하고자 한다.

2. 문헌연구 및 연구의 필요성

2.1 R&D 프로세스

R&D 활동은 새로운 상품과 서비스를 시장에 소개하고 기존 제품을 혁신하기 위해 취해지는 활동들로 제품 개발을 위한 기회 인지에서부터 계획, 설계, 개발 및 시장 출시에 이르는 여러 가지 단계별 프로세스로 구성되는데, 이 R&D 프로세스성숙도는 제품개발 성과에 유의미한 영향을 미친 다[2], Cooper and Edgett [3]는 신제품 개발에있어 중요한 성공요소들을 정의하고, 아이디어에서 제품출시로 신제품 개발 프로젝트를 관리하기 위한 R&D 프로세스 모델로 Stage-Gate를 제시했 다. 신제품 개발에 대한 Stage-Gate R&D 프로세스는 Scoping(아이디어의 예비조사 및 범위지정), Build Business Case(상세한 조사 및 프로젝트 정의), Development (세부설계 및 개발), Testing and Validation(제품 테스트 및 검증), Launch(시장 출시)의 5단계의 Stage로 구분된다. 이후Cooper[4]은 새로운 제품과 프로세스를 위한 기반이 되는 기술개발 프로젝트에 적합한 Stage- Gate 프로세스를 독자적으로 제안하였다. 이는 Project Scoping(프로젝트 범위 및 계획 정의), Technical Assessment(아이디어의 기술적인 타당성 시연), Detailed Investigation(전체 실험 계획의 구축)의 3개 Stage로 구성된다. 이 중 Stage1 의 계획단계에는 기술문헌 조사, 특허와 IP 조사, 경쟁력 있는 대안 평가, 자원 격차 식별, 예비 기술평가 등이 포함된다.

이후 디지털산업과 같은 새롭고 파괴적인 혁신환경으로 변화에 따라 신제품 개발 프로세스는 새로운 변화를 맞게 된다. (Parmentier and Mangematin, [5]). 이러한 산업에서의 변화들은새로운 신상품 개발 전략과 프레임웍을 필요로 하게 되고, Cooper[6]는 특정 산업과 프로젝트 형태에서의 혁신과 역동성에 대응하기 위해 애자일 방법 (Agile methods)를 포함한 다른 차원의 접근 방법이 중요하다고 강조하였다. 애자일 프로젝트 관리(Agile Project Management) 방법은 프로젝트 전반에 걸쳐 주로 짧은 개발 주기와 지속적인 변경과 채택을 사용하여 고객의 니즈와 진화하는 요구사항들을 관리하는데 중점을 두고 있다 (Barlow et al.,[7]). Conforto and Amaral[8]은 기술 주도의 프로젝트에서 애자일 프로젝트 관리와 Stage- Gate 모델을 병행한 하이브리드 R&D 프로세스 접근방법을 제시하기도 하였다.

백창화 외[9]는 4차산업혁명 시대의 R&D 프로세스로 빠른 시장의 변화와 고객의 요구에 신속하게 대응하기 위해 빅데이터 및 인공지능 시스템과 연결된 구조에 대해 고찰하였다. 4차산업혁명 시대의 R&D 프로세스는 Ideation(아이디어 생성), Concept (제품기획), Design (설계), Development (제품 개발), Testing (시험 검증), Launch (시장 출시)의 각 단계가 시장과 고객의 요구 사항 및 변화를 데이터를 기반으로 빠르게 분석하고 적용하기 위해 빅데이터 및 인공지능을 활용한 분석시스템과 실시간으로 연결되는 특징을 가지고 있다.

2.2 특허정보 분석

특허는 발명의 공개에 대한 대가로 제한된 기간 동안 다른 사람이 발명을 제작하거나 사용 또는 판매하는 것을 배제하도록 법적 권리를 소유권자에게 부여하는 지적재산권의 일종으로, 일부 산업에서 경쟁우위를 확보하기 위해 특허 획득은 필수적 이다. 특허정보란 특허명세서에 포함된 특허군에 대한 정보를 의미한다. 특허는 권리문서이자 동시에 기술문서로, 특허명세서에는 발명의 내용이 상세히 기록되어 있고, 이를 통해 기술정보 및 기술 발전에 대한 이력을 파악할 수 있어서 풍부한 기술정보를 담은 문헌 중에 하나로 평가된다.(Andy Gibbs[10]). 특허명세서에는 정보를 바로 획득할 수 있는 명시적 정보와 다양한 분석을 통해 얻어지는 암시적 정보가 있다. 명시적 특허정보에는 발명의 명칭, 공고일자, 등록번호, 출원일자, 선행기 술조사문헌, 특허권자, 초록정보, 청구범위, 발명의상세한 설명 등이 포함된다. 암시적 특허정보로는 산업 및 기술동향, 경쟁사의 R&D 활동정보, 기술개발주기 등에 대한 정보가 있으며 혁신 프로세스에 적용할 때 명시적 특허정보보다 유용하게 활용될 수 있다[10]. 특허분석은 단순한 기술정보 뿐만아니라 기술경쟁력과 기술개발방향 연구에 유용하며 기술발전과 변화의 트렌드를 파악하여 기업 및 국가차원의 R&D 방향설계, 투자, 사업전략 등 혁신전략을 수립하는데 객관적인 지표로 활용되고 있 다(Kim and Bae[11]). 특허는 현재 시점의 기술 수준을 나타내기 때문에 R&D 개발 프로세스에서선행 특허정보를 적절하게 활용할 경우 보다 빠르게 양질의 결과물을 얻을 수 있다.

특허를 활용한 다양한 연구들이 있다[12][13]. 특히 특허정보를 분석한 연구로, 안세진, 김강배외[14]는 R&D 사업의 성과인 특허를 텍스트 마이닝 기법인 토픽모델링을 활용하여 분석함으로써 온실가스 감축에 대한 국가연구개발사업 과제의 정책적 목표가 특허 성과를 통해 실제로 구체화되었는지 파악하였다. 연구에 사용된 LDA (Latent Dirichlet Allocation, 잠재 디리클레 할당) 토픽모델링은 문서자료, 웹데이터, 이메일 등의 텍스트자료로부터 유의미한 정보를 추출하는 분석기법으로 대량의 문헌정보(빅데이터)를 토대로 자료가 내포한 주요 키워드와 주제를 도출함으로써 문헌을요약하고 핵심개념의 분포를 비교 분석할 수 있는 방법이다. 남대경 외[15]는 특허분석과 토픽모델을활용하여 1980년대부터 2015년대까지의 차량용 반도체 기술 추세를 분석하였다. Chen et al.[16] 은 LDA 모형을 기반으로 한 토픽기반 기술 예측방법론을 제안하고, 미국 특허청에서 오스트레일리아가 소유한 1만3천여 개의 특허를 수집하여 분 석하였다. 이러한 연구들은 데이터마이닝에 대한 고도의 기술과 전문성을 토대로 하는 분석기법들을 사용하였다.

4차산업혁명시대의 R&D 프로세스는 선행 특허의 기술정보를 적시에 분석하여 기술개발 방향 및 전략수립에 활용하는 구조로 변화해 가고 있다. 이러한 변화에 따라 전문 기술과 데이터처리에 많은 시간이 소요되는 기존의 분석 방법 대신, 인공지능 기술을 활용해 시장 및 기술의 변화에 빠르게 대응할 수 있는 R&D 프로세스 디지털화의 필요성이 대두되고 있다. 본 연구에서는 선행연구들에서 주로 사용된 토픽모델링 기법과는 다른 인공지능 NLP 기술을 이용해 특허라는 빅데이터를 분석하여 시장 및 기술의 변화에 빠르게 대응할 수 있는 체계를 구축하는 방법론을 제시한다. 인공지능 NLP 기술로 특허문서의 핵심 키워드를 추출하고, 추출된 키워드를 이용하여 고객과 시장의 니즈 및 기술의 동향을 손쉽게 분석한다. 키워드를 통해 핵심 기술요소와 연구 개발에 있어서의 문제점을 사전에 도출하여 데이터 기반 디지털 R&D 전략을 수립할 수 있도록 한다.

3. 실증분석

3.1 데이터 수집 및 처리

본 연구의 분석 대상 데이터는 디스플레이 산업의 혁신 기술인 폴더블(fordable) 기술 관련 특허 문서이다. 데이터 수집은 공개된 특허데이터베이스 검색을 제공하는 인터넷사이트인 Google Patents 에서 조건 검색을 통하여 수집하였다. 특허 검색 조건으로는 기술대분류(패턴 공정), 제품(디스플레 이, 폴더블), 소재(유리)를 이용하여 한글로 검색하였다. 특허데이터베이스 검색 기간은 2020년 10월1일부터 2021년 5월 1일로 제한하여 최신 기술정보를 추출하고자 하였다. 본 검색 조건들을 이용하여 해당 기간에 등록된 특허 193 건의 결과를 얻었다. 이 중 False Positive 대상들을 매뉴얼하게 식별하여 1차 제거하고, 34건의 특허문서를 수집했으며, 동일인이 등록한 유사한 특허는 중복을 제거하는 정제과정을 거쳐 30건의 특허문서를 최종분석 대상으로 하였다. Fig. 1은 데이터 수집 절차를 나타낸다. 또한 연구 분석 결과를 제품별로 효과적으로 정리하기 위해 30건의 특허문서는 제목에 따라 주로 관련된 제품을 ‘모듈부품1)’, ‘보호필름2)’, ‘패널3)’중 하나로 표시하여 정리하였다.

SOOOB6_2022_v25n5_817_f0001.png 이미지

Fig. 1 Data collection

1) 하단의 기판, 카메라, 충격 흡수용 탄성 패드와 같이 바닥면의 골격을 이루는 부품

2) 디스플레이 상단의 외부를 충격으로부터 보호하는 기능을 하는 필름

3) 기판 위에 빛을 내는 발광소자 및 보호층, 터치 기술 구현을 위한 센서층 등 여러 층으로 구성된 영역

3.2 분석 프로세스 및 방법

특허문서들은 표준특허 등록 양식의 목차를 따르며 작성되어 있는데, Fig. 2와 같이 목차 중에 ‘배경기술’과 ‘해결하려는 과제’의 내용을 기술 개발의 니즈 및 해결해야 하는 문제점을 분석하는 영역으로 선정하고, ‘과제의 해결 수단’을 개발된 기술과 재료 영역으로 선정하였다.

SOOOB6_2022_v25n5_817_f0002.png 이미지

Fig. 2 Table of contents of the standard patent registration form

분석 프로세스로는, Fig. 3에 나타낸 것과 같이 30건의 대상 특허문서들에서 배경기술과 해결하려는 과제의 텍스트만을 인공지능 NLP 분석기4)에 입력하여 각 문서별로 20개의 주요 키워드를 추출하였고, 연구와 관련되지 않은 키워드(예를 들어, ‘상기’, ‘발명’ 등)를 정제하여 [A. 니즈 및 문제점]으로 분석할249건의 키워드를 수집하였고, 과제의 해결 수단에 작성된 텍스트를 동일한 NLP 분석기에 입력하여 주요 키워드를 추출한 후 정제하여 [B. 개발 기술 및재료]로 분석할 207건의 키워드를 수집하였다.

SOOOB6_2022_v25n5_817_f0003.png 이미지

Fig. 3 Analysis process

4) Natural Language Processing을 위한 도구로, IBM Watson Natural Language Understanding 솔루션을 사용함

본 연구에서는 핵심 키워드 추출을 위해 인공지능 NLP 분석 툴로 IBM Watson Natural Language Understanding(Watson NLU)을 사용하였는데, 이분석 툴에는 딥러닝 알고리즘을 통해 대량의 비정형 텍스트 데이터로부터 의미를 파악해 키워드를 추출해 내는 Text Analytics 기능이 포함되어 있다 (Pandya et al.[17]). 대량의 문서에서 핵심 키워드를 추출하기 위해 기존의 NLP 분석에서 많이 사용되었던 기법은 word-frequency5) 와 TF-IDF6)와 같은 빈도수 기반 접근방식이 있다. 이 방법들은 간단하고 효과적인 분석기법이긴 하나, 동의어나 다른 단어와의 연관성을 고려하지 못하는 문제점이 있고, 불용어 등의 처리를 위한 데이터 전처리 작업이 수반된다. 전처리 작업을 위해서는 Python 등의 프로그래밍언어 사용 스킬과 데이터엔지니어링 경험 및 전문가 스킬이 필요하다는 점에서 데이터 분석의 비전문가가 사용하기에는 어려움이 있었다. Watson NLU는 입력받은 텍스트를 분석하여 키워드 간의 의미 관계를 인식하여 20개의 핵심 키워드를 자동으로 추출하고 관련성(Relevance) 점수를 같이 제시하는 방식으로 데이터 분석 비전문가도 용이하게 사용할 수 있어서 기술문서들의 빅데이터로부터 핵심 기술의 빠른 분석이 가능하다.

5) 단어의 빈도수를 기반으로 많이 출현한 키워드를 추출

6) TF(Term Frequency)-IDF(Inverse Document Frequency)는 문서에서 단어가 출현한 빈도수 TF와 특정 단어가 포함된 문서의 수에 대한 역문서빈도인 IDF를 이용해 텍스트 내의 후보 키워드에 대한 가중치와 중요도를 결정하는 방법

4. 연구결과

4.1 분석 결과

Table 1는 기술 개발의 니즈 및 해결해야 하는 문제점을 제품별로 구분하여 정리한 결과이다. 폴더블 디스플레이 기술 개발의 니즈로는 새로운 형태의 바디와 넓은 표시화면, 전면 카메라를 가진기기에 대한 요구가 있고, 그에 따라 베젤 면적이 감소된 제품의 개발 요구가 있음을 알 수 있다. 또한 터치 펜, 터치 패널, 터치 스크린과 같은 터치센서를 보유한 디스플레이에 대한 니즈와 차량 전장용 제품에 대한 개발 요구가 있음을 확인할 수 있다. 이 기술개발의 고려사항으로는 보호필름 외관의 불량이나 손상이 발생하지 않도록 굴곡성과 내충격성, 내마모성을 갖춘 유연하고, 높은 표면 경도의 고분자 필름의 개발이 필요하고, 패널과 모듈부품에서는 굴곡부의 주름 현상과 시인성 저하 문제를 해결하면서도, 폴딩 영역의 심미감을 유지할 수 있는 기술개발이 필요하다는 것을 알 수 있 다. 패널은 박형화, 경량화, 소형화되면서도 내구성과 동작 신뢰성을 갖추고, 터치를 잘 감지하는 재료 개발이 필요하고, 미세 유리 필름에 대한 비산 방지 기술과 수분 침투를 방지하는 기술개발이 필 요하다. 패널의 유리 윈도우의 경우 손상과 패임 등이 해결해야 할 문제점들임을 확인할 수 있다.

Table 1. Needs and problems

SOOOB6_2022_v25n5_817_t0001.png 이미지

Table 2은 개발 기술 및 재료로 추출된 키워드들을 정리하였다. Table 1에서 확인된 니즈를 만족하면서 기술 개발시 고려할 문제점들을 해결하기 위한 기술로서, 모듈부품은 투명부재를 사용하여 새로운 형태의 바디 개발을 위해 다관절 구조, 회전구조 기술이 개발되고 있음을 확인할 수 있 고, 보호필름은 필름의 손상 문제점을 해결하기 위해 내 스크래치성을 높인 나노패턴, 복합 패턴 등의 기술개발이 진행되고 있고, 그 재료로는 광 학필름, 플라스틱 필름 등이 사용되고 있음을 알수 있다. 패널에서는 표시패널의 폴딩 각도, 굴곡축에 대한 기술과 광판 일체형 터치 감지 기술이 개발되고 있고, 광학용 투명 레진, 반투명 무기 산란제, 투명 액상 고분자 입자 등이 그 재료로 연구되고 있음을 확인할 수 있다. 패널의 터치 감지와 유리 윈도우의 손상에 대한 문제점들을 해결하는 방안으로는 하드코팅 필름, 위상차 필름 등고온 고습 환경에 강한 고분자 재료들을 활용한 기술개발이 수행되고 있음을 확인할 수 있다.

Table 2. Development technology and materials

SOOOB6_2022_v25n5_817_t0002.png 이미지

4.2 연구 결과 타당성 검증

본 연구 방법론을 통해 추출한 기술 키워드가 R&D 계획수립에 유효하게 활용될 수 있는지를 검증하기 위해 5명의 디스플레이 산업 전문가의 검토 과정을 통해 유효한 키워드를 선정하고 제품별로 추출된 키워드 대비 유효한 키워드의 비율을 산정했다. Table 3은 ‘A. 니즈 및 문제점’으로 추출된 키워드 249 건을 제품별로 키워드 총계 대비 유효 키워드 수의 비율을 산정해 유효율을 계산한 결과로, 249개 중에 58%에 해당하는 145개의 키워드가 R&D 계획수립에 유효한 기술을 나타내는 키워드라는 결과를 얻었다.

Table 3. Keyword effectiveness derived from needs and problems

7) 유효율 = (유효 키워드 수)/(키워드 총계)*100

Table 4는 ‘B. 개발 기술 및 재료’에 해당하는 키워드 207 건에 대해 유효율을 계산한 결과로, 207개 중에 45%에 해당하는 93개의 키워드가 R&D 계획수립에 유효한 기술을 나타내는 키워드라는 결과를 얻었다. 특히 보호필름의 경우 추출된 키워드 중 유효 키워드 비율이 94%로 상당히 높게 나타났다.

Table 4. Keyword effectiveness derived from developed technology and materials

SOOOB6_2022_v25n5_817_t0004.png 이미지

5. 결론

본 연구에서는 특허정보 분석을 통해 R&D 프로세스의 계획수립과 기술 정의 단계에서 기술개발에 대한 전략을 빠르게 수립할 수 있는 방안을 제시하였다. 선행연구와 달리 텍스트마이닝과 같은 데이터 분석에 전문 지식과 기술이 없더라도 대량의 비정형데이터를 인공지능 기술을 활용해 쉽고 빠르게 분석하는 방법론을 제시하여 R&D 프로세스의 디지털화에 기여한다는 점에서 의의가있다고 볼 수 있다.

기술 개발에 참조할 수 있는 정보를 쉽게 얻기 어려운 디스플레이 산업에서 공개된 기술 빅데이터를 이용해 현행 기술 자체에 대한 트렌드와 기술에 대한 니즈 뿐만 아니라 새로운 고객의 니즈를 발견할 수 있었고, 폴더블 디스플레이를 개발하기 위해서는 굴곡부의 주름 현상을 해결하면서도 폴딩 영역의 심미감을 유지할 수 있는 구조와 패턴, 재료에 대한 기술개발이 필요함을 손쉽게 파악할 수 있었다. 또한 이러한 문제점들을 해결할 수 있는 핵심 기술 및 재료들에 대한 상세 정보도 분석이 가능하여 기술개발 전략 수립의 속도를 높이는데 효과적으로 활용될 수 있을 것으로 생각된다. 이 연구 방법론은 특허정보 분석 뿐 아니라 텍스트 형태의 다양한 빅데이터 소스로부터 인사이트를 추출하는데 다양하게 활용할 수 있어서 인공지능 기술을 통해 여타 기술개발을 앞당기는데 활용할 수 있을 것으로 기대된다.

본 연구에서는 정보분석의 대상을 최신 특허로 한정하여 진행하였으나, 최근 기업들은 개발한 기술을특허로 등록하는 동시에 논문이나 기술보고서를 통해 개발한 기술을 일반에 공개하기도 하므로 후속 연구에서는 특허 뿐 아니라 기술 문서들을 동일한 방법론을 통해 분석하여 보다 심도 있는 기술정보를 확보하고 정보의 다양성도 확충할 수 있을 것이다. 또한 R&D 프로세스의 계획수립 및 정의 단계 뿐 아니라 연구개발 전체 단계에서 인공지능 및 빅데이터 분석을 활용하는 데이터기반 디지털 R&D 프로세스 구축방안에 대한 추가 연구가 필요할 것이다.

Appendix 1. IBM Watson NLU vs AWS Comprehend

동일 특허문서 8)에 대해 유사한 기능을 하는 NLP 분석 툴인 IBM Watson NLU와 AWS Comprehend를 이용해 20개의 키워드를 추출했을 때 각 키워드별 유효성 여부를 나타내었다. 전문가 검토결과 IBM Watson NLU 가 키워드 유효율이 더 높아서 본 논문의 분석툴로 활용하였다.

8) 복합패턴이 구현된 플렉시블 커버 윈도우의 제조방법, 등록번호 10-2181655

참고문헌

  1. 구원모, 김선우, "중소기업 기술혁신의 결정요인에 따른 정부 R&D 지원의 체계화에 관한 연구", 중소기업연구, 제40권 제2호, pp. 1-20, (2018).
  2. 신경식, 오민정, 김원기, 박소현, "R&D 프로세스 성숙도가 제품개발 성과에 미치는 영향: R&D 프로젝트 성과의 매개효과를 중심으로", 정보처리학회, 제7권 제7호, pp. 165-174, (2018).
  3. Cooper, R. G. and S. J. Edgett, "Stage-Gate and the Critical Success Factors for New Product Development", BPTrends , Vol. 7, pp. 1-6, (2006).
  4. Cooper, Robert G., "Managing Technology Development Projects", IEEE Engineering Management Review, Vol. 35, No. 1, pp. 67-76, (2007). https://doi.org/10.1109/EMR.2007.329141
  5. Parmentier, G. and V. Mangematin, "Orchestrating innovation with user communities in the creative industries", Technological Forecasting & Social Change, Vol. 83, pp. 40-53, (2014). https://doi.org/10.1016/j.techfore.2013.03.007
  6. Cooper, R.G., "Perspective: The Stage-Gate Idea-to-Launch Process-Update, What's New, and NexGen Systems", Journal of Product Innovation Management, Vol. 25, No. 3, pp. 213-232, (2008). https://doi.org/10.1111/j.1540-5885.2008.00296.x
  7. Barlow, J.B., J.S. Giboney, M.J. Keith, D.W. Wilson, R.M. Schuetzler, P.B. Lowry, A. Vance, "Overview and guidance on agile development in large organizations", Communications of the Association for Information Systems(CAIS), Vol. 29, No. 2, pp. 25-4, (2011).
  8. Conforto, E. C. and D. C. Amara, "Agile Project Management and Stage-Gate Model - A Hybrid Framework for Technology-Based Companies", Journal of Engineering and Technology Management, Vol. 40, pp. 1-14, (2017). https://doi.org/10.1016/j.jengtecman.2016.02.003
  9. 백창화, 최재호, 임성욱, "4차산업혁명시대의 R&D 프로세스 고찰과 제안", 품질경영학회지, 제45권 제4호, pp. 697-708, (2017). https://doi.org/10.7469/JKSQM.2017.45.4.697
  10. Andy Gibbs, "기술혁신에 있어서 특허의 전략적 활용방법", Patent21, 제 71권, pp. 6-11, (2007).
  11. Kim, Gabjo and Jinwoo Bae, "A Novel Approach to Forecast Promising Technology through Patent Analysis", Technological Forecasting & Social Change, Vol. 117, pp. 228-237, (2017). https://doi.org/10.1016/j.techfore.2016.11.023
  12. 오종학, 나관식, "특허지표를 이용한 우리나라 정보보안기술의 R&D 특성분석", 한국산업재산권법학회 논집, 제62호, pp. 251-281, (2020).
  13. 이방래, 김한준, "특허 데이터 마이닝 기반의 국가 연구개발 정책 수립 방안", 서울시립대학교 대학원 전자전기컴퓨터공학과, 박사학위논문, (2016).
  14. 안세진, 김강배, 이종석, 염성찬, "토픽 모델링을 활용한 기후기술 감축 R&D 사업의 특허개발 내용 분석", 한국지식재산연구원, 제15권 제3호, pp. 293-332, (2020).
  15. 남대경, 최경현, "토픽모델 및 특허분석을 통한 차량용 반도체 기술 추세 분석", 기술혁신학회지, 제21권 제3호, pp. 1155-1178, (2018).
  16. Chen, Hongshu, Guangquan Zhang, Donghua Zhu, and Jie Lu, "Topic-Based Technological Forecasting Based on Patent Data: A Case Study of Australian Patents from 2000 to 2014", Technological Forecasting & Social Change, Vol. 119, pp. 39-52, (2017). https://doi.org/10.1016/j.techfore.2017.03.009
  17. Pandya, M. R., J. Reyes and B. Vanderheyden, "Method for Customizable Automated Tagging: Addressing the Problem of Over-Tagging and Under-Tagging Text Documents", IEEE International Conference on Big Data, (2020).