I. 서론
1. 기술력 평가모형 현황
4차 산업혁명의 시대 흐름에서 기업이 혁신성장을 달성하기 위해서는 지속적인 연구개발 투자를 통한 기술혁신 성과와 사업화를 통한 시장확산이 필요하다. 이러한 R&D와 사업화를 아우르는 全주기적 기술 사업화를 통해 기업의 이윤 및 일자리 창출을 도모하고 비로소 국가 경제의 선순환 생태계가 구축되는 것으로 이해된다.
기술사업화 프로세스는 기술이전, 현물출자, 기술금융(투자/융자, 보증/담보) 등 여러 형태로 진행되며, 여기서 기술의 경제적 효용이나 가치, 상대적 경쟁력 또는 수준 등을 공정하게 평가할 수 있는 기술평가의 역할은 중요하다고 할 수 있다[1]. 특히 창업기업이나 중소기업에 대한 기술금융 지원 활성화 정책이 확산되고있으므로, 기술평가의 활용도는 앞으로 더욱 높아질 것으로 전망된다.
이에 발맞추어 한국의 기술평가는 한국산업기술진흥원(KIAT)의『기술평가 인프라 구축사업(2006년)』을 기점으로 기술평가의 전문성과 신뢰성을 확보하고 체계적인 기술평가 생태계를 구축하기 위한 기술평가 실무지침이 수립되고 기술력 평가모형의 전신인 STBR 모형과 투자용 평가모형 등이 연이어 보급·확대되어, 2021년 기술평가 실무가이드의 한 축으로 고도화되어왔다.
기술평가는 크게 기술력평가와 기술가치평가로 구분되는데, 기술가치평가가 사업화 대상 기술을 통해 창출되는 경제적 수익을 현재가치로 표현하는데 반해 기술력 평가는 사업화 주체의 인력·조직·지원 서비스·보유기술의 기술수준 등을 기술 및 사업 역량 관점에서 기술개발, 흡수 및 혁신능력을 평가하는 것을 의미하며 등급, 점수 등 다양한 형태의 평가결과가 도출되는 것이 특징이다.
그간 기술력평가는 기술보증기금(KIBO)을 중심으로 보증용 평가 목적으로 활용되다가, 기술금융을 지원하는 전문기관 등으로 확대 및 발전되어 왔다. KIBO에서는 33개 소항목으로 구성되는 KTRS 기술평가체계를 통해 기술력평가(또는 기술등급평가)를 사업화 주체 및 보유 기술을 기술성, 시장성, 사업성, 기업경영역량 관점에서 평가하고 등급화하는 모형으로 정의한다.
한국산업기술진흥원(KIAT)의 경우, STBR 모형이라 불리는 기술력등급 평가체계를 2011년 구축하였으며, 보유 기술의 기술성, 시장성, 사업성, 기술경영 및 연구개발능력을 종합적으로 평가하여 등급화하였다. 2014년 이전까지의 기술력평가 지원사업에는 KIBO의 보증용 평가지원사업, KIAT의 혁신형중소기업지원사업 등이 연구개발 지원용도로 한정되어 왔으나, 2014년 금융위원회의『기술금융 시장 활성화』기조에 맞춰 기술신용평가(TCB)제도를 시행하면서 적용 범위가 전면 확대되었다. 이는 즉, 기존의 보증 용도에 한정된 기술력 등급 평가의 활용범위가 TCB 전문기관의 금융지원 참조용으로 확대, 기술력등급 평가에 대한 수요가 증대될 것임을 의미하는 대목이다.
이에 발맞추어 주요 전문평가기관은 각 기관의 특성에 적합한 신규 기술력등급 평가모형의 개발하기에 이르렀는데, 그 중 해양수산과학기술진흥원(KIMST)은 해양수산 분야 기술력평가 수행을 위하여 2014년과 2017년 두 차례에 걸쳐 해양수산 기술평가체계를 마련하기 위한 관련 인프라구축 사업을 수행해 왔으며, 초기의 KIMST 기술력평가모형은 STBR 모형과 KTRS 모형의 항목들을 반영하여 평가모형 초안을 구성한 바 있다. 이후 해양수산 분야의 관련 전문가 및 실무진 회의를 통해, 실사용 기술력평가모형에 대한 최종안을 도출하였다. 다수의 고도화 과정을 통해 해양수산 기술력 평가체계에 대한 보완 및 개선을 수행하였음에도 불구하고, 해양수산 기술력등급 평가모형은 해양수산업의 영세한 업종 특성 및 열악한 기술개발환경에 대한 적절한 반영 상에 있어서 여전히 제한사항이 존재함을 인식한다.
따라서 본 연구에서는 해양수산 9개 세부 업종별 산업의 다양성을 데이터 기반 가중치 산출 및 등급 계량화를 통해 반영하고, 사업주체인 기업특성을 개별적으로 반영할 수 있는 평가체계 마련과 함께, 기술 사업화 주체의 부실가능성을 측정하기 위한 평가 체계를 해양수산 기업데이터를 기반으로 적용하는 것에 연구의 주안점을 두었다.
2. 관련 선행연구
한국은 기술력이 우수한 중소기업이 국가 성장동력으로서의 역할을 수행할 수 있도록 『기술금융 지원 활성화』를 추진한 바 있으며, 2014년 KIBO 및 한국기업데이터(Korea Enterprise Data, KED), 나이스평가정보, 이크레더블을 기점으로 2017년 나이스 D&B 및 서울신용평가정보(SCI)를 기술신용평가기관으로 추가 지정, 기술평가 활성화를 장려 중에 있으며 평가목적 및 평가기관의 특성에 따라 다양한 평가모형이 도출되고 있는 추세이다.
그 중 기술력등급 평가모형에는 다양한 평가지표를 적용한 모형이 제시된 바 있는데, 김정흠(1999)은 기술등급평가를 계량모형을 이용하지 않고 전문가의 주관이 반영된 가치평가 방법으로 정의하고 평가항목별 점수를 부여하는 평점모형과 프로파일 모형, 점검표 모형 등을 소개하였다.
박종오(2000)는 개별기술을 등급평가 방식으로 설명하고자 평점법, 비교평가법, 심사법, 델파이법 등을 제시하였으며, 기술의 권리적·경제적·환경적 측면에서 평점 평가를 수행하고 등급산출하도록 제시하였다.
황순환(2004)은 기술 기반 중소기업을 대상으로 하는 신용평가모형의 발전방안을 제시하였으며, 기술 전문평가기관을 통한 기술심사와 대출여신 프로세스가 독립된 경우와 금융기관에서 통합하여 진행하는 경우를 비교·분석하였다.
이준원·윤점열(2017)은 금융기관의 여신 심사용으로 사용되는 TCB 모형이 기업의 경영성과를 적절히 반영하고 있는지와 기술등급 체계가 타당한 지에 대해 분석하였고, 주요 기술신용평가기관 보유의 현행 TCB 모형이 기업의 기술개발능력을 중심으로 경영진 역량과 기술 경쟁력 항목을 추가 보완하여 기존 기술력 평가항목대비 신규 개선된 것으로 [표 1]에서와 같이 언급하였다.
표 1. 주요 기술신용평가기관의 기술력평가모형의 항목 구성
출처 : 이준원·윤점열(2017) 자료 기반 재구성
KIAT는 신뢰성 있는 기술평가체계를 갖추기 위해 주요 4대 기술평가기관(KIBO, 한국기술거래소, KISTI, 발명진흥회)이 공동 참여하여 기술평가 표준모형을 개발하였다. 동 모형은 상기 기관에 실무 적용 중에 있는 기존 평가항목에 부가하여 Inno-Biz 평가지표 및 기업평가시스템의 평가항목에 대한 종합적 검토결과를 반영하고, 500개 업체에 대한 실증분석을 통해 총 46개 평가항목을 적용한 기술평가 표준모형을 고도화 하였다.
표 2. KIAT STBR 모형의 46개 평가소항목 구성
출처 : 전우정(2018) 자료 기반 재구성
KIBO는 기술자산을 보유한 기업의 사업화 가능성을 기술성, 시장성, 사업성 및 기타 경영환경으로 구분하여 최종 평가결과를 등급화하는 KTRS 모형을 구축, 실무에 다수 적용 중에 있다. KTRS 계열 모형에는 업력에 따라 모든 기업에 적용되는 KTRS(업종별) 모형과 창업 이후 5년 이내 기업에 적용되는 KTRS-SM(창업기업용) 및 창업 후 5년을 초과하고 매출액이 10억원 이하인 기업을 대상으로 하는 KTRS-BM(소규모기업용)으로 다시 세분화하고 있으며, [표 3]에서와 같이 소항목별로 평가자가 A~E 중 등급 하나를 택할 수 있다. 또한 KIBO가 기업지원 및 기술창업 정책을 지원하기 위한 정책 목적용 모형에는 R&D 평가모형, 청년창업기업 평가모형, 문화콘텐츠 평가모형 등이 있으며, 업종·목적별로 구분하여 모형의 정교화를 통해 정책 집행의 효율성을 높이고자 하였다.
표 3. KIBO KTRS 모형의 평가항목(33개)
출처 : KIBO 홈페이지(2021) 참조
본 연구에서는 I장에서 국내 기술력평가모형 현황에 대해 살펴보고, II장에서 해양수산 기술력등급 평가모형 개발에 있어서 평가지표 개발 방법 및 데이터 기반의 가중치 산출방식에 대해 알아본다. III장에서는 해양수산 분야 기술력평가에 활용 가능한 평가모형의 세부업종별 데이터 기반 등급산출 방식 및 결과에 대해 살펴보고, 동 분야 평가기술에 대한 시범적용 결과를 검증한다. 마지막으로 IV장에서 본 연구을 통한 결론 및 시사점 및 향후 연구방향을 언급한다.
Ⅱ. 연구내용
1. 해양수산 기술력평가모형 평가지표
본 연구내용에는 한국기업데이터(KED)의 ‘10년~’18 년 기업(업종) 재무정보와 해양수산과학기술진흥원 (KIMST)의 최근 5년간 기술력 평가사례 (34건) 등의 데이터를 기반으로 평가항목별 기준척도(%ile 위치) 및 가중치, 평가등급 산출에 적용하였다.
기존의 해양수산 기술력등급 평가사례에 대한 분석 결과, 해양수산 기술력평가 모형은 기술 경영 및 연구개발 능력, 기술성, 시장성, 사업성 4개 대항목 내 10개 중 항목, 그리고 26개 세부항목으로 구성되어 있다. 해당 세부항목은 2014년, 2017년 두 차례에 걸쳐 고도화가 수행된 바 있으나, 여전히 평가자의 기술에 대한 객관적 판단에 대한 기준을 제공하지 못하는 변수인 개발인력의 전문성, 기술경영 경험수준 등의 평가항목이 다수 존재한다. 따라서 본 연구에서는 정량적 기준이 제시 가능한 평가항목으로의 변경 적용을 통해 평가표 내 세부항목에 대한 기준점을 제시하며, 평가자의 평가 결과에 대한 적정성 및 기술 간 등급체계 산출에 대한 안정성을 부여하고 모형의 신뢰성을 제고하고자 하였다.
또한 기존의 해양수산 기술력등급 평가모형의 세부항목별 가중치는 각 업종에 대한 대항목 별로 항목별 중요도에 대한 AHP 분석을 수행하고 [14], 이를 기반으로 가중치를 각기 산출하여 최종 곱하는 형태로 산출되고 있다. 이러한 분석 형태는 몇 가지 한계점을 내포하고 있다.
첫째, AHP 분석 자체에 대한 신뢰성이 높지 않다는 것이다. AHP 분석은 평가항목 및 설문조사자 Pool이 고루 잘 분포되어 있어야 하며, 이에 대한 기준이 명확하지 않아 분석 결과에 대한 신뢰성이 다소 저하될 수 있다.
둘째, AHP 분석을 통한 가중치 산출은 장기적으로 모형에 대한 Update를 지속적으로 수행할 필요가 있는 사례의 경우, 매번 설문조사를 수행해야하는 번거로움이 있다. 이를 종합적으로 고려할 때, 기존의 AHP 기반 가중치 산출 방식 이외에 정량적 데이터를 기반으로 객관적인 업종·평가항목 별 가중치를 산출할 수 있는 방안을 검토할 필요가 있다.
셋째, 현재 모형에 반영된 해양수산업종에 대한 기준을 변경할 필요가 있다. 해양수산 업종분류는 기존 해양 의존형 및 해양 지원형 기준의 유형 구분에서 해양 부문 및 수산부문, 공통부문의 세부 유형으로 분포가 변경되는 등『해양수산 특수산업분류체계로의 개편(기존 10종→신규 9종)』에 따라, 최신 산업동향을 반영하여 본 연구모형에 변경·적용할 필요가 있다.
마지막으로 기술력평가 모형의 T1∼T10 등급 기준산출에 대한 재고가 필요하다. 현재 각 업종별 등급 기준은 대부분 최고 등급과 최저 등급 간 차이가 매우 미미하게 존재하는 등, 100점 만점의 평가점수 대비 등급의 기준점수 분포가 매우 조밀하게 형성되어 있다. 즉, T1등급을 받은 기술과 T10등급을 받은 기술의 급간차(변동폭)가 적게 분포할 수 있다. 이는 평가결과에 대한 신뢰성을 크게 저해할 수 있으며, 대부분의 기술들에 대한 평가등급이 과대평가 되어 본 평가결과에 대한 활용성이 극히 낮아질 수 있으므로, 등급기준 산출 시급 간 차(변동폭)을 넓히는 방안에 대해 종합적으로 재검토할 필요가 있다.
따라서, 본 연구에서는 평가항목들에 대한 정량화를 통해 평가자의 점수 부여에 대한 기준을 제공하고, 결과에 대한 일관성 및 신뢰성을 제고하고자, 해양 수산업 기업 재무 정보 등 데이터 기준의 평가항목 및 가중치 정량화를 반영하였다.
우선 [표 4]와 같이, 세부항목 기준 26개의 기존 기술력 평가항목에서 일부 명칭은 『대체기술 많음』, 『경쟁자 영향 높음』 등 부정적 의미를 내포하고 있어, 평가자가 이를 명확히 구분하지 않을 경우 평가 점수가 잘못 기입될 소지가 있으므로 이에 대한 명칭을 변경‧적용하였다.
표 4. KIMST 기술력평가모형의 평가항목 변경
본 연구에서는 [표 5]의 정량·정성 표기에서와 같이, 26개 세부항목별로 해양수산업 기업데이터를 기반으로 정량화가 가능한 항목을 최대화하고 이에 대한 점수부여 척도를 제시함으로써, 최종 평가항목 개선안을 도출하였다.
표 5. 신규 개선된 평가항목 속성 및 척도
다음 [표 6]에서는 해양수산 특수 산업분류(9개) 별로기술경영경험수준(정량) 기준척도에 대한 산출 결과를 나타낸 것이다. 기술경영경험수준에 대해 정량화된 평가항목으로는 경영자의 동종업계 근무경력연수가 활용될 수 있고, 해당 항목은 일반적인 재무정보에 포함되지 않으므로 정량적 정보를 확보하기 쉽지 않은 항목이다. 기존 모형에서는 KED에서 기업별 대표자 근무경력연수를 확보하고 이를 분석에 활용하였으나 대부분의 기업이 해당 정보를 보유하고 있지 않아 신뢰성에 대한한계가 존재하였다.
따라서, 본 연구에서는 기존 모형과 동일한 방식으로 대표기업 30개를 KED 데이터로부터 임의 추출하되, 대표자 근무경력연수에 대한 정보를 포함하고 있는 기업만을 추출 대상으로 선정하여 항목에 대한 평가척도로 활용하였고, 이를 기반으로 특정 업종에 속하는 경영자의 근무경력을 %ile별로 정량화하였으며, 유사한 방식으로 26개 정량평가항목에 대해 항목별로 %ile 기준치를 도출하였다.
표 6. 해양수산 업종별 기술경영경험수준
다음으로 시장성 평가항목에 해당하는 경기 안정성(정성)의 기준척도에 대한 산출결과는 [표 7]과 같다. 기존평가항목에서 ‘경기변동’ 명칭으로 활용되었으나, 전문가 평가를 통해 항목의 명칭을 보다 긍정적 의미인 ‘경기 안정성’으로 변경하여 평가자의 혼란을 최소화하고자 하였다. 일반적으로 해당 산업이 경기변동에 민감할수록 사업화 위험이 높아질 수 있으므로 산업이 경기에 대해 어느 정도의 안정성을 가지는지를 해당 항목을 통해 평가에 반영하고자 하였다. 평가 척도로는 변동성을 산출하는 가장 일반적인 방법이며 기존의 해양수산기술력 등급 평가모형에서도 적용한 바 있는 당기 매출액 규모를 전기매출액 규모로 나눈 값 후 자연로그를 적용한 결과의 표준편차를 동일 적용하였다[13]. 당기매출액규모
\(\text { 매개변수 }(X)=\ln \frac{\text { 당기 매출액 규모 }}{\text { 전기 매출액규모 }}\) (1)
\(\text { 변동성 }=\operatorname{stdev}(X)\) (2)
도출된 업종별 표준편차를 Min-Max를 활용하여 정규화한 후 [15], 세부항목 평가점수와 동일한 5점 척도부여점수로 변경한 후 최종 평가 척도로 활용하였다.
표 7. 해양수산 업종별 경기안정성 기준척도
주) 부여점수는 5점 척도 기준임.
사업성 항목에 해당하는 원가 우위성(정량)의 경우, 기준척도에 대한 산출결과는 [표 8]과 같다. 동 항목은 기술에 대한 사업화 추진 시 원가절감을 통한 추가적 수익 창출이 가능함을 의미하며, 가격경쟁력의 원천이 될 수 있는 주요 항목으로 평가모형에 적용되었다. 정량적 평가척도로는 매출액 대비 매출원가를 토대로 산출하였으며 본 항목은 업종별 기업의 매출원가율이 0 초과인 경우로 한정하였다.
표 8. 해양수산 업종별 원가우위성 기준척도
본 연구에서는 앞서 언급된 ‘기술경영 및 연구개발능력’의 세부항목들(기술경영 경험수준, 기술개발 전담조직 등)이 모두 정량적으로 평가될 수 있는 점을 고려하여, 전체 26개 평가항목에 대해 정량 또는 정성 평가를 할 수 있는 기준척도를 마련하였으며, 이에 따라 평가기술에 대한 업종 및 상대적인 위치(기준척도)가 결정되면 점수가 자동적으로 부여되는 데이터 기반 평가항목체계를 적용하였다.
2. 세부항목별 가중치 산출
기존 해양수산 기술력등급평가모형이 가지고 있는가 장 큰 문제점은 등급구간별 점수 차가 매우 미미해, 등급평가 결과에 대한 신뢰성이 저하될 수 있으며 평가자별 배점기준에 따라 결과의 차이가 지나치게 많이 도출될 수 있다는 점이다. 또한 2018년 이후 기본모형을 활용한 평가사례의 5건 중 4건이 T1등급을 부여받는 등 평가결과에 대한 신뢰성이 다소 부족한 것으로 분석되었다.
상기 기술한 기존 모형의 문제점은 평가점수의 총합이 지나치게 적은 수치로 도출된 것에 기인한 것으로 판단된다. 그 중 세부항목별 도출된 가중치는 전체 26 개 세부항목에 대한 가중치의 합이 1로 도출되도록 구성하여, 평가자가 특정 세부항목에 대해 5점을 부여하더라도 가중치가 적용된 최종 평가점수는 약 0.15점(가중치 산출을 1/26=0.15로 가정하였을 경우)밖에 반영되지 않고 있다. 즉, 모든 항목에서 5점을 부여받아도 총점은 4점을 초과하기 어려운 구조로 모형이 구축되어, 실제 등급 간 점수차 또한 0.1을 초과하지 못하고 있다.
본 연구에서는 기존 모형의 이러한 문제점을 해결하기 위해 가중치에 대한 반영을 세부항목 기준이 아닌, 대항목 기준으로 변경하여 모형에 적용하였으며, 기존 AHP 방식의 가중치 산출 방식을 본 연구에서 적용한 실제 데이터 기반의 기준척도를 활용하여 산출하는 것으로 변경하였다. 이와 같은 변경내역은 가중치의 합이 1이 되어야 하는 모형의 구성 상, 세부항목 기준 가중치 산출은 어떠한 가중치 산출 방식으로도 최종 등급 결과에 대한 각 항목의 실제적 반영에 한계가 있다는 점, 두 번째로 기존 AHP 방식을 통한 가중치 배분은 설문평가자 선정에 대한 대표성 등 신뢰성 확보를 위해 보다 신중한 접근을 기해야 하는 방식으로 효율성에서의 한계가 존재한다는 점, 그리고 정성평가요소가 여전히 존재하는 세부항목을 통해 AHP 기반 가중치 산출을 수행할 경우 신규 업데이트 시 가중치에 대한 변경이 지나치게 많이 발생할 수도 있다는 점에 기인하였다.
따라서, 앞서 도출된 업종별 기준척도를 활용하여 대항목별 가중치를 산출하기 위해, 각 업종별 세부항목에 대한 기준척도 평균값을 추출하고 정성평가항목의 경우 1-5점의 항목점수 중 평균값인 3을 적용하였다. 여기에 기술경영 경험수준 및 매출성장성의 단위가 각각 년(year)과 퍼센트(%)인 것처럼, 평가항목별 단위가 달라서 가중치 산출결과 시 심각한 오류를 초래할 수 있으므로 흔히 활용되는 Z-Score(정규화)를 적용한다. 산식 3과 같은 Z-Score를 활용하여 업종 내 세부항목 간 규모의 차이를 해소하였으므로, 각 업종 내 세부항목들은 모두 동일한 규모를 반영하고 있으며, 이에 대한 수치는 실제 데이터 기반의 평가결과에 대한 영향력을 반영한다.
\(X_{z}=\frac{X-m}{\sigma}\) (3)
업종 내 세부항목에 대한 특성을 가중치 산출에 반영하였으므로, 해당 세부항목이 9개의 업종 간 어떠한 특성이 있는지를 고려하기 위해 Min-Max Normalization을 추가적으로 수행하여 각 업종별 세부항목의 특성을 가중치 산출에 반영하고자 하였다.
\(X_{\min \max }=\frac{x-\min (x)}{\max (x)-\min (x)}\) (4)
상기의 프로세스를 통해 도출된 해양수산 업종별 대항목 기준 최종 가중치는 [표 9]와 같으며, 이를 위한 가중치 산출 프로세스로는 (1) 먼저 업종별 정규화 값 합계를 도출하고 (2) 업종별 대항목에 대한 정규화 값 합계를 합산한 후, (3) 대항목 정규화값 합계를 (1)의 값으로 나누어 업종별 대항목 기준 가중치를 산출한다.
표 9. 최종 산출된 해양수산 업종별 대항목 기준 가중치
예를 들어, [표 6]부터 [표 8]을 포함하는 26개 평가항목별 기준척도에 대해, 『해양자원 개발 및 건설업』을 고려할 경우, 동 업종에 대한 기준척도 평균의 정규화 총합은 12.81로 도출된다. 그 중 대항목 ’1. 기술경영 및 연구개발능력‘에 해당하는 정규화 총합은 3.68이며, 대항목 ’2. 기술성‘에 해당하는 정규화 총합은 2.28, 대항목 ’3. 시장성‘에 해당하는 정규화 총합은 3.47, 대항목 ’4. 사업성‘에 해당하는 정규화 총합은 3.38로 도출된다. 각 대항목별로 도출된 정규화 총합을 『해양자원개발 및 건설업』 업종 정규화 총합인 12.81로 나누면, 대항목 ’1. 기술경영 및 연구개발능력‘은 0.2874이며, 대항목 ’2. 기술성‘은 0.1781, 대항목 ’3. 시장성‘은 0.2710, 대항목 ’4. 사업성‘은 0.2635가 각각 도출된다.
Ⅲ. 연구결과
1. 기술력 평가모형의 업종별 등급산출
기존 해양수산 기술력등급평가는 업종별 등급 기준간 점수차가 너무 적어, 평가결과에 대한 신뢰성이 다소 부족하다는 한계점이 존재하였다. 이에 대한 해결방안 중 하나로 앞선 데이터 기반의 대항목 기준 가중치 산출을 제안하였다.
본 연구에서는 기존 등급기준 산출 방식인 몬테카를로 시뮬레이션 [16]을 동일하게 적용하되 [13], 기존 세부항목 범위 내(1∼5) 시뮬레이션을 대항목 범위(7∼ 35, 대항목 1기준) 내 시뮬레이션(10, 000회)으로 변경하여 발생 가능한 사례를 보다 넓게 추정하고자 하였다. 이는 수행된 바 있는 대항목별 가중치 산출과 궤를 같이 하는 방식으로, 모형 내 산출의 통일성 제고 및 등급 기준 간 점수 차 확대를 위해 충분히 고려할 필요가 있다. 이후 대항목별 몬테카를로 시뮬레이션 결과를 토대로 업종별 %ile을 산출하고, 해당 값에 대항목별 산출된 가중치를 반영한 후 %ile별로 합하여 최종 등급 기준을 산출하였다.
대표 사례로서, 『해양자원개발 및 건설업』은 총 4개 의대 항목으로 구성되어 있으며, ‘1. 기술경영 및 연구개발능력’이 7개의 세부항목, ‘2. 기술성’이 4개, ‘3. 시장성’ 이 8개, ‘4. 사업성’이 7개의 세부항목을 가지고 있다. 따라서 각 대항목별 획득 가능한 평가점수의 분포는 각각 7∼35, 4∼20, 8∼40, 7∼35점이며, 본 연구에서는 해당 대항목 기준 점수분포를 토대로 몬테카를로 시뮬레이션을 10, 000회 수행하였다. 또한 추후 해당 업종에 포함되는 기업 및 기술이 추가적으로 발생할 것을 고려하여 정규분포를 가정하고 추정하여, 모집단의 특성을 등급 기준에 반영하고자 하였으며, 이를 바탕으로 수행된 몬테카를로 시뮬레이션의 결과 및 추정된 점수분포 및 대항목 %ile은 [그림 1] 및 [표 10]과 같다.
그림 1. 해양자원개발 및 건설업(1업종) 몬테카를로 시뮬레이션 결과
표 10. 해양자원개발 및 건설업 대항목 %ile 추정 결과
[표 10]으로부터의 대항목 기준 추출된 %ile을 각 세부항목의 수로 나눈 값은 [표 11]과 같으며, 해당 점수에 대항목 기준 가중치를 곱하여 등급구간 내 업종 및 대항목의 특성을 반영한다.
표 11. 해양자원개발 및 건설업 세부항목(평균)의 %ile 추정 결과
마지막으로 10%ile 이하부터 90%ile내 10%ile을 등급 구간의 기준으로 하여, 가중치가 반영된 대항목 점수를 각 %ile 별로 합하여 도출된 신규 등급기준은 [표 12]과 같다.
표 12. 해양자원개발 및 건설업(1업종) 기술력평가모형 평가결과 등급구간
[표 12]으로부터 최종 등급기준 산출 결과를 분석해보면, 등급 간 점수 차가 대략 3∼5점 차이가 나는 등 기존 기술력평가 모형의 등급간 점수차가 적게 나던 한계점을 극복하여, 월등히 큰 점수 차가 나는 것을 확인할 수 있다. 평가 시 모든 세부항목에서 3점을 부여받으면 T6가 도출되는 등 실제 배점을 충분히 반영한 신뢰성 있는 결과가 도출되었음을 확인하였다. 또한, 기술력 평가 총점을 100점으로 환산하여 T1∼T10 등급을 정의하면서 과거 T4(70점) 이상 기준을 적격대상으로 일괄 적용하던 것을 신규 등급점수인 T4(64.63점)로 하향 조정함으로써, 해양수산 산업의 업종별 열악한 사업적 상황을 효과적으로 반영할 수 있는 것으로 분석된다.
실제로 각 등급에 대한 의사결정 방식은 기술력 평가의 목적에 따라 설정될 수 있으며, 제안 모형에서는 [표 13]에서 종합등급이 T4 이상(60%ile 이상)일 경우 투자 적격, T5 이하(60%ile 미만)는 투자 부적격으로 판단하도록 제시한다.
표 13. 해양수산 기술력평가모형의 종합등급 해석
2. 해양수산 분야 제안 모형의 시범사례 적용
과거 해양수산 분야의 기술력평가 사례인 ‘고등어를 이용한 건강기능식품 제조기술’에 대해, 신규 제안된 모형을 기반으로 시범 적용하였으며, 해당 기술의 평가항목별 평가결과는 [그림 2]와 같다.
그림 2. ‘고등어를 이용한 건강기능식품 제조기술’에 대한 신규제안모형의 시범적용 결과
동 시범평가는 기존 평가모형에서 T1 등급을 획득하였던 평가 기술(‘고등어를 이용한 건강기능식품 제조기술’)과 동일한 기술에 대한 평가를 적용한 것으로[13], 평가 당시의 기준년도인 ‘17년도 대비 상당 기간의 시일이 경과하였음을 감안하고, 당시의 평가점수 부여를 동일하게 적용한 현재 시점에서의 평가결과를 모형 간 비교하여 분석하였다.
데이터 기반 정량화가 적용된 신규 모형에 대한 평가 결과, 기존 T1(‘17년)으로 확인되었던 기술력등급 평가 결과가 T3(’21년)로 조정되었음을 확인하였다. 이는 해당 시범사례에 적용된 가중치 및 등급계량화 방식의 데이터 기반 고도화로 인해 파생된 결과로, 기존 모형 대비 등급부여 기준의 범위가 다소 확대된 것에 기인한 것으로 해석된다. 또한 대항목 기준 가중치의 적용을 통해 실제 평가대상기술 및 기업이 내포하고 있는 대항목별 특성을 보다 현실적으로 반영함으로써, 기존 모형에서의 등급결과와 다소 상이하지만, 차별화된 평가 결과가 도출된 것으로 분석된다.
Ⅳ. 결론 및 시사점
본 연구에서는 국내 기술력평가 모형과 제도에 관한 전반적인 현황 분석을 수행하면서, 기술력평가 모형에서 근본적으로 포함되어야 할 평가항목들을 신규 적용하였고, 평가항목들 간의 중복성 검토를 통하여 평가항목의 개수를 줄이고 평가항목 정량화가 가능하도록 하였다. 이러한 기술력평가모형 개선 방향을 토대로 전문가의 정성적 관점에 의해 설계된 기존 평가항목 31개를 데이터 기반 산출이 가능하도록 26개로 경량화하면서 평가수행의 시간과 비용의 소모를 줄이고자 하였다.
이에 부가하여 해양수산 분야의 기술력평가 등급산출 결과에 기업(업종) 및 기술에 대한 특성적 요인을 보다 원활히 반영하기 위해, 세분화된 업종별 데이터 기반 평가항목별 기준척도 및 대항목 기준 가중치 산출, 등급계량화를 적용하였으며 이에 대한 적합성을 검증하기 위해 시범적용을 추가 수행하였다. 이 때, 단일 업종의 획일화된 평가항목의 척도 기준값을 근거로 평가를 수행한 결과는 근본적으로 한계점을 지닐 것으로 판단하여, 기술력평가모형을 새롭게 구조화하면서 업종별 평가항목의 척도 기준값과 등급산출 기준을 달리 구성하도록 하였다.
등급계량화에 적용되는 획득가능점수에 대한 몬테카를로 시뮬레이션(Monte Carlo Simulation) 적용 시, 대항목 기준 가중치의 반영을 통해 평가항목 모집단 에대한 확률분포가 업종별로 서로 다르게 분석되었다. 이에 따라 9개 신규 업종분류체계별 기술력 평가등급의 산출 결과인 %ile이 각각 상이하게 나타나고 등급 기준 간 격차가 다소 크게 벌어져서 구간 간 구분이 명확해지는 것을 확인하였다.
또한, 본 연구에서는 기존에 활용되었던 해양수산 기술력 등급평가모형의 체계로부터, 해양 및 수산분야의 기술 및 기업(업종) 특수성을 반영하지 못함으로써 발생하는 한계점을 극복하고자 하였다. 특히, T4 이상(투자 적격)을 받기 위한 임계점수가 ‘17년 개선 모형에서 업종 특성을 반영하거나 업종별 등급 기준이 상이하였음에도 불구하고 70점대로 유지되었던 기존 방식은 시장규모 한계 및 사업주체의 투자유치 어려움 등 열악한 상황이 반영되지 못하여, 평가 결과에 대한 활용성에 명확한 제약이 존재하였다. 본 제안 모형의 신규 평가항목 개발내용과 등급산출 결과는 [표 13]과 같이 T4 이상을 받는 임계점수를 데이터 기반 등급계량화 적용을 통해 보다 현실화시킴으로써, 시장 및 사업상황을 적절히 반영한 것으로 보여지며 이러한 임계점수는 9 개 해양수산 특수 산업분류별로 신규 구축되었다는데 그 의미를 둘 수 있다.
본 연구에서는 가중치 산출시 활용되었던 AHP의 분석적 한계를 감안하여, 평가항목 간 기준값(평균)을 일원화하고 최대-최소 간 단위차이를 없애기 위한 Z-Score와 Min-Max 등 일반적인 정규화 방안을 적용한 데이터 기반의 가중치 산출을 수행하였고, 이 때 업종 및 평가항목별 상대적 특성을 가중치에 반영하였으며, 대항목 기준의 산출을 통해 평가점수의 산출 가능 범위를 확대하였다.
또한 신규 기준점수 산출 방안을 적용하여 평가등급의 기준점수 간 점수 차가 너무 적어 평가 결과에 대한 신뢰성이 저하된다는 문제를 해결하였다. 기존 모형에서 세부항목을 기준으로 몬테카를로 시뮬레이션을 수행, 1∼5의 범위 내 추정으로 인해 추정사례의 범위가 다소 적었던 문제를 해결하고자 대항목 기준 몬테카를로 시뮬레이션을 수행하여 추정사례의 범위를 대폭 확대하였다. 이는 앞서 적용된 대항목 기준의 가중치와의 통일 적용이 가능하여 매우 효과적으로 모형에 접목될 수 있다.
추후 해당 모형을 활용한 평가사례가 다수 누적될 경우, 평가자가 객관적으로 추출 가능한 정량적 데이터를 기반으로 최근 이목이 집중되고 있는 인공지능 알고리즘을 활용한 자동화 평가가 가능할 것으로 여겨진다. 심층신경망(Deep Neural Network: DNN) 등 인공신경망 기반의 알고리즘은 데이터가 보유하고 있는 비선형적 패턴을 모형에 적절히 반영하여 높은 예측력을 보여주고 있으며, 금융계 및 타 산업에 다수 활용되고 있다. 본 기술력평가에 해당 모형을 활용한다면 정량화된 객관적 데이터 기반의 신뢰성 있는 평가결과를 도출할 수 있으며, 평가 시 소요되는 시간 또한 획기적으로 단축되는 등 기관의 업무효율성 증대에 큰 기여를 할 수 있을 것으로 여겨진다.
References
- P. Yongtae and P. Gwangman, "A new method for technology valuation in monetary value: procedure and application," Technovation, Vol.24, No.5, pp.387-394, 2004. https://doi.org/10.1016/S0166-4972(02)00099-8
- 기술보증기금, 투자용 기술평가모형 개발, 2015.
- 김정흠, "기술가치평가의 개요," 한국기술혁신학회 학술대회논문집, 제1권, 제10호, 1999.
- 농업기술실용화재단, 농림수산식품업 기술력 등급평가 모델, 2011.
- 박순철, 양동우, "기술평가지표와 기술사업화 성패간의 관계에 관한 실증연구," 대한경영학회지, 제23권, 제1호, pp.41-63, 2010.
- 박종오, "개별기술 등급평가 모델과 평가 사례," 기술혁신학회지, Vol.3, No.1, pp.55-67, 2000.
- 이종혁, 기술평가제도의 활성화방안에 관한 연구, 서강대학교 경제대학원, 석사학위논문, 2005.
- 이준원, 윤점열, "기술력 평가모형의 기술금융 활용 적합성 연구," 기술혁신학회지, Vol.20, No.2, pp.292-312, 2017.
- 전우정, 중소기업가치평가에 관한 실증연구 - 기술가치평가 및 기술력평가 중심으로, 대전대학교, 박사학위논문, 2018.
- 한국지식재산연구원, 기술금융 활성화를 위한 기술신용평가시스템 발전방안, 2014(11).
- 황순환, 기술기반 기업신용평가 활성화를 통한 중소기업 지원확대, 기보저널, 2004.
- 해양수산과학기술진흥원, 해양수산 기술평가체계 구축, 2014.11.
- 안민호, 김광훈, 서주환, 김상국, "해양수산 산업의 특수성과 불확실성을 반영한 시뮬레이션 기반의 기술력평가 모형개발과 시범사례 연구," 한국기술혁신학회 추계학술대회논문집. 제2권, pp.289-393, 1999.
- C. Yu-Jing and C. Yuh-Wen, "Using AHP in patent valuation," Mathematical and Computer Modelling, Vol.46, No.7-8, pp.1054-1062, 2007. https://doi.org/10.1016/j.mcm.2007.03.009
- J. Sukirty, S. Sanyam, and W. Rajesh, "Dynamic selection of normalization techniques using data complexity measures," Expert System with Application, Vol.106, No.15, pp.252-262, 2018. https://doi.org/10.1016/j.eswa.2018.04.008
- I, Alfredo and Z, Fernando, "Monte Carlo Valuation of American Options through Computation of the Optimal Exercise Frontier," Journal of Financial and Quantitative Analysis, Vol.29, No.2, pp.253-275, 2004.