Development of Metrics to Measure Reusability Quality of AIaaS

Abstract

As it spreads to all industries of artificial intelligence technology, AIaaS equipped with artificial intelligence services is emerging. In particular, non-IT companies are suffering from the absence of software experts, difficulties in training big data models, and difficulties in collecting and analyzing various types of data. AIaaS makes it easier and more economical for users to build a system by providing various IT resources necessary for artificial intelligence software development as well as functions necessary for artificial intelligence software in the form of a service. Therefore, the supply and demand for such cloud-based AIaaS services will increase rapidly. However, the quality of services provided by AIaaS becomes an important factor in what is required as the supply and demand for AIaaS increases. However, research on a comprehensive and practical quality evaluation metric to measure this is currently insufficient. Therefore, in this paper, we develop and propose a usability, replacement, scalability, and publicity metric, which are the four metrics necessary for measuring reusability, based on implementation, convenience, efficiency, and accessibility, which are characteristics of AIaaS, for reusability evaluation among the service quality measurement factors of AIaaS. The proposed metrics can be used as a tool to predict how much services provided by AIaaS can be reused for potential users in the future.

인공지능 기술의 전 산업 분야로 확산되면서 기존 SaaS에 인공지능 서비스가 탑재된 AIaaS가 등장하고 있다. 특히 비IT 분야 기업들에서는 소프트웨어 전문가의 부재, 빅 데이터 모델 훈련의 어려움, 다양한 형태의 데이터들에 대한 수집 및 분석에 대한 어려움 등을 겪고 있다. AIaaS는 인공지능 소프트웨어 개발에 필요한 다양한 IT 자원들 뿐만 아니라 인공지능 소프트웨어에 필요한 기능들을 서비스 형태로 제공함으로써 사용자들에게는 보다 쉽고 경제적으로 시스템을 구축할 수 있게 한다. 따라서 이러한 클라우드 기반의 AIaaS 서비스에 대한 수요와 공급은 점점 급증할 것이다. 그런데 이처럼 AIaaS에 대한 수요와 공급이 증가함에 따라 요구되는 것이 AIaaS에서 제공하는 서비스들의 품질이 중요한 요소가 된다. 그러나, 현재 이를 측정하기 위한 포괄적이고 실용적인 품질 평가 메트릭에 대한 연구가 미흡하다. 따라서 본 논문에서는 AIaaS의 서비스 품질 측정 요소 중 재사용성 평가를 위해 AIaaS가 갖는 특징인 구현성, 편리성, 효율성, 접근성을 기반으로 재사용성 측정에 필요한 4가지 메트릭인 사용성, 교체성, 확장성, 홍보성 메트릭을 개발하여 제안한다. 제안된 메트릭은 AIaaS에서 제공하는 서비스들이 향후 잠재된 사용자들에게 얼마나 재사용할 수 있는지를 예측하는 도구로 사용될 수 있다.

I. Introduction

글로벌 클라우드 시장에서 서비스형 소프트웨어(SaaS)가 전체 소프트웨어의 64%를 차지한다. 즉, 서비스형 소프트웨어는 기존의 소프트웨어와는 다른, 클라우드 컴퓨팅의 특징을 품질모델에 반영할 필요가 있기 때문에 생겨난 것이다[1]. 최근 우리나라가 주도한 클라우드 SaaS 품질 모델이 ISO/IEC 국제 기술규격으로 제정된 것을 계기로 그 효용성과 중요성이 더욱 주목을 끌고 있다[2]. 클라우드 SaaS는 기존 소프트웨어의 특성에 클라우드 시장의 특성을 결합한 것이다. 즉 결합된 자원 이용률, 확장성, 접근성, 서비스 측정성, 셀프서비스 지원성 등 클라우드 서비스가 확보해야 할 품질과 특성들을 추가하고, 기존의 소프트웨어들도 클라우드 특성에 맞게 변경한 것이다.

이러한 클라우드 특성이 인공지능 기술과 결합되어 클라우드 기반의 서비스형 인공지능 소프트웨어로 확장되고 있다. 클릭 몇 번이면 퍼블릭 클라우드 기업이 제공하는 클라우드 컴퓨팅 인프라를 바로 쓸 수 있듯이 AI 기술 · 서비스도 동일한 방식으로 제공하고 있다. 글로벌 인공지능(AI)시장의 규모는 계속해서 성장하고 있다. 시장조사기관 IDC에 따르면 2025년까지 새로운 기업용 앱의 최소 90%가 AI를 탑재할 것이라고 한다[3,4]. 이러한 성장 추세는 AI의 이점에 대한 인식이 높아진 데 기인하며, 거기에 서비스형 AI(AI as a service, AIaaS)를 통해 구현되는 고급 AI 기능에 대한 접근이 그 어느 때보다 쉬워졌기 때문이다. 서비스형 인공지능(AIaaS: AI as a Service)은 기업 수요를 고려해 개발됐다. 기업은 서비스 경쟁력 강화와 고객 만족도 향상을 위해 AI를 활용하면 도움이 된다. 하지만 모든 기업이 AI를 자체 개발해서 활용하기는 어렵다. 전문가 부재, 데이터 과학(data science) 경험 부족, 데이터 모델 훈련의 어려움, 데이터 사일로(data silo) 현상 해결 등 다양한 문제에 직면하게 된다. 과거 대비 다양한 데이터 형태도 AI 활용을 까다롭게 하는 원인이다. 따라서 자연어 처리(NLP), 컴퓨터 비전(CV), 이상 상황 감지 기술 등이 기존 정형 데이터 관리만큼 중요해졌다. 이에 아마존웹서비스(AWS), 마이크로소프트(MS), 구글 클라우드, 오라클 등 글로벌 기업과 SK텔레콤, KT클라우드, 네이버클라우드, 카카오엔터프라이즈 등 국내 기업은 AIaaS 분야에 투자를 집중하고 기술과 서비스를 고도화하고 있다[5].

마켓앤드마켓의 보고서 [6]에 따르면 2028년까지 클라우드 기반의 AI 서비스에 대한 활용이 기업에서 빠르게 증가할 것으로 전망하고 있다. 사전 구축된 기계 학습 모델, 자연어 처리, 컴퓨터 비전, 애플리케이션 서비스 등에 통합된 다양한 AI 기반 솔루션에 대한 기업의 수요가 시장 활성화를 이끌 것으로 진단했다.

특히, AIaaS 시장은 2023년에 13조 원 이상의 규모로 성장할 것으로 전망된다. 연평균 약 50% 성장하고 있으며 아시아 · 태평양 지역 AIaaS 시장 성장률은 60%에 육박하는 것으로 알려졌다. 이처럼 AIaaS의 범위가 확대됨에 따라 AIaaS의 품질이나 성능 또한 중요한 요소가 된다.

지금까지의 서비스 품질은 주로 사람에 의해 실행된 행동이나 이후 인터넷 서비스 중심으로 평가되었다. 그러나 인공지능에 의해 진행되는 서비스에는 더 이상 기존의 평가방법으로는 적절하지 않다. 그러므로 AIaaS가 가지는 특징들을 토대로 이에 적합한 품질측정 모델, 방법, 도구, 가이드라인 등과 같은 품질 향상 방안들을 개발하는 것이 필요하다. 본 논문에서 이러한 방안들 중에 품질 측정 도구 중 하나인 재사용성 품질 측정 메트릭을 제안한다.

본 논문의 구성은 2장에서는 관련연구로 클라우드 컴퓨팅 기술, 서비스형 인공지능(AIaaS) 기술 등에 대해 제시한다. 3장에서는 AIaaS의 특징들을 제시하고, 이를 토대로 AIaaS의 재사용성 품질 측정을 위한 메트릭을 제안한다. 4장에서는 3장에서 제안한 메트릭에 대한 평가와 실험 결과를 제시한다. 마지막으로 5장에서 결론과 향후 연구과제를 기술한다.

II. Preliminaries

1. Related works

1.1 Cloud Computing Technology

클라우드 컴퓨팅(cloud computing)은 사용자의 직접적인 활발한 관리 없이 특히, 데이터 스토리지(클라우드 스토리지)와 컴퓨팅 파워와 같은 컴퓨터 시스템 리소스를 필요시 바로 제공(on-demand availability)하는 것을 말한다[7]. 구성 가능한 컴퓨팅 자원(예: 컴퓨터 네트워크, 데이터 베이스, 서버, 스토리지, 애플리케이션, 서비스, 인텔리전스)에 대해 어디서나 접근할 수 있는, 주문형 접근(on-demand availability of computer system resources)을 가능케 하는 모델이며 최소한의 관리 노력으로 빠르게 예비 및 릴리스를 가능케 한다[8][9].

클라우드 컴퓨팅 기술의 특징으로는 첫째, 사용자는 요구에 따라 쉽게 자원을 확장하거나 축소할 수 있어서, 비즈니스의 성장이나 변화에 빠르게 대응할 수 있다. 둘째, 데이터를 중앙화 된 위치에 저장하여 데이터 백업 및 복구를 쉽게 구현할 수 있다. 셋째, 인터넷이 연결된 어디서든지 자원에 접근할 수 있다. 넷째, 서버 및 네트워크 관리, 업데이트, 보안 등의 작업이 클라우드 서비스 제공자에 의해 수행되므로, 사용자는 이러한 부담을 줄이고 핵심 업무에 집중할 수 있다. 다섯째, 사용자는 클라우드 서비스 제공자에게 사용한 만큼만 비용을 지불하면 되기 때문에, 미사용 시스템 자원에 대한 비용 부담이 줄어든다.

클라우드 컴퓨팅 서비스 모델은 주로 세 가지 유형의 서비스 모델을 제공한다[10].

⦁ IaaS(Infrastructure as a Service) - 기본적인 컴퓨팅 인프라를 제공하는 서비스로, 가상화된 기본 인프라 자원(서버, 스토리지, 네트워크 등)을 제공하는 서비스 모델로서, 사용자는 필요한 용량만큼 확장 가능한 리소스를 선택하고 구성할 수 있다.

⦁ PaaS(Platform as a Service) - IaaS에서 제공하는 인프라 위에 개발, 배포, 운영을 지원하는 플랫폼을 제공하는데, 애플리케이션 개발 및 배포에 필요한 플랫폼(미들웨어, 데이터베이스 관리 시스템, 개발 도구, 운영체제, 라이브러리 등)을 제공하는 서비스 모델이다.

⦁ SaaS(Software as a Service) - 클라우드에서 호스팅 되는 소프트웨어 애플리케이션을 제공하는 서비스 모델로서, 사용자는 인터넷을 통해 소프트웨어에 접속하고 사용할 수 있으며, 소프트웨어의 설치, 업데이트, 유지보수 등에 대한 걱정이 없다.

1.2 AIaaS(AI as a Software)

AIaaS는 클라우드를 통해 구독형으로 AI 기술을 제공하는 서비스를 말한다. 서비스형 AI는 즉시 사용할 수 있는 AI 제품과 같다[11]. 다양한 AI 기반 기능을 포함하여 타사 공급업체가 고객사에 서비스 형태로 제공하는 인공 지능 소프트웨어를 의미한다. 타사 공급업체는 이러한 기능들을 클라우드에서 호스팅하며, 최종 사용자가 인터넷을 통해 이를 사용할 수 있으므로 AI에 대한 접근성을 더욱 쉽게 만든다. 점점 더 많은 기업들이 AIaaS를 통한 경쟁력 강화를 경험하면서 AIaaS에 대한 수요가 증가하고 있다. 그 결과 다양한 유형의 AIaaS 솔루션들이 개발되고 있다. AI를 선도하는 글로벌 IT기업들의 공통점은 이들이 모두 클라우드 서비스를 리딩하고 있는 기업들이다. 전 세계적으로 대표적인 대표 AIaaS 솔루션에 대한 내용은 다음과 같다[11,12]. Amazon Web 서비스(AWS), Google, IBM, Microsoft가 대표적인 경쟁업체로 전 세계에 서비스를 제공하고 있다.

III. Measuring Reusability of AIaaS

이 장에서는 AIaaS의 재사용성 품질을 향상시키기 위해 AIaaS의 특징들을 토대로 재사용성 향상을 위한 품질 속성들을 도출하고, 각 품질 속성 별 재사용성 평가 메트릭을 제시한다.

1. Characteristics of AIaaS

클라우드 컴퓨팅은 인공지능 서비스를 지원하기에 가장 적합한 플랫폼이라 할 수 있다. 인공지능 서비스를 제공하기 위해서는 수많은 빅데이터를 저장할 공간과 높은 컴퓨팅 성능이 절대적으로 필요하기 때문이다. 클라우드 기반의 AIaaS는 AI 서비스를 클라우드 컴퓨팅에 구현해서 제공하는 서비스이다. ‘마켓스 앤 마켓스’의 AIaaS 시장분석에 따르면 2018년 15.2억 달러 규모를 형성한 시장이 2033년 108.8억 달러에 이를 것으로 예측하고 있듯이, AIaaS 시장은 기하급수적으로 거대해 질 것으로 본다.

이 장에서 도출한 AIaaS의 특징들은 클라우드 기반 서비스형 인공지능 소프트웨어의 재사용성 품질 측정 메트릭을 정의하는 요소로 활용된다. 기존 재사용성 관련 메트릭들에서는 이러한 품질 속성들이 미흡하게 반영되었다[13,14,15,16].

1.1. Implementability

구현성은 클라우드 수준에 따라 서비스를 달리 제공하며, 개발 기술의 부족으로 인공지능 서비스 자체를 개발하지 못하는 사용자도 이미 구현된 서비스를 API로 가져다 쓸 수 있도록 하는 것을 말한다. 클라우드는 단말 기기 대신에 중앙 서버에서 서비스를 제공하는 플랫폼으로 정의할 수 있다. 그리고 서비스 제공 수준에 따라 서비스형 인프라 (IaaS), 서비스형 플랫폼 (PaaS), 서비스형 소프트웨어 (SaaS)로 나눌 수 있다.

∙ IaaS에서는 인공지능 서비스 구현에 필요한 하드웨어를 제공한다.

∙ PaaS에서는 하드웨어뿐만 아니라 인공지능 개발에 필요한 개발 툴도 함께 지원한다.

∙ SaaS에서는 인공지능 서비스 자체를 API 형태로 제공한다.

1.2. Convenience

편의성은 특정 기업이 클라우드 플랫폼에 담겨 있는 인공 지능 서비스를 그대로 불러와서 사용할 수 있도록 하는 것을 말한다. 따라서, 일일이 검색해서 찾을 필요가 없기 때문에 사용자에게 단순성과 편의성을 제공한다. 가령, AI 개발 환경이 필요하면 PaaS 형태의 AI 서비스를 이용하면 된다.

1.3. Efficiency

클라우드는 사용한 만큼 지급(Pay as you go)하는 정책을 사용하기 때문에, 서비스 사용량 또는 사용 시간에 따라 가격을 책정함으로써 낭비되는 비용을 줄여준다. 이를 운영 효율성이라 한다. 가령 AI 서비스 구현을 위해 직접 하드웨어를 구매한다고 하자. 사용자는 AI 서비스 안전성을 위해 여유 있게 하드웨어를 구매할 것이다. 그럼 유휴 하드웨어가 있을 것이고, 이는 낭비되는 요소이다. 반면 클라우드는 이러한 요소가 적다.

1.4. Accessibility

클라우드는 사용자의 단말 기기가 아닌 중앙 서버에서 서비스를 제공하기 때문에, 사용자는 단말 기기에 관계없이 클라우드 서비스를 이용할 수 있다. 이를 접근성이라 한다. 고사양을 필요로 하는 AI 서비스에서는 이러한 특징이 매우 중요하다. 예를 들어 AI 스피커의 경우, AI 기반 음성인식 기술은 고사양의 하드웨어를 요구한다. 다시 말해, 스피커 안에 구현하기 힘들다. 따라서 대부분의 AI 스피커 제조 기업은 음성인식을 클라우드 서버에 구현해, 이러한 서비스를 클라우드에서 제공하게 하는 경우가 많다.

2. Metrics for Measuring Quality of AIaaS

이 절에서는 앞서 추출한 AIaaS의 품질속성들을 토대로 AIaaS의 재사용성 품질측정을 위한 메트릭을 정의한다.

2.1. A Metric for Measuring Usability

AIaaS에서의 구현성을 측정한다는 것은 인공지능 서비스 구현에 필요한 하드웨어, 개발 툴, API들의 비율을 의미한다. 여기서 하드웨어, 개발 툴, API를 각각의 서비스라 명명한다. 인공지능 서비스 구현에 사용한 서비스들의 사용 비율을 통해 AIaaS의 구현성과 효율성의 정도를 파악할 수 있다.

[Def.1] 사용성(RSU: Rate of Service Usability)

\(\begin{aligned}R S U(n)=\left\{\begin{array}{cc}1-\frac{S_{u}(n)}{S(n)} & S(n)>0) \\ 0 & (\text { otherwise })\end{array}\right.\end{aligned}\)

where,

S_u(n): AI 서비스 구현을 위해 사용하는 서비스 수

S(n): AIaaS에서 제공하는 서비스 총 개수

2.2. A Metric for Measuring Replaceability

AIaaS에서의 교체성(Replaceability)이라 함은 AIaaS 내의 서비스들 가운데 교체 가능한 서비스들의 비율을 의미한다. 교체성이 높을수록 AIaaS의 효율성 또한 높아지게 된다.

[Def.2] 교체성(RSR: Rate of Service Replaceability)

RSR(n)는 AIaaS 내의 서비스들 가운데 교체 가능한 서비스들의 비율을 의미한다.

\(\begin{aligned}R S R(n)=\left\{\begin{array}{cc}1-\frac{S_{r}(n)}{S(n)} & (S(n)>0) \\ 0 & (\text { otherwise })\end{array}\right.\end{aligned}\)

where,

S_r(n): AIaaS의 교체 가능한 서비스 갯수

S(n): AIaaS의 서비스 총 개수

2.3. A Metric for Measuring Extensibility

AIaaS에서의 확장성(Extensibility)이라 함은 AIaaS 내의 서비스들 가운데 확장 가능한 서비스들의 비율을 의미한다. 확장성이 높아질수록 사용자의 다양한 요구에 따른 AIaaS의 구현성이 높아지게 된다.

[Def.3] 확장성(RSE: Rate of Extensibility)

RSE(n)는 AIaaS 내의 서비스들 가운데 확장 가능한 서비스들의 비율을 의미한다.

\(\begin{aligned}\operatorname{RSE}(n)=\left\{\begin{array}{cc}1-\frac{S_{e}(n)}{S(n)} & (S(n)>0) \\ 0 & (\text { otherwise })\end{array}\right.\end{aligned}\)

where,

S_e(n): AIaaS의 확장 가능한 서비스 갯수

S(n): AIaaS의 서비스 총 개수

2.4. A Metric for Measuring Publicity

클라우드 컴퓨팅에서, 서비스 제공자에 의해 등록된 서비스는 서비스 제공자에 의해 등록된 서비스는 서비스 저장소에 등록되며 등록된 서비스들은 서비스 발견을 위해 공개된다. 서비스의 홍보성이 낮다면 서비스들을 효과적으로 발견할 수 없으며, 이로 인해 낮은 구독 결과가 발생한다. 따라서, AIaaS에서의 홍보성(Publicity)이라 함은 AIaaS 내의 서비스들 가운데 등록된 서비스들의 비율을 의미한다. 홍보성 값이 높을수록 AIaaS의 특징인 편리성이 높아지게 된다.

[Def.4] 홍보성(RSP: Rate of Publicity)

RSP(n)는 AIaaS 내의 서비스들 가운데 서비스 저장소에 등록된 서비스들의 비율을 의미한다.

\(\begin{aligned}R S P(n)=\left\{\begin{array}{cc}1-\frac{S_{p}(n)}{S(n)} & (S(n)>0) \\ 0 & (\text { otherwise })\end{array}\right.\end{aligned}\)

where,

S_p(n): AIaaS의 등록된 서비스 갯수

S(n): AIaaS의 서비스 총 개수

IV. Evaluation & Experiment

이 장에서는 본 논문에서 제시하는 AIaaS의 품질 평가 메트릭에 대한 검증 방법과 적용한 실험 결과를 제시한다.

1. Evaluation

본 절에서는 제안한 품질 평가 메트릭을 검증하기 위해, 품질모델 검증 기법인 Ejiougu의 6가지 평가 기준을 적용한다[18]. 제안된 4개의 메트릭들에 대해 평가기준을 적용한 결과는 표 1과 같다. 이러한 기준들에 대해 제안한 메트릭들이 어떤 기준을 충족시키는지를 표 1이 보여준다. 4개의 메트릭들에 해당 평가기준을 적용한 논리는 다음과 같다.

Table 1. Analysis of Major AIaaS Companies

⦁ 간결함과 계산가능성(Simple & Computable) - RSU(n)의 분모와 분자는 최소한의 계산으로 결과값을 얻을 수 있도록 정의되었고, 각 값은 실제 서비스 구독자 수나 서비스 관리자 시스템의 로그로부터 구할 수 있다.

⦁ 직관적 설득가능성(Intuitively Persuasive) - RSP(n)는 AIaaS내의 서비스들 가운데 등록된 서비스들의 비율을 측정하는 메트릭에 의해 지원되며, 이는 AIaaS의 특징인 효율성으로부터 유도되었다.

⦁ 일관성과 목적성(Consistent and Objectivity) - RSU, RSR, RSE, RSP는 0..1 사이의 값을 반환하고, 1에 가까운 값을 가질수록 해당 서비스가 재사용성이 높은 기능을 제공한다는 것을 의미한다.

⦁ 단위와 차원 사용의 일관성(Consistent in Use of Units and Dimensions) - RSU, RSR, RSE, RSP의 분모와 분자는 모두 서비스라는 같은 단위를 사용한다.

⦁ 프로그램 언어 독립성(P/L Independency) - RSU, RSP, RSE, RSP의 분모와 분자는 특정 프로그램 언어에 의존적으로 변경되는 값이 아니다.

⦁ 효과적 피드백(Effective Feedback) - RSU, RSR, RSE, RSP의 결과값은 서비스의 해당 기능이 얼마나 많은 사용자에 의해 재사용되는지를 보여준다. 예를들어, RSP의 값이 0.5미만이라면 분자 값을 높이는 방법을 해당 서비스에 적용하게 하여 RSP의 값을 향상시키는데 도움을 줄 수 있다.

Table 2. Evaluation of Proposed Metrics

2. Experiment

본 논문에서 제시한 메트릭을 ‘A’사의 AIaaS 시스템에 적용한 결과를 기술한다. 측정 방법은 각 메트릭의 분자와 분모 값을 AIaaS 관리자 시스템의 로그와 서비스 관리자로부터 얻어서 계산하였다.

본 논문에서는 3개사의 AIaaS를 대상으로 실험하였으며, 결과는 그림 1과 같다. 그림 1에 보이는 것처럼 A사의 AIaaS의 재사용성 평가는 RSU, RSR, RSE, RSP의 평균인 0.71로 측정되었다. B사의 AIaaS의 재사용성 평가는 전체 0.75로 A사보다 좀 더 높았으며, C사의 AIaaS의 재사용성 평가는 0.79로 가장 높았다. 이러한 실험을 통해 각 사에서 낮게 측정된 품질 속성 값들에 대해서는 품질 평가자의 판단에 의해 향상시킬 수 있다.

Fig. 1. Results of Experiments

V. Conclusions

AIaaS는 인공지능 소프트웨어 개발에 있어서 필요한 다양한 IT 자원들과 소프트웨어 기능들을 서비스 형태로 제공하여 여러 사용자들이 경제적으로 서비스를 재사용할 수 있도록 하는 패러다임이다. 따라서 AIaaS의 높은 재사용성을 통해 AIaaS 사용자들은 인공지능 소프트웨어 개발 및 유지보수 등에 필요한 비용을 절감하고 지속적으로 서비스의 확장이나 교체를 손쉽게 할 수 있다. 본 연구를 통해 얻을 수 있는 기대효과는 다음과 같다. 첫째, AIaaS를 이용한 인공지능 소프트웨어 개발 시 향후 재사용성이 높은 서비스들을 지속적으로 개발할 수 있다. 둘째, 개발될 AIaaS의 서비스에 대한 품질과 재사용성을 측정할 수 있는 도구로 사용할 수 있다. 셋째, AIaaS의 서비스가 확장 가능한 형태로 개발할 수 있다. 본 논문에서 제시한 메트릭은 AIaaS를 활용한 인공지능 소프트웨어 개발에 적용한 경우로서, AIaaS의 서비스 개발 생산성 향상을 가져올 수 있을 뿐만 아니라 AIaaS 서비스 개발 및 유지보수에 있어서 재사용성의 향상을 기대할 수 있다. 이는 결국 AIaaS의 서비스 품질을 향상시킬 수 있다. 향후 연구로는 보다 정형화 된 기법으로 제안한 메트릭을 검증하고, AIaaS의 품질 향상에 필요한 메트릭들을 확장 개발하는 것이다.