• 제목/요약/키워드: Collective Intelligence

검색결과 207건 처리시간 0.024초

법령정보 검색을 위한 생활용어와 법률용어 간의 대응관계 탐색 방법론 (Term Mapping Methodology between Everyday Words and Legal Terms for Law Information Search System)

  • 김지현;이종서;이명진;김우주;홍준석
    • 지능정보연구
    • /
    • 제18권3호
    • /
    • pp.137-152
    • /
    • 2012
  • 인터넷 환경에서 월드 와이드 웹이 등장한 이후 웹을 통해 수많은 웹 페이지들이 생산됨에 따라 사용자가 원하는 정보를 검색하기 위한 다양한 형태의 검색 서비스가 여러 분야에서 개발되어 활용되고 있다. 특히 법령 검색은 사용자가 현재 자신이 처한 상황에 필요한 법령을 검색하여 법령에 대한 지식을 얻기 위한 창구로써 국민의 편의를 제공하기 위해 반드시 필요한 서비스 중 하나이다. 이에 법제처는 2009년부터 국민 누구나 편리하게 법령에 관련된 정보를 검색할 수 있도록 국가의 법령뿐만 아니라 행정규칙이나 판례 등 모든 법령정보를 검색할 수 있는 검색 서비스를 제공하고 있다. 하지만 현재까지의 검색엔진 기술은 기본적으로 사용자가 입력한 질의어를 문서에 포함하고 있는지의 여부에 따라 해당 문서를 검색 결과로 제시한다. 법령 검색 서비스 또한 해당 법령에 등장하는 키워드를 활용하여 사용자에게 검색 결과를 제공해주고 있다. 따라서 법제처의 이런 노력에도 불구하고 법령이 전문가의 시각에서 작성되었기 때문에 법에 익숙하지 않은 일반 사용자는 자신이 필요한 법령을 검색하기 어려운 한계점을 가지고 있다. 이는 일반적으로 법령에 사용되는 용어들과 일반 사용자가 실생활에 사용하는 단어가 서로 상이하기 때문에 단순히 키워드의 단순 매칭 형태의 검색엔진에서는 사용자들이 주로 사용하는 생활용어를 이용해서 원하는 법령을 검색할 수 없다. 본 연구에서는 법률용어에 관한 사전지식이 부족한 일반 사용자가 일상에서 주로 사용되는 생활용어를 이용하여 키워드 기반의 법령정보 검색 사이트에서 정확한 법령정보 검색이 가능하도록 생활용어와 법률용어 간의 대응관계를 탐색하고 이를 이용하여 법령을 검색할 수 있는 방법론을 제안하고자 한다. 우선 생활용어와 법률용어 간의 대응관계를 발견하기 위해 본 논문에서는 사용자들의 집단지성을 활용한다. 이를 위해 사용자들이 블로그의 분류 및 관리, 검색에 활용하기 위해 작성한 태그 정보를 이용하여 질의어인 생활용어와 관련된 태그들을 수집한다. 수집된 태그들은 K-means 군집분석 기법을 통해 태그들을 클러스터링하고, 생활용어와 가장 가까운 법률용어를 찾기 위한 평가 방법을 통해 생활용어에 대응될 수 있는 적절한 법률용어를 선택한다. 선택된 법률용어는 해당 생활용어와 명시적인 관계성이 부여되며, 이러한 생활용어와 법률용어와의 관계는 온톨로지 기반의 시소러스를 기술하기 위한 SKOS를 이용하여 표현된다. 이렇게 구축된 온톨로지는 사용자가 생활용어를 이용하여 검색을 수행할 경우 생활용어에 대응되는 적절한 법률용어를 찾아 법령 검색을 수행하고 그 결과를 사용자에게 제시한다. 본 논문에서 제시하고자 하는 방법론을 통해 법령 및 법률용어에 관련된 사전 지식이 없는 일반 사용자도 편리하고 효율적으로 법령을 검색할 수 있는 서비스를 제공할 것으로 기대한다.

웹 2.0 시대의 SNS(Social Network Service)에 관한 고찰 (An exploratory study on Social Network Services in the context of Web 2.0 period)

  • 이석용;정이상
    • 경영과정보연구
    • /
    • 제29권4호
    • /
    • pp.143-167
    • /
    • 2010
  • 본 연구의 목적은 인터넷을 중심으로 시대적인 흐름에 따른 기술의 변화와 더불어 사회적 자본을 형성하는 도구로 인식되고 있는 SNS의 사회경제적 변화와 파급효과를 통찰하기 위해 첫째, 웹 2.0 패러다임이 표방하는 기술 및 경제적 가치변화를 살펴보고 둘째, 블로그로부터 사회 네트워크인 SNS로의 진화과정을 고찰하며 셋째, 주요 SNS의 서비스 및 특징을 비교한 후 넷째, 모바일 웹 2.0으로의 진화에 따른 SNS의 특성을 제시하고자 한다. 마지막으로 1990년대 후반부터 현재까지의 기술, 사회, 경영 3가지 측면의 속성 변화를 통해 SNS의 진화를 분석하고자 한다. 본 연구를 통해 얻은 시사점으로는 첫째, 기술적 측면에서 웹 기반의 컴퓨팅 환경이 미디어 속성에서 플랫폼 속성으로 전환되고 있다. 초창기 인터넷 출현 이후 웹사이트에 접속하여 정보를 보고 듣고 읽어 체득하던 일방향의 미디어 속성이 정보를 생성 및 가공하고 전파하기까지 모든 활동을 가능하게 하는 플랫폼 기능으로 변화된 것이다. 둘째, 사회적 측면에서 지식의 생산주체가 소수 전문가에서 집단지성으로 전환되고 있다. 이는 사람들을 연결하는 SNS의 지향점과 일치하면서 정보권력의 분산 및 전파범위의 무제한이라는 장점을 살려 기업들의 홍보 및 마케팅 채널로서의 잠재성이 부각되고 있다. 셋째, 기업경영 측면에서 SNS와 같은 새로운 마케팅 채널이 생성되고 있다. 스마트폰과 같은 모바일 기기의 시장 확대와 더불어 일상에서 접근이 편리하도록 제공되고 있는 무선기술의 발전은 소비자와 호의적이고 밀접한 관계를 지향하는 대개의 기업들에게 새로운 기회로 작용하고 있다. 넷째, 소비자의 역할이 변화되고 있음을 인식할 수 있다. 단방향 정보를 받아들이던 소비자들이 1인 중심형 블로그와 개인간 관계 네트워크를 지향하는 SNS를 이용하게 되면서 정보를 생성, 가공 및 확산하는 주체가 되면서 정보의 주도권을 장악하게 되면서 정보의 이용자인 동시에 생산자 역할을 수행하는 프로슈머로서 그 역할이 변화되어 가고 있다.

  • PDF

지식 생산 방식에 따른 집단지성 구조 분석 -네이버 지식IN과 위키피디아를 중심으로- ('Collective intelligence Structure' Analysis)

  • 한창진
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2009년도 학술대회
    • /
    • pp.1363-1373
    • /
    • 2009
  • 본 연구는 두 집단지성의 가장 대표적인 서비스인 네이버 지식iN과 위키피디아의 구조적, 경험적 차이를 바탕으로 생산의 차원에서 생산 주기, 생산 참여자, 생산물의 모델을 설정하고, 새롭게 탄생하는 지식을 중심으로 검증함으로써 최종 지식 소비 행위를 반영한 각각의 종합모델을 도출하였다. 우리는 웹에서 집단지성의 일상화를 확인할 수 있다. 지식 획득 매체가 매스미디어에서 인터넷으로 변화하는 과정에서 등장한 포털 및 검색사이트는 지식의 생산이 전문가패러다임에서 소비자 중심으로 재편될 수 있는 가능성을 열어주었다. 그리고 이러한 생산 방식의 변화는 '지식'의 개념 역시 변화시키고 있다. 즉, 집단지성이라는 새로운 웹2.0의 현상이 지식생산방식을 변화시키고 변화된 지식생산방식은 '지식'자체를 변화시킨다는 이론적 가설을 도출할 수 있는 것이다. 본 연구는 이러한 새로운 현상들을 분석하기 위해서는 먼저 보다 엄밀하게 집단지성의 개념을 규정할 필요성에 출발하였다. 현재 집단지성이라는 이름으로 불리면서 급격히 성장하고 있는 위키 방식의 인터넷 서비스와 지식검색 방식의 인터넷 서비스를 비교함으로써 보다 정교한 집단지성의 모델을 구축하고자 하였다. 위키형 집단지성과 지식검색형 집단지성의 차이점은 경험적으로도 뚜렷하게 확인할 수 있다. 본 연구는 이러한 경험적 차이와 기존의 문헌에서 밝혀진 사실들을 바탕으로 두 서비스의 지식생산 방식을 생산플로우, 생산참여자 성향, 생산물(지식)의 성향과 같이 세 영역으로 나누어 각각의 가설 모델을 설정하고 이 모델을 선정된 질의어를 바탕으로 검증한 뒤에 최종적인 모델을 도출하는 방식으로 진행되었다. 지식검색형 집단지성은 '질문-답변-채택'의 구조이고, 그 구조 속에서 '질문기-답변기-순서화기'를 거쳐 하나의 지식 덩어리인 'K-let'을 생산한다. 생산된 'K-let'들은 지식검색서비스의 데이터베이스에 축적되고, 이는 공통된 질의어를 기준으로 소비자들에 의해서 검색되어 소비된다. 하나의 질문에 대해 여러 개의 답변들이 존재하고, 답변자의 성향은 크게 전문성과 체계성을 바탕으로 한 전문가형 답변자와 경험적이고 의견지향적인 대화형 답변자로 나눠진다. 다수의 네티즌들의 참여에 의해서 지식의 생산이 진행되므로 질문의 성향 역시 사실, 의견, 경험 등 다양한 스펙트럼을 가지는 모델로 설정하였다. 반면에 위키형 집단지성은 개방형 플랫폼을 바탕으로 한 백과사전의 형식이며, 이러한 형식 속에서 최초의 개념어 등록과 다수의 편집활동을 거치면서 완성되지 않는 하나의 아티클인 'W-let'을 생산한다. 이러한 'W-let'은 생성 초기에 소수에 의한 활발한 내용 입력 활동으로 어느 정도의 안정화를 거친 후에는 꾸준한 다수의 수정활동을 통해서 'W-let'의 생명력을 유지함으로써 지식의 실제적인 변화를 반영한다. 생산된 'W-let'들은 위키형 집단지성 서비스의 데이터베이스에 축적되고, 이것들은 내부링크를 통해서 모두 연결되어 있다. 백과사전 형식으로 하나의 개념어를 설명하는 하나의 아티클은 오로지 사실적인 지식들로만 구성되나 내부링크와 외부링크를 통해서 다양한 스펙트럼을 가지는 모델로 설정하였다. 위와 같이 설정된 모델을 바탕으로 공통된 질의어 및 개념어를 선정하여 각각의 서비스에 노출시켰다. 이를 통해서 얻어진 각 서비스의 데이터베이스에 축적된 모든 데이터들 중에서 일정한 기간을 기준으로 각각의 모델 검증에 필요한 데이터를 추출하여 분석하는 방식으로 진행되었다. 그 결과 지식검색형 집단지성에서는 '질문-답변-채택'의 생산 구조 속에 다수가 참여하여 질문-채택답변-기타답변으로 배열되어 있는 완성된 형태의 K-let들을 지속적으로 생산하며 비슷한 성향을 가진 K-let들이 반복적으로 생산되어 지식검색 데이터베이스에 누적된다. 지식 소비자들은 질의어 검색을 통해서 다양한 K-let들을 선택하여 비교, 검토한 후에 선택된 K-let들의 배열은 해체되어 소비자들에 의해서 재배열됨을 발견할 수 있었다. 이에 지식검색형 집단지성이란 다수의 의해서 생산되고 누적된 지식들이 소비자의 검색과 선택에 의해 해체되어 재배열되는 지식의 맞춤화 과정이라고 정의내릴 수 있었다. 반면에 위키형 집단지성에서는 '내용입력-미세수정' 구조 속에서 생명력 있는 W-let을 생성한다. W-let은 백과사전처럼 정리되어 내부링크를 통해서 서로 연결되고, 외부링크를 통해 확장되고, 지식소비자들은 검색을 통해 최초의 W-let에 도달한 후에 링크를 선택함으로써 지식을 확장시킴을 검증할 수 있었다. 따라서 위키형 집단지성이란 다수의 의해서 생산되고 정리된 지식들이 소비자의 검색과 링크에 의해 무한히 확장되는 지식의 확대 재생산되는 과정이라고 정의 내릴 수 있다. 결국, 현재의 집단지성이란 지식이 다수의 참여로 생산됨으로써 개인에게 맞춤화되고, 끊임없이 확대 재생산되는 과정을 의미한다. 그리고 이러한 집단지성의 방식은 지식이라는 현재의 차원을 넘어서 정치, 경제를 비롯한 사회의 전 영역으로 점차적으로 확대되어갈 것이다. 앞으로 연구들은 두 가지 모델이 혼재되어 있는 현재의 집단지성이 어떠한 새로운 모델을 만들면서 다른 영역으로 확장되어갈 것인지에 대해서 초점을 맞춰 나가야할 것이다.

  • PDF

기술예측을 위한 특허 키워드 네트워크 분석 (Keyword Network Analysis for Technology Forecasting)

  • 최진호;김희수;임남규
    • 지능정보연구
    • /
    • 제17권4호
    • /
    • pp.227-240
    • /
    • 2011
  • 특허의 중요성이 커짐에 따라 특허분석의 중요성 또한 점점 커지고 있다. 특허분석은 네트워크 기반 방법과 키워드 기반 방법으로 나눠지는데 네트워크 기반은 특허 내부에 존재하는 세부 기술정보에 대한 분석이 불가능하다는 단점이 있고 키워드 기반은 기술정보간의 상호관계를 규명하지 못한다는 단점이 있다. 기존에 제시된 네트워크 기반 특허 분석과 키워드 기반 분석의 한계를 극복하기 위해서 두 방법을 혼합한 방법으로서 본 연구에서는 특허 키워드 네트워크 기반 분석 방법론을 제시하였다. 본 연구에서는 LED 분야의 특허들을 대상으로 텍스트 마이닝을 통해 중요한 기술정보를 추출한 다음, 키워드 네트워크를 구축하고, 이를 대상으로 커뮤니티 네트워크 분석을 수행하였다. 분석 결과는 다음과 같다. 첫째, 특허 키워드 네트워크는 매우 낮은 밀도와 매우 높은 클러스터링 지수를 나타내었다. 밀도가 높다는 것은 LED 분야내 특허 키워드 네트워크 내 노드(키워드)들이 산발적으로 연결되어 있다는 것을 의미하며, 클러스터링 지수가 높다는 것은 해당 키워드 네트워크 내 노드, 즉 키워드들이 각각의 커뮤니티로 매우 긴밀하게 연결되어 있음을 나타낸다. 둘째, 특허 키워드 네트워크도 다른 지식네트워크와 마찬가지로 명확한 멱함수 분포를 따른다는 사실을 알 수 있었다. 이는 기존에 활발히 연구, 활용되어 많은 연결고리를 갖고 있는 특허개념(키워드)수록 지속적으로 다른 연구자들에 의해 선택되고 이 키워드를 바탕으로 새로운 키워드들이 연결되어서 이들 키워드간의 조합으로 새로운 기술이 발명된다는 것이다. 셋째, 특허가 개발될 때 특정 분야에 유입된 키워드 중 새로운 링크가 생긴 키워드의 대부분이 기존에 연결되어 있던 커뮤니티 내의 키워드들과 결합되어 새로운 특허 개념을 구성한다는 사실을 발견하였다. 이러한 사실은 단기(4년) 장기(10년) 두 기간 모두 동일하게 나타났다. 나아가 본 연구에서 제시한 방법론을 통해 도출된 특허 키워드 조합 정보를 활용하면 미래에 어떤 개념들이 합쳐져서 새로운 특허 단위로 만들어 질지 가늠해볼 수 있고, 새로운 특허를 개발할 때 참고할 수 있는 유용한 정보로 활용할 수 있다.

유사도 알고리즘을 활용한 시맨틱 프로세스 검색방안 (Semantic Process Retrieval with Similarity Algorithms)

  • 이홍주
    • Asia pacific journal of information systems
    • /
    • 제18권1호
    • /
    • pp.79-96
    • /
    • 2008
  • One of the roles of the Semantic Web services is to execute dynamic intra-organizational services including the integration and interoperation of business processes. Since different organizations design their processes differently, the retrieval of similar semantic business processes is necessary in order to support inter-organizational collaborations. Most approaches for finding services that have certain features and support certain business processes have relied on some type of logical reasoning and exact matching. This paper presents our approach of using imprecise matching for expanding results from an exact matching engine to query the OWL(Web Ontology Language) MIT Process Handbook. MIT Process Handbook is an electronic repository of best-practice business processes. The Handbook is intended to help people: (1) redesigning organizational processes, (2) inventing new processes, and (3) sharing ideas about organizational practices. In order to use the MIT Process Handbook for process retrieval experiments, we had to export it into an OWL-based format. We model the Process Handbook meta-model in OWL and export the processes in the Handbook as instances of the meta-model. Next, we need to find a sizable number of queries and their corresponding correct answers in the Process Handbook. Many previous studies devised artificial dataset composed of randomly generated numbers without real meaning and used subjective ratings for correct answers and similarity values between processes. To generate a semantic-preserving test data set, we create 20 variants for each target process that are syntactically different but semantically equivalent using mutation operators. These variants represent the correct answers of the target process. We devise diverse similarity algorithms based on values of process attributes and structures of business processes. We use simple similarity algorithms for text retrieval such as TF-IDF and Levenshtein edit distance to devise our approaches, and utilize tree edit distance measure because semantic processes are appeared to have a graph structure. Also, we design similarity algorithms considering similarity of process structure such as part process, goal, and exception. Since we can identify relationships between semantic process and its subcomponents, this information can be utilized for calculating similarities between processes. Dice's coefficient and Jaccard similarity measures are utilized to calculate portion of overlaps between processes in diverse ways. We perform retrieval experiments to compare the performance of the devised similarity algorithms. We measure the retrieval performance in terms of precision, recall and F measure? the harmonic mean of precision and recall. The tree edit distance shows the poorest performance in terms of all measures. TF-IDF and the method incorporating TF-IDF measure and Levenshtein edit distance show better performances than other devised methods. These two measures are focused on similarity between name and descriptions of process. In addition, we calculate rank correlation coefficient, Kendall's tau b, between the number of process mutations and ranking of similarity values among the mutation sets. In this experiment, similarity measures based on process structure, such as Dice's, Jaccard, and derivatives of these measures, show greater coefficient than measures based on values of process attributes. However, the Lev-TFIDF-JaccardAll measure considering process structure and attributes' values together shows reasonably better performances in these two experiments. For retrieving semantic process, we can think that it's better to consider diverse aspects of process similarity such as process structure and values of process attributes. We generate semantic process data and its dataset for retrieval experiment from MIT Process Handbook repository. We suggest imprecise query algorithms that expand retrieval results from exact matching engine such as SPARQL, and compare the retrieval performances of the similarity algorithms. For the limitations and future work, we need to perform experiments with other dataset from other domain. And, since there are many similarity values from diverse measures, we may find better ways to identify relevant processes by applying these values simultaneously.

텍스트 마이닝과 의미 네트워크 분석을 활용한 뉴스 의제 분석: 코로나 19 관련 감정을 중심으로 (Analysis of News Agenda Using Text mining and Semantic Network Analysis: Focused on COVID-19 Emotions)

  • 유소연;임규건
    • 지능정보연구
    • /
    • 제27권1호
    • /
    • pp.47-64
    • /
    • 2021
  • 전 세계적으로 퍼진 코로나 19 상황은 우리의 일상생활의 많은 부분에 영향을 끼쳤을 뿐만 아니라, 경제·사회 등 많은 부분에 걸쳐 막대한 영향력을 미치고 있다. 확진자와 사망자 수가 증가함에 따라 의료진과 대중은 불안, 우울, 스트레스 등 심리적인 문제를 겪고 있다고 한다. 장기적인 부정적인 감정은 사람들의 면역력을 감소시키고 신체적인 균형을 파괴할 수도 있으므로 코로나 19로 인한 심리적인 상태를 이해하는 것이 필수적인 상황이다. 본 연구에서는 코로나 19 감정과 관련된 뉴스 데이터를 수집하여, 텍스트 마이닝을 통해 키워드를 분류하고, 키워드 사이의 의미 네트워크 분석을 통해 단어들의 관계를 시각화하였다. 코로나 감정과 관련된 기사의 키워드에 나타난 단어들의 빈도수를 확인하고 이를 워드 클라우드로 분석하였다. 키워드 빈도 분석 결과 코로나 19 감정과 관련하여 '중국', '불안', '상황', '마음', '사회', '건강'과 같은 단어의 빈도가 높게 나타난 것을 확인할 수 있었다. 각 데이터 간 연결 중심성을 분석한 결과 키워드 중심성 네트워크에서 가장 중심적인 핵심어는 '심리'와 '코로나 19', '블루', '불안'이라는 단어가 높은 연결 중심성을 가지는 것을 확인할 수 있었다. 기사의 헤드라인에 나타난 주요 핵심어 사이의 동시 출현 빈도 네트워크를 그래프로 시각화한 결과, '코로나-블루' 쌍이 가장 굵게 표시되었고, '코로나-감정', '코로나-불안' 쌍이 비교적 굵은 선으로 표시된 것을 알 수 있었다. 코로나와 관련된 '블루'는 우울증을 의미하는 단어로, 코로나와 우울증은 이제 관심을 가져야 할 키워드임을 확인할 수 있었다. 본 연구에서는 장기화한 코로나 19 상황에서 신체적인 방역뿐만 아니라 심리적인 방역에도 힘써야 할 이 시기에 보건 정책담당자가 빠르고 복잡한 의사결정 과정에 도움이 되고자 미디어 뉴스를 모니터링 함으로써, 더욱더 쉬운 소셜 미디어 네트워크 분석 방법을 제시하고자 한다.

종합 평점과 다기준 평점을 선택적으로 활용하는 협업필터링 기반 하이브리드 추천 시스템 (A Hybrid Recommender System based on Collaborative Filtering with Selective Use of Overall and Multicriteria Ratings)

  • 구민정;안현철
    • 지능정보연구
    • /
    • 제24권2호
    • /
    • pp.85-109
    • /
    • 2018
  • 추천시스템은 사용자의 과거 구매행동을 통해 향후 구매할 것이라고 예상되는 제품을 자동으로 검색하여 추천해준다. 특히 전자상거래 기업의 상품추천시스템은 일대일 마케팅의 대표적 실현수단으로 가치가 있다. 하지만, 전통적인 추천시스템, 특히 학계 및 산업계에서 가장 널리 사용되고 있는 전통적인 협업필터링 기법은 단일차원의 '종합 평점'만을 고려하여 추천결과를 생성하도록 설계되어 있어, 사용자들의 정확한 니즈를 이해하고 대응하는데 근본적인 한계가 있다. 최근에는 전자 상거래 기업들도 고객들로부터 보다 다각화된, 다기준 방식으로 피드백을 받고 있다. 특히 다기준 평점은 정량적으로 입력되는 정보이므로 상대적으로 분석 및 처리가 용이하다는 장점이 있다. 그러나 다기준 평점 역시 사전에 정해진 기준에 대해서만 사용자의 피드백이 이루어지기 때문에, 보다 상세하게 사용자의 의견을 이해하여 추천에 반영하는 데에는 한계가 있다. 이에 본 연구는 다기준 평점 정보와 선택적 협업필터링의 서로 다른 접근방법을 통해 도출된 추천결과를 종합하여, 최종적으로 추천 대상리스트를 산출할 수 있는 하이브리드 기술을 제안한다. 본 연구에서 제안한 연구모형의 유용성을 검증하기 위해, 식음료점(식당, 카페 등)에 대한 실제 이용자를 대상으로 온라인 설문을 통해 종합 평점과 다기준 평점을 수집하였으며, 데이터를 학습용과 검증용으로 구분하여 학습시키고 성과를 평가하였다. 이 기법은 결합 함수 기반 접근법과 사용자마다 구매의사결정의 체계가 다르다는 전제하에, 사용자들을 유형화하고, 유형에 따라 정보원을 선택적으로 활용하는 협업필터링 알고리즘을 활용했다. 실험결과, 제안 알고리즘을 통한 추천 방법이 단일 차원을 고려하는 전통적인 협업필터링과 비교해 더 우수한 예측정확도를 나타냄을 확인했다. 아울러, 본 연구가 제안하는 다기준 평점과 선택적 협업필터링 알고리즘을 종합하여 추천하는 방법이, 단순히 다기준 평점을 고려했을 때 보다 통계적으로 유의한 수준의 정확도의 개선이 이루어짐을 확인할 수 있었다.