• 지적과 국토정보
• /
• 제48권2호
• /
• pp.79-98
• /
• 2018

이 연구는 빅데이터 마이닝에 기초하여 공시지가 민원에 대한 시공간적 특성을 분석하는 모델을 제시하는 데 목적이 있다. 특히 이 연구는 행정 민원이 제기되는 원인을 학술적 요인보다는 시공간적 측면에서 찾았고, 그러한 민원 발생의 경향을 시공간적으로 모니터링하는 모델을 제시하였다. 2006년부터 2015년까지 인천광역시 중구의 공시지가에 대한 6,481개의 민원정보가 시간 및 공간적 특성을 고려해 수집되었고 분석을 위해 사용되었다. 텍스트 마이닝 기법을 이용해 주요 키워드의 빈도수를 도출했으며, 소셜 네트워크 분석을 통해 주요 키워드 간의 관계를 분석하였다. 키워드의 가중치와 연관되는 TF(term frequency)와 TF-IDF(term frequency-inverse document frequency)를 산출함으로써, 공시지가의 민원 발생에 대한 주요 키워드를 식별하였다. 마지막으로 Getis-Ord의 $Gi^*$의 통계량에 기초한 핫스팟 분석을 통해 공시지가 민원의 시공간적 특성을 분석하였다. 연구 결과, 공시지가 민원의 특성은 시공간적으로 연계된 군집 형태를 형성하면서 변화하고 있음을 알 수 있었다. 텍스트 마이닝과 소셜 네트워크 분석 방법을 이용하여 자연어 기반의 공시지가 민원에 대한 발생 원인을 정량적으로 규명할 수 있음을 알 수 있었으며, 키워드 가중치인 단어 빈도(TF) 및 단어 빈도와 역문서 빈도의 조합값(TF-IDF)의 상대적인 차이가 있어 시공간적인 민원 특성을 분석하기 위한 주요 설명변수로 활용될 수 있음을 알 수 있었다.

• 지능정보연구
• /
• 제25권4호
• /
• pp.123-139
• /
• 2019

주요 구인구직사이트의 직무분류체계가 사이트마다 상이하고 SW분야에서 제안한 'SQF(Sectoral Qualifications Framework)'의 직무분류체계와도 달라 SW산업에서 SW기업, SW구직자, 구인구직사이트가 모두 납득할 수 있는 새로운 직무분류체계가 필요하다. 본 연구의 목적은 주요 구인구직사이트의 구인정보와 'NCS(National Competaency Standars)'에 기반을 둔 SQF를 분석하여 시장 수요를 반영한 표준 직무분류체계를 구축하는 것이다. 이를 위해 주요 구인구직사이트의 직종 간 연관분석과 SQF와 직종 간 연관분석을 실시하여 직종 간 연관규칙을 도출하고자 한다. 이 연관규칙을 이용하여 주요 구인구직사이트의 직무분류체계를 맵핑하고 SQF와 직무 분류체계를 맵핑함으로써 데이터 기반의 지능형 직무분류체계를 제안하였다. 연구 결과 국내 주요 구인구직사이트인 '워크넷,' '잡코리아,' '사람인'에서 3만여 건의 구인정보를 open API를 이용하여 XML 형태로 수집하여 데이터베이스에 저장했다. 이 중 복수의 구인구직사이트에 동시 게시된 구인정보 900여 건을 필터링한 후 빈발 패턴 마이닝(frequent pattern mining)인 Apriori 알고리즘을 적용하여 800여 개의 연관규칙을 도출하였다. 800여 개의 연관규칙을 바탕으로 워크넷, 잡코리아, 사람인의 직무분류체계와 SQF의 직무분류체계를 맵핑하여 1~4차로 분류하되 분류의 단계가 유연한 표준 직무분류체계를 새롭게 구축했다. 본 연구는 일부 전문가의 직관이 아닌 직종 간 연관분석을 통해 데이터를 기반으로 직종 간 맵핑을 시도함으로써 시장 수요를 반영하는 새로운 직무분류체계를 제안했다는데 의의가 있다. 다만 본 연구는 데이터 수집 시점이 일시적이기 때문에 시간의 흐름에 따라 변화하는 시장의 수요를 충분히 반영하지 못하는 한계가 있다. 계절적 요인과 주요 공채 시기 등 시간에 따라 시장의 요구하는 변해갈 것이기에 더욱 정확한 매칭을 얻기 위해서는 지속적인 데이터 모니터링과 반복적인 실험이 필요하다. 본 연구 결과는 향후 SW산업 분야에서 SQF의 개선방향을 제시하는데 활용될 수 있고, SW산업 분야에서 성공을 경험삼아 타 산업으로 확장 이전될 수 있을 것으로 기대한다.

• 한국전자거래학회지
• /
• 제19권3호
• /
• pp.107-123
• /
• 2014

텍스트마이닝 연구의 기본적인 난제는 기존 텍스트 표현모델이 자연어 문장으로 기술된 텍스트 데이터로부터 의미 또는 개념 정보를 표현하지 않는데 기인한다. 기존 텍스트 표현모델인 벡터공간 모델(vector space model), 불리언 모델(Boolean model), 통계 모델(statistical model), 텐서공간 모델(tensor space model) 등은 'Bag-of-Words' 방식에 바탕을 두고 있다. 이러한 텍스트 모델들은 텍스트에 포함된 단어와 그것의 출현 횟수만으로 텍스트를 표현하므로, 단어의 함축 의미, 단어의 순서 및 텍스트의 구조를 전혀 표현하지 못한다. 대부분의 텍스트 마이닝 기술은 대상 문서를 'Bag-of-Words' 방식의 텍스트 모델로 표현함을 전제로 하여 발전하여 왔다. 하지만 오늘날 빅데이터 시대를 맞이하여 방대한 규모의 텍스트 데이터를 보다 정밀하게 분석할 수 있는 새로운 패러다임의 표현모델을 요구하고 있다. 본 논문에서 제안하는 텍스트 표현모델은 개념공간을 문서 및 단어와 동등한 매핑 공간으로 상정하여, 그 세 가지 공간에 대한 연관 관계를 모두 표현한다. 개념공간의 구성을 위해서 위키피디어 데이터를 활용하며, 하나의 개념은 하나의 위키피디어 페이지로부터 정의된다. 결과적으로 주어진 텍스트 문서집합을 의미적으로 해석이 가능한 3차 텐서(3-order tensor)로 표현하게 되며, 따라서 제안 모델을 텍스트 큐보이드 모델이라 명명한다. 20Newsgroup 문서집합을 사용하여 문서 및 개념 수준의 클러스터링 정확도를 평가함으로써, 제안 모델이 'Bag-of-Word' 방식의 대표적 모델인 벡터공간 모델에 비해 우수함을 보인다.

• 대한공간정보학회지
• /
• 제25권1호
• /
• pp.37-46
• /
• 2017

최근 우리나라는 사회적 요인에 의한 재난이 빈번하게 발생하고 있다. 어떤 위기가 도시민들을 위협할지 예측하기 어려워 우려가 높아지고 있다. 따라서 본 연구에서는 Python언어 기반 Tweepy 플러그인을 적용하여 트윗 데이터를 취득하는 프로그램을 개발하고, 자연어 처리 후 R Studio프로그램에서 텍스트 클러스터링 분석과 오피니언 마이닝 분석을 통하여 시민들의 건강에 영향을 미치는 성분이 검출된 '옥시'와 시민들에게 많은 공포감을 주었던 '묻지마 범죄'와 같은 사회적 재난에 대해 정신적 충격과 불안감을 평가하였다. 텍스트 클러스터링 분석에서 '옥시' 사건은 '정부의 대처능력이 세월호 사건과의 연관성', '옥시제품의 철수지시에도 여전한 판매' 등이 가장 높은 관심도를 보였다. 그리고 '묻지마 범죄' 사건은 '스크린 도어 사건, 세월호 사건 등 예측 못하는 사건에 대한 정부의 대응, 대책', '강남역, 부산의 범죄가 여성혐오로 인한 것' 등이 가장 높은 관심도를 보였다. 또한, 두 범죄를 비교 분석 하였을 때 묻지마 범죄에 대해 시민 감성도 평균 지수가 11.61%p 더 부정적이라는 것을 알 수 있었다.

• 한국산학기술학회논문지
• /
• 제18권10호
• /
• pp.215-226
• /
• 2017

이 연구는 1984~2015년간 국내 농식품 유통분야 연구동향을 파악하기 위해 텍스트마이닝 기법을 이용한 분석 결과이다. 텍스트마이닝은 빅데이터 분석방법의 일환으로, 많은 정보를 객관적으로 처리하여 연구주제 분류와 트렌드 분석에 이용할 수 있다. 실제분석에는 빈도분석, 토픽분석, 연관성분석을 수행하였다. 자료는 농업부문 4개 학술지 수록논문과 연구보고서 중 농식품 유통 관련 연구 제목를 이용하였다. 그 결과, 농식품 유통분야의 논문 1,126건은 6개 주제로 분류되었다. 2000년대를 기점으로 이전에는 도매와 산지연구가 활발했던 반면 이후에는 소비, 식품, 수출입 연구가 활발한 것으로 나타났다. 또한 로컬푸드와 학교급식 영역의 연구가 증가했다. 농산물 수급연구는 정책 연구보고서에서만 주기적으로 이루어졌으며, 학술논문에서는 2000년대 이후 관심주제에서 멀어지는 경향을 보였다. 2010년대 이후로는 특히 소비연구가 주류를 이루었고, 크게 소비트렌드와 소비자 행동에 관한 다양한 연구가 이루어졌다. 이 결과를 바탕으로 더 정확한 연구동향 분석을 하기위해서는, 정밀한 주제 분류기법으로 방법론을 보완하고 이용 자료를 키워드와 논문초록으로 확대함으로써 구체적인 결과를 도출해야 할 것이다.

• 한국콘텐츠학회논문지
• /
• 제21권4호
• /
• pp.38-49
• /
• 2021

본 연구는 텍스트마이닝 기법을 사용하여 1990년부터 2019년까지 5,141건의 신문기사에서 '허위·과장광고' 용어의 트렌드를 분석하였다. 우선 전체 신문기사를 대상으로 빈도 분석을 통해 허위·과장광고의 최빈 키워드와 추출된 키워드 간의 맥락을 확인하고자 하였다. 다음으로 허위·과장광고가 어떻게 변화해왔는지에 대해 고찰하기 위해 10년 단위로 기사를 분리하여 빈도 분석을 수행하였고, 연도별 최빈 키워드를 주제로 한학술논문 수와 비교하여 해당 시기에 이슈가 된 키워드가 연구로까지 이어진 경향성을 파악하였다. 마지막으로 토픽모델링 분석을 통해 토픽 내 세부 키워드를 바탕으로 허위·과장광고의 동향을 제시하였다. 연구 결과, 특정 시점에 이슈가 되었던 주제가 최빈 키워드로 추출되었고 시대별 키워드 트렌드는 사회적, 환경적 요인과 연관되어 변화함을 확인하였다. 본 연구는 소비자들이 부당광고에 대한 배경지식을 함양함으로써 현명한 소비를 이어 나갈 수 있도록 도움을 주는 데 의의가 있다. 더욱이 핵심 키워드 추출을 통해 위법행위를 저지른 기업 및 관련 종사자들에게 광고의 참된 목적을 제시하고, 시사점을 전달할 수 있을 것이라 기대한다.

• 인터넷정보학회논문지
• /
• 제25권3호
• /
• pp.43-54
• /
• 2024

본 연구는 텍스트 마이닝 기법을 활용하여 다양한 OTT(Over-The-Top) 서비스 플랫폼에 대한 사용자 반응을 비교한다. 연구의 주요 목표는 OTT 서비스 플랫폼의 사용자 만족도를 파악하여 보다 효과적인 리뷰 전략을 수립하는 데 기여하는 것이다. 본 연구에서 다루는 주요 질문에는 다양한 OTT 서비스에 대한 사용자 리뷰에서 두드러진 토픽과 키워드를 식별하고 플랫폼별 사용자 반응을 이해하는 것이 포함된다. 이를 위해 긍정, 부정 리뷰에서 중요 단어를 추출하기 위해 Tf-idf를, 복잡한 사용자 리뷰를 보다 정교하고 포괄적으로 분석하기 위해 고급 토픽 모델링 기법인 BERTopic을 사용한다. Tf-idf 분석한 결과, 앱에 대한 긍정 리뷰는 콘텐츠와 관련된 단어들의 수치가 높았으며 부정 리뷰에서는 앱 사용 과정에서 발생할 수 있는 문제점에 관한 단어 수치가 높게 기록되었다. BERTopic을 활용한 토픽 모델링에서는 콘텐츠의 속성과 연관 지어 콘텐츠의 다양성, 앱 성능 요소, 결제, 호환성에 관한 키워드를 도출하였으며, 플랫폼 별로 두각을 보이는 속성이 다르다는 점도 확인하였다. 본 연구 결과는 사용자 행동과 선호도에 대한 중요한 인사이트를 제공하며, 이를 통해 OTT 서비스 제공업체는 사용자 경험과 만족도를 개선하는 데 활용할 수 있다. 또한, 연구자들은 사용자 리뷰 텍스트 분석에서 딥러닝 모델을 활용한 연구의 아이디어를 얻을 수 있을 것이라 기대한다.

• 지능정보연구
• /
• 제22권4호
• /
• pp.87-107
• /
• 2016

융합을 통한 기술과 제품의 혁신을 이해하는 것은 중소기업의 생존을 위한 필수가 되었다. 특히, 이종 산업간 융합을 통한 제품 혁신과 성공을 위해서는 융합 가능한 아이템 즉, 제품과 기술, 아이디어를 탐색하고 대안을 찾는 것이 중요하다. 기존의 융합연구는 크게 두 가지의 한계를 갖는다. 첫째, 특허와 논문 등 기술정보를 기반으로 하는 기술융합 발굴은 시장의 수요를 인식하는데 한계가 있다. 본 논문은 중소 창업기업에 적용할 수 있는 시장융합(Market convergence)의 관점에서 새로운 융합 기회를 식별하려고 시도하였다. 이를 위해 세계 중소 수출입 기업이 이용하는 글로벌 B2B e-마켓플레이스의 제품 데이터베이스를 활용하였다. 둘째, 기존의 융합기회 발굴 연구는 이미 융합되어 존재하는 제품 또는 기술 기반의 연관성 및 관계를 파악하는데 집중하였다. 본 연구에서는 융합 가능한 새로운 사업기회의 발굴을 목적으로 구조적공백(Structural Hole) 이론을 적용하여, 상이한 산업군에서 서로 직접적인 연결 관계가 없는 키워드 간의 네트워크를 분석하여 융합의 가능성이 있는 새로운 융합 사업 테마를 도출하고자 한다. 이를 위해 제품명과 제품 기술서를 기반으로 제품 및 기술 용어 사전과 텍스트마이닝 을 활용하여 제품과 서비스의 특성을 추출하고, 이들 특성간 연관관계분석을 수행한 후, 네트워크 분석을 진행 하였다. 실험 데이터는 시장의 최신 동향을 파악하기 위해 2013년 1월 부터 2016년 7월까지 등록된 24만건의 e-카탈로그를 대상으로 하였으며, 분석의 효율성을 높이기 위해 기술 범위를 IT로 제한하고, IT 기술을 매개로 한 "Health & Medical"과 "Security & Protection" 카테고리 간의 융합 기회를 도출 하였다. 실험을 통하여 융합연관규칙 1,729을 추출하였으며, 지지도를 기반으로 100개의 규칙을 샘플링 하여, 구조적 공백을 분석하였다.

• Journal of the Korean Data Analysis Society
• /
• 제20권6호
• /
• pp.2907-2915
• /
• 2018

1998년에 창립한 한국자료분석 학회지는 자료분석에 기반한 다양한 전공분야를 위해 현재까지 응용학회지로서 역할을 해오고 있다. 본 연구에서는 이러한 한국자료분석 학회지의 본연의 목적을 잘 수행해오고 있는지 최근 10년간 학회지 요약문을 통해 분석하였다. 분석은 한국연구재단에서 제공한 온라인 저널 홈페이지를 통해 2006년부터 2016년까지의 영문 요약문 2680개를 웹크롤링하여 토픽모델을 적용하였다. 분석결과로 18개의 토픽이 선정되었으며 이에 대한 토픽을 해석한 결과 자료분석학회지는 간호학, 경영학(마케팅), 경제학 등 여러 분야를 다루고 있으며 분석방법으로 회귀분석, 가설검정, 데이터마이닝(연관성분석), 요인분석 등이 많이 이용되고 있음을 볼 수 있었다. 그리고 단어들의 연관성(association rule)분석을 통하여 통계적으로 유의한 연관성 규칙 10개를 제시하였다. 여기서 연관성규칙의 통계적 유의성검정은 피셔의 정확검정(Fisher's exact test)을 사용하였다. 또한 연구주제(토픽)의 변화를 살펴본 결과 전반기에는 조사연구가, 후반기에는 대조 연구가 많아졌음을 볼 수 있고 또한 회귀분석과 요인분석은 전, 후반기 구분 없이 자료분석에서 공통적으로 많이 사용하는 통계적 방법임을 알 수 있었다.

• 한국정보통신학회논문지
• /
• 제13권8호
• /
• pp.1687-1692
• /
• 2009

사이버 포렌식은 사이버 공간에서 일어나는 범죄 수사로 디지털 포렌식의 처리 절차와 기술적 방법을 그대로 사용한다. 사이버 범죄에는 사이버 테러와 사이버 공간을 이용한 일반사이버 범죄로 나눌 수 있는데 대부분 서로 연관되어 있다. 그리고 사이버 테러 수사에는 높은 수준의 조사 기법과 시스템 환경, 분야별 전문가가 필요하며, 일반 사이버 범죄는 사이버 공간에서의 디지털 증거에 의해 일반 범죄와 연결되어 있다. 그래서 관련 범죄 유형 판단이나 증거 수집, 법적 증거 능력 확보에 많은 어려움이 겪고 있다. 따라서 본 논문에서는 사이버 범죄 분류, 사이버 공간에서의 증거 수집, 사이버 범죄 관련 법 적용 등에 초점을 두었고, 효율적인 사이버 범죄 수사를 위한 사이버 범죄에 대한 개념 통합이 필요하여 사이버 범죄 분류, 관련 법률, 증거, 피의자, 사건 정보 등의 개념과 속성과 관련도를 이용한 개념망으로 사이버 포렌식 범주 온톨리지를 구축하였다. 이 온톨로지는 사이버 사건 수사 절차와 범죄 유형, 사건, 증거, 용의자 등의 분류, 클러스터링, 연관 검색, 탐지 등의 데이터 마이닝에 활용할 수 있다.