• 제목/요약/키워드: news articles

검색결과 584건 처리시간 0.019초

텍스트 마이닝을 이용한 2012년 한국대선 관련 트위터 분석 (Analysis of Twitter for 2012 South Korea Presidential Election by Text Mining Techniques)

  • 배정환;손지은;송민
    • 지능정보연구
    • /
    • 제19권3호
    • /
    • pp.141-156
    • /
    • 2013
  • 최근 소셜미디어는 전세계적 커뮤니케이션 도구로서 사용에 전문적인 지식이나 기술이 필요하지 않기 때문에 이용자들로 하여금 콘텐츠의 실시간 생산과 공유를 가능하게 하여 기존의 커뮤니케이션 양식을 새롭게 변화시키고 있다. 특히 새로운 소통매체로서 국내외의 사회적 이슈를 실시간으로 전파하면서 이용자들이 자신의 의견을 지인 및 대중과 소통하게 하여 크게는 사회적 변화의 가능성까지 야기하고 있다. 소셜미디어를 통한 정보주체의 변화로 인해 데이터는 더욱 방대해지고 '빅데이터'라 불리는 정보의 '초(超)범람'을 야기하였으며, 이러한 빅데이터는 사회적 실제를 이해하기 위한 새로운 기회이자 의미 있는 정보를 발굴해 내기 위한 새로운 연구분야로 각광받게 되었다. 빅데이터를 효율적으로 분석하기 위해 다양한 연구가 활발히 이루어지고 있다. 그러나 지금까지 소셜미디어를 대상으로 한 연구는 개괄적인 접근으로 제한된 분석에 국한되고 있다. 이를 적절히 해결하기 위해 본 연구에서는 트위터 상에서 실시간으로 방대하게 생성되는 빅스트림 데이터의 효율적 수집과 수집된 문헌의 다양한 분석을 통한 새로운 정보와 지식의 마이닝을 목표로 사회적 이슈를 포착하기 위한 실시간 트위터 트렌드 마이닝 시스템을 개발 하였다. 본 시스템은 단어의 동시출현 검색, 질의어에 의한 트위터 이용자 시각화, 두 이용자 사이의 유사도 계산, 트렌드 변화에 관한 토픽 모델링 그리고 멘션 기반 이용자 네트워크 분석의 기능들을 제공하고, 이를 통해 2012년 한국 대선을 대상으로 사례연구를 수행하였다. 본 연구를 위한 실험문헌은 2012년 10월 1일부터 2012년 10월 31일까지 약 3주간 1,737,969건의 트윗을 수집하여 구축되었다. 이 사례연구는 최신 기법을 사용하여 트위터에서 생성되는 사회적 트렌드를 마이닝 할 수 있게 했다는 점에서 주요한 의의가 있고, 이를 통해 트위터가 사회적 이슈의 변화를 효율적으로 추적하고 예측하기에 유용한 도구이며, 멘션 기반 네트워크는 트위터에서 발견할 수 있는 고유의 비가시적 네트워크로 이용자 네트워크의 또 다른 양상을 보여준다.

전역 토픽의 지역 매핑을 통한 효율적 토픽 모델링 방안 (Efficient Topic Modeling by Mapping Global and Local Topics)

  • 최호창;김남규
    • 지능정보연구
    • /
    • 제23권3호
    • /
    • pp.69-94
    • /
    • 2017
  • 최근 빅데이터 분석 수요의 지속적 증가와 함께 관련 기법 및 도구의 비약적 발전이 이루어지고 있으며, 이에 따라 빅데이터 분석은 소수 전문가에 의한 독점이 아닌 개별 사용자의 자가 수행 형태로 변모하고 있다. 또한 전통적 방법으로는 분석이 어려웠던 비정형 데이터의 활용 방안에 대한 관심이 증가하고 있으며, 대표적으로 방대한 양의 텍스트에서 주제를 도출해내는 토픽 모델링(Topic Modeling)에 대한 연구가 활발히 진행되고 있다. 전통적인 토픽 모델링은 전체 문서에 걸친 주요 용어의 분포에 기반을 두고 수행되기 때문에, 각 문서의 토픽 식별에는 전체 문서에 대한 일괄 분석이 필요하다. 이로 인해 대용량 문서의 토픽 모델링에는 오랜 시간이 소요되며, 이 문제는 특히 분석 대상 문서가 복수의 시스템 또는 지역에 분산 저장되어 있는 경우 더욱 크게 작용한다. 따라서 이를 극복하기 위해 대량의 문서를 하위 군집으로 분할하고, 각 군집별 분석을 통해 토픽을 도출하는 방법을 생각할 수 있다. 하지만 이 경우 각 군집에서 도출한 지역 토픽은 전체 문서로부터 도출한 전역 토픽과 상이하게 나타나므로, 각 문서와 전역 토픽의 대응 관계를 식별할 수 없다. 따라서 본 연구에서는 전체 문서를 하위 군집으로 분할하고, 각 하위 군집에서 대표 문서를 추출하여 축소된 전역 문서 집합을 구성하고, 대표 문서를 매개로 하위 군집에서 도출한 지역 토픽으로부터 전역 토픽의 성분을 도출하는 방안을 제시한다. 또한 뉴스 기사 24,000건에 대한 실험을 통해 제안 방법론의 실무 적용 가능성을 평가하였으며, 이와 함께 제안 방법론에 따른 분할 정복(Divide and Conquer) 방식과 전체 문서에 대한 일괄 수행 방식의 토픽 분석 결과를 비교하였다.

CNN-LSTM 조합모델을 이용한 영화리뷰 감성분석 (Sentiment Analysis of Movie Review Using Integrated CNN-LSTM Mode)

  • 박호연;김경재
    • 지능정보연구
    • /
    • 제25권4호
    • /
    • pp.141-154
    • /
    • 2019
  • 인터넷 기술과 소셜 미디어의 빠른 성장으로 인하여, 구조화되지 않은 문서 표현도 다양한 응용 프로그램에 사용할 수 있게 마이닝 기술이 발전되었다. 그 중 감성분석은 제품이나 서비스에 내재된 사용자의 감성을 탐지할 수 있는 분석방법이기 때문에 지난 몇 년 동안 많은 관심을 받아왔다. 감성분석에서는 주로 텍스트 데이터를 이용하여 사람들의 감성을 사전 정의된 긍정 및 부정의 범주를 할당하여 분석하며, 이때 사전 정의된 레이블을 이용하기 때문에 다양한 방향으로 연구가 진행되고 있다. 초기의 감성분석 연구에서는 쇼핑몰 상품의 리뷰 중심으로 진행되었지만, 최근에는 블로그, 뉴스기사, 날씨 예보, 영화 리뷰, SNS, 주식시장의 동향 등 다양한 분야에 적용되고 있다. 많은 선행연구들이 진행되어 왔으나 대부분 전통적인 단일 기계학습기법에 의존한 감성분류를 시도하였기에 분류 정확도 면에서 한계점이 있었다. 본 연구에서는 전통적인 기계학습기법 대신 대용량 데이터의 처리에 우수한 성능을 보이는 딥러닝 기법과 딥러닝 중 CNN과 LSTM의 조합모델을 이용하여 감성분석의 분류 정확도를 개선하고자 한다. 본 연구에서는 대표적인 영화 리뷰 데이터셋인 IMDB의 리뷰 데이터 셋을 이용하여, 감성분석의 극성분석을 긍정 및 부정으로 범주를 분류하고, 딥러닝과 제안하는 조합모델을 활용하여 극성분석의 예측 정확도를 개선하는 것을 목적으로 한다. 이 과정에서 여러 매개 변수가 존재하기 때문에 그 수치와 정밀도의 관계에 대해 고찰하여 최적의 조합을 찾아 정확도 등 감성분석의 성능 개선을 시도한다. 연구 결과, 딥러닝 기반의 분류 모형이 좋은 분류성과를 보였으며, 특히 본 연구에서 제안하는 CNN-LSTM 조합모델의 성과가 가장 우수한 것으로 나타났다.

메타데이터 상호운용성을 위한 기록관리 메타데이터 표준 분석 5W1H와 태스크 모델의 관점에서 (Analysis of Metadata Standards of Record Management for Metadata Interoperability From the viewpoint of the Task model and 5W1H)

  • 백재은;스기모토 시게오
    • 기록학연구
    • /
    • 제32호
    • /
    • pp.127-176
    • /
    • 2012
  • 메타데이터 표준규격(이하 메타데이터 표준으로 기재)은 디지털 자원(Digital resource)의 장기보존 및 디지털 아카이브를 위해 필요한 기본 요소 중 하나로, 이는 현대 정보사회에서 중요한 요소로 잘 알려져 있다. 자원(Resource)의 기록관리와 아카이브, 장기보존을 위한 메타데이터 표준은 다양하며, AGRkMS, EAD, ISAD(G), OAIS, PREMIS5) 등이 이용되고 있다. 우리는 아카이브 시스템의 메타데이터 표준을 디자인하기 위해 목적에 따른 메타데이터 표준을 선택하고 맞춤화(Customization)하지 않으면 안 된다. 한편으로, 다른 시스템의 메타데이터 스키마와의 상호운용성(Interoperability)에 대한 고찰도 실시하지 않으면 안 된다. 이전 연구에서, 우리는 기록 생애 주기(Records lifecycle)라는 관점으로부터 메타데이터 표준의 특성에 대해 분석을 실시하였다. 이로 인해, 각 메타데이터 표준 요소가 해당하는 기록 생애 주기의 처음 단계를 확인할 수 있었고, 아카이브 혹은 보존을 위해서는 하나의 메타데이터 표준만으로 기록 생애 주기 전체를 포괄할 수 없다는 것을 보여 주었다. 우리는 이 분석을 통해서 기록 생애 주기의 단계와 메타데이터 표준간의 관계, 기록 생애 주기 전체에서의 메타데이터 특성은 볼 수 있었으나, 보다 상세한 분석을 실시하는 것은 앞으로의 과제로 남겨두었다. 지금까지의 연구에 근거하여, 본 논문은 기록 생애 주기의 관점에서 디지털 아카이브와 보존, 기록관리를 위한 메타데이터 표준의 특징 분석을 위해, 기록 생애 주기 안에서 실행되는 업무의 관점으로부터 메타데이터 스키마를 재 파악하고 분석하였다. 지금까지 메타데이터 스키마는 기술대상이 되는 자원을 중심으로 정의되었기 때문에 기록 생애 주기 전체와 생애 주기 안의 각 단계에서 이용되는 메타데이터 표준간의 매핑을 위한 적절한 방법이 없었다. 이에 본 논문에서는 각기 다른 메타데이터 표준의 기술 요소를, 기록 생애 주기에 포함시키는 업무와 연결시키는 것으로 메타데이터 표준간의 매핑 방법을 제안한다. 본 연구에서는 메타데이터 표준 분석을 위한 프레임워크(Framework)로, 기록 생애 주기를 이용하여 작성한 자원의 업무중심 모델, 즉 태스크 모델(Task Model)을 제안한다. 태스크 모델을 이용함에 있어서 업무를 실행하는 '이벤트(Event)'의 관점을 보다 명확하게 할 수 있다. 한편, 업무를 중심으로 기술 요소간의 매핑을 보다 효율적으로 실시하기 위해서는 요소를 카테고리 화하여 매핑의 대상 범위를 좁히는 것이 중요하다. 이를 위해 우리는 범용성을 가진 5W1H모델(Who, What, Why, When, Where, How)을 이용하여, 기술 요소를 카테고리 화 하는 것을 제안한다. 그리고 태스크 모델과 5W1H 모델을 이용하여 메타데이터 표준 요소에 특징을 부여하고, 요소 간의 매핑을 실시하여 표준 간 관계를 확인하였다. 태스크 모델은 기록 생애 주기 전체에 업무의 관점을 반영한 것으로, 이 모델을 이용함으로써 기록 생애 주기와 그 안의 각 업무에 대한 메타데이터 표준의 사용, 그리고 특징 분석을 위해 실시되는 기술 요소간의 매핑이 가능할 수 있었다. 또한, 5W1H 카테고리를 이용하여 업무와 자원에 관련되는 기술 요소간의 관계를 살펴보는 것으로, 관계가 명확해지는 것과 함께 조사대상을 좁히는 것이 가능하게 되었다. 이 프레임워크의 제안과 이용으로 우리는 특징 분석을 위해 실시되는 매핑 혹은 분류가 단순한 일반적인 매핑이 아닌 의미적인 분류를 할 수 있었다. 본 연구에서는 이 모델들을 이용하여, 메타데이터 표준간의 크로스워크를 정의하였다. 그리고 태스크 모델의 각 단계의 문맥 내에서 메타데이터 기술 요소의 특성을 매핑 예로 확인하고, 이를 바탕으로 하여 프레임워크에 대해 고찰하였다.