• 제목/요약/키워드: Data stream mining

검색결과 97건 처리시간 0.036초

텍스트 마이닝을 이용한 2012년 한국대선 관련 트위터 분석 (Analysis of Twitter for 2012 South Korea Presidential Election by Text Mining Techniques)

  • 배정환;손지은;송민
    • 지능정보연구
    • /
    • 제19권3호
    • /
    • pp.141-156
    • /
    • 2013
  • 최근 소셜미디어는 전세계적 커뮤니케이션 도구로서 사용에 전문적인 지식이나 기술이 필요하지 않기 때문에 이용자들로 하여금 콘텐츠의 실시간 생산과 공유를 가능하게 하여 기존의 커뮤니케이션 양식을 새롭게 변화시키고 있다. 특히 새로운 소통매체로서 국내외의 사회적 이슈를 실시간으로 전파하면서 이용자들이 자신의 의견을 지인 및 대중과 소통하게 하여 크게는 사회적 변화의 가능성까지 야기하고 있다. 소셜미디어를 통한 정보주체의 변화로 인해 데이터는 더욱 방대해지고 '빅데이터'라 불리는 정보의 '초(超)범람'을 야기하였으며, 이러한 빅데이터는 사회적 실제를 이해하기 위한 새로운 기회이자 의미 있는 정보를 발굴해 내기 위한 새로운 연구분야로 각광받게 되었다. 빅데이터를 효율적으로 분석하기 위해 다양한 연구가 활발히 이루어지고 있다. 그러나 지금까지 소셜미디어를 대상으로 한 연구는 개괄적인 접근으로 제한된 분석에 국한되고 있다. 이를 적절히 해결하기 위해 본 연구에서는 트위터 상에서 실시간으로 방대하게 생성되는 빅스트림 데이터의 효율적 수집과 수집된 문헌의 다양한 분석을 통한 새로운 정보와 지식의 마이닝을 목표로 사회적 이슈를 포착하기 위한 실시간 트위터 트렌드 마이닝 시스템을 개발 하였다. 본 시스템은 단어의 동시출현 검색, 질의어에 의한 트위터 이용자 시각화, 두 이용자 사이의 유사도 계산, 트렌드 변화에 관한 토픽 모델링 그리고 멘션 기반 이용자 네트워크 분석의 기능들을 제공하고, 이를 통해 2012년 한국 대선을 대상으로 사례연구를 수행하였다. 본 연구를 위한 실험문헌은 2012년 10월 1일부터 2012년 10월 31일까지 약 3주간 1,737,969건의 트윗을 수집하여 구축되었다. 이 사례연구는 최신 기법을 사용하여 트위터에서 생성되는 사회적 트렌드를 마이닝 할 수 있게 했다는 점에서 주요한 의의가 있고, 이를 통해 트위터가 사회적 이슈의 변화를 효율적으로 추적하고 예측하기에 유용한 도구이며, 멘션 기반 네트워크는 트위터에서 발견할 수 있는 고유의 비가시적 네트워크로 이용자 네트워크의 또 다른 양상을 보여준다.

국내 토양오염 공정시험방법의 용출법 사용시 용출액의 pH의 변화가 토양 오염 평가에 미치는 문제점 (The controversial points for the assessment of soil contamination related to the change of pH of extraction solution in using partial extraction in standard method in Korea)

  • 오창환;유연희;이평구;이영엽
    • 한국지하수토양환경학회:학술대회논문집
    • /
    • 한국지하수토양환경학회 2000년도 추계학술대회
    • /
    • pp.294-297
    • /
    • 2000
  • Heavy metals are extracted from Chonju stream sediment, roadside soils and sediments along Honam expressway, soils and tailings from mining area using partial ectraction in Standard Method, partial ectraction method with maintaining 0.1N of extraction solution and acid digestion. In samples having buffer capacity against acid, 0.1N of extraction solution can not be maintained and pH of extraction solution increases up to 8.0 when partial extraction in Standard Method is used. The averages and ranges of (heavy metals extracted using partial extraction in standard method, HPE)/(heavy metals extracted using partial extraction method with maintaining 0.1N of extraction solution, HPEM) values are 0.506 and 0.145~1.126 in Cd, 0.534~ and 0.078~0.928 in Zn, 0.461 and 0.041~1.715 in Mn, 0.359 and 0.011~0.874 in Cu, 0.195 and 0.018~1.785 in Cr, 0.710 and 0.003~3.075 in Pb, and 0.088 and 1.73$\times$10$^{-5}$ ~0.303 in Fe. These data indicate that the difference between HPE and HPEM is big in the order of Fe, Cr, Cu, Mn, Cd, Zn and Pb. It is quite possible that the partial extraction method in Standard Method of soil in Korea is not adequate for an assessment of contamination in area where buffer capacity of soil will be decreased or lost after a long term exposure of soils to environmental damage.

  • PDF

텍스트 마이닝을 활용한 Youtube 광고에 대한 소비자 인식 분석 (A Study on Analysis of consumer perception of YouTube advertising using text mining)

  • 엄성원
    • 경영과정보연구
    • /
    • 제39권2호
    • /
    • pp.181-193
    • /
    • 2020
  • 본 연구는 최근에 이슈가 되고 있는 텍스트마이닝을 활용하여 소비자 인식을 분석한 연구이다. 이를 위해 삼성갤럭시 Youtube 광고에 대한 소비자 리뷰 분석을 통해 소비자들이 가지고 있는 삼성 갤럭시에 대한 인식을 분석하였다. 분석을 위해 Youtube 광고의 소비자 리뷰 1,819개를 추출하였다. 이를 데이터 전처리 과정을 거쳐 광고와 관련된 키워드를 명사, 형용사, 부사로 분류하여 추출하였다. 이후 빈도 분석 및 감성 분석을 실시하였으며 마지막으로 구조적 등위성 분석을 통한 군집화를 실시하였다. 본 연구 결과를 간략히 요약하면 다음과 같다. 첫 번째 가장 많이 언급된 단어는 갤럭시 노트(n=217), 좋음(n=135), 펜(n=40), 기능(n=29) 등으로 나타났다. 이는 소비자들이 광고를 통해 "갤럭시 노트", "좋음", "펜", "기능"은 삼성 핸드폰 제품에 대해 기능적인 면이 좋고, 노트 펜에 대해서 긍정적으로 높게 인식한다고 판단할 수 있다. 추가적으로 "삼성페이", "혁신", "디자인", "아이폰" 등에 대한 인식은 삼성 핸드폰에 대해 혁신적인 디자인과 삼성페이의 기능적인 면에서 상당히 좋은 평가를 하는 것을 알 수 있다. 두 번째, Youtube 광고에 대한 감성분석 결과이다. 감성 분석 결과 감성강도 비율이 긍정(75.95%)로 부정(24.05%)보다 높게 나타났다. 이는 소비자들이 삼성 갤럭시 모바일폰에 대해 긍정적으로 인식하고 있음을 의미한다. 감성 키워드 분석 결과 긍정키워드의 경우는 "좋다", "후하다", "혁신적", "최고다", "빠르다", "예쁘다" 등으로 나타났으며, 부정키워드의 경우는 "겁난다", "울고싶다", "불편", "아쉽다", "싫다" 등이 추출되었다. 본 연구이 시사점은 기존 광고에 대한 소비자 인식 연구를 살펴보면 대부분 정량적 분석 방법에 의한 연구가 대부분이었다. 본 연구에서는 광고에 대한 정량적 연구 방법에서 탈피하여 정성적 연구를 통해 소비자 인식분석을 시도하였다. 이는 향후 연구에도 많은 영향을 미칠 것으로 판단되며, 정성적 연구를 통해 소비자 인식 연구의 출발점이 될 것으로 확신한다.

토픽 모델링을 이용한 트위터 이슈 트래킹 시스템 (Twitter Issue Tracking System by Topic Modeling Techniques)

  • 배정환;한남기;송민
    • 지능정보연구
    • /
    • 제20권2호
    • /
    • pp.109-122
    • /
    • 2014
  • 현재 우리는 소셜 네트워크 서비스(Social Network Service, 이하 SNS) 상에서 수많은 데이터를 만들어 내고 있다. 특히, 모바일 기기와 SNS의 결합은 과거와는 비교할 수 없는 대량의 데이터를 생성하면서 사회적으로도 큰 영향을 미치고 있다. 이렇게 방대한 SNS 데이터 안에서 사람들이 많이 이야기하는 이슈를 찾아낼 수 있다면 이 정보는 사회 전반에 걸쳐 새로운 가치 창출을 위한 중요한 원천으로 활용될 수 있다. 본 연구는 이러한 SNS 빅데이터 분석에 대한 요구에 부응하기 위해, 트위터 데이터를 활용하여 트위터 상에서 어떤 이슈가 있었는지 추출하고 이를 웹 상에서 시각화 하는 트위터이슈 트래킹 시스템 TITS(Twitter Issue Tracking System)를 설계하고 구축 하였다. TITS는 1) 일별 순위에 따른 토픽 키워드 집합 제공 2) 토픽의 한달 간 일별 시계열 그래프 시각화 3) 토픽으로서의 중요도를 점수와 빈도수에 따라 Treemap으로 제공 4) 키워드 검색을 통한 키워드의 한달 간 일별 시계열 그래프 시각화의 기능을 갖는다. 본 연구는 SNS 상에서 실시간으로 발생하는 빅데이터를 Open Source인 Hadoop과 MongoDB를 활용하여 분석하였고, 이는 빅데이터의 실시간 처리가 점점 중요해지고 있는 현재 매우 주요한 방법론을 제시한다. 둘째, 문헌정보학 분야뿐만 아니라 다양한 연구 영역에서 사용하고 있는 토픽 모델링 기법을 실제 트위터 데이터에 적용하여 스토리텔링과 시계열 분석 측면에서 유용성을 확인할 수 있었다. 셋째, 연구 실험을 바탕으로 시각화와 웹 시스템 구축을 통해 실제 사용 가능한 시스템으로 구현하였다. 이를 통해 소셜미디어에서 생성되는 사회적 트렌드를 마이닝하여 데이터 분석을 통한 의미 있는 정보를 제공하는 실제적인 방법을 제시할 수 있었다는 점에서 주요한 의의를 갖는다. 본 연구는 JSON(JavaScript Object Notation) 파일 포맷의 1억 5천만개 가량의 2013년 3월 한국어 트위터 데이터를 실험 대상으로 한다.

주경로 분석과 연관어 네트워크 분석을 통한 '구전(WoM)' 관련 연구동향 분석 (Analysis of Research Trends of 'Word of Mouth (WoM)' through Main Path and Word Co-occurrence Network)

  • 신현보;김혜진
    • 지능정보연구
    • /
    • 제25권3호
    • /
    • pp.179-200
    • /
    • 2019
  • 구전(Word-of-Mouth) 활동은 오래 전부터 기업의 마케팅 과정에서 중요성을 인식하고 특히 마케팅 분야에서 많은 주목을 받아왔다. 최근에는 인터넷의 발달에 따라 온라인 뉴스, 온라인 커뮤니티 등에서 사람들이 지식과 정보를 주고 받는 방식이 다양해지면서 구전은 후기, 평점, 좋아요 등으로 입소문의 양상이 다각화되고 있다. 이러한 현상에 따라 구전에 관한 다양한 연구들이 선행되어왔으나, 이들을 종합적으로 분석한 메타 분석 연구는 부재하다. 본 연구는 학술 빅데이터를 활용해 구전 관련 연구동향을 알아내기 위해서 텍스트 마이닝 기법을 적용하여 주요 연구들을 추출하고 시기별로 연구들의 주요 쟁점을 파악하는 기법을 제안하였다. 이를 위해서 1941년부터 2018년까지 인용 데이터베이스인 Scopus에서 'Word-of-Mouth'라는 키워드로 검색되는 총 4389건의 문헌을 수집하였고, 영어 형태소 분석과 불용어 제거 등 전처리 과정을 통해 데이터를 정제하였다. 본 연구는 학문 분야의 발전 궤적을 추적하는 데 활용되는 주경로 분석기법을 적용해 구전과 관련된 핵심 연구들을 추출하여 연구동향을 거시적 관점에서 제시하였고, 단어동시출현 정보를 추출하여 키워드 간 네트워크를 구축하여 시기별로 구전과 관련된 연관어들이 어떻게 변화되었는지 살펴봄으로써 연구동향을 미시적 관점에서 제시하였다. 수집된 문헌 데이터를 기반으로 인용 네트워크를 구축하고 SPC 가중치를 적용하여 키루트 주경로를 추출한 결과 30개의 문헌으로 구성된 주경로가 추출되었고, 연관어 네트워크 분석을 통해서는 시기별로 온라인 시대, 관광 산업 등 다양한 산업군 등 산업 변화가 반영돼 시대적 변화와 더불어 발전하고 있는 학술적 영역의 변화를 확인할 수 있었다.

실시간 이슈 탐지를 위한 일반-급상승 단어사전 생성 및 매칭 기법 (A Generation and Matching Method of Normal-Transient Dictionary for Realtime Topic Detection)

  • 최봉준;이한주;용우석;이원석
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제13권5호
    • /
    • pp.7-18
    • /
    • 2017
  • 트위터는 사용자들에게 정보를 받거나 교환하는 채널로써의 역할이 활발히 이루어지고 있고 새로운 사건이 발생했을 때 빠르게 반응하기 때문에 지진이나 홍수, 자살 등의 새로운 사건을 탐지하는 센서역할로 활용할 수 있다. 그리고 사건을 탐지하기 위해서 우선적으로 관련된 트윗 추출이 필수적이다. 하지만 관련된 트윗을 찾기 위해 관련 키워드를 포함한 트윗을 추출하기 때문에 해당 키워드가 없지만 의미적으로 사건과 관련이 있는 트윗은 찾지 못하는 문제점이 있다. 또한 기존의 연구들은 디스크에 저장된 데이터에 대한 분석이 주를 이루고 있어 원하는 결과를 얻기 위해서는 데이터를 수집하여 저장하고 분석에 이르기까지 오랜 시간이 소모된다. 이러한 문제점을 해결하기 위해 본 연구에서는 실시간 이슈 탐지를 위한 일반-급상승 단어 사전 생성 및 매칭 기법을 제안한다. 데이터 스트림 인메모리 기반으로 일반-급상승 단어 사전을 생성 및 관리하기 때문에 새로운 사건을 빠르게 학습하고 대응할 수 있다. 또한 분석을 원하는 주제의 일반 사전과 급상승 사전을 동시에 관리하기 때문에 기존의 방법으로 찾지 못하는 트윗을 검출해 낼 수 있다. 본 연구를 통해 빠른 정보와 대응이 필요한 분야에 즉시적으로 활용할 수 있다.

용출액의 pH 변화가 토양내 중금속 용출에 미치는 영향과 그에 따른 국내 토양 오염 공정시험방법의 문제점 (The Effects of pH Change in Extraction Solution on the Heavy Metals Extraction from Soil and Controversial Points for Partial Extraction in Korean Standard Method)

  • 오창환;유연희;이평구;이영엽
    • 자원환경지질
    • /
    • 제36권3호
    • /
    • pp.159-170
    • /
    • 2003
  • 전주시 하천 퇴적물시료, 호남고속도로 주변의 토양과 퇴적물 시료, 광산주변 광미 및 토양시료를 대상으로 토양오염 공정시험방법상의 용출법, 0.1N 유지용출법, Tessir et al.(1979)의 연속추출방법을 적용하여 중금속을 추출하고 그 결과를 비교하였다. 공정시험방법상의 용출법 사용시 산에 대한 완충능력이 있는 시료는 용출액의 pH 1(0.1N HCl)이 유지되지 못했고 용출액의 pH가 최고 8.0까지 증가하였다. 또한, 토양오염 공정시험방법상의 용출법 사용시 중금속 추출량(HPE)/0.1 N 유지용출법 사용시 중금속 추출량(HPEM) 값의 평균치와 범위는 Cd의 경우 0.479와 0.145~0.929, Zn의 경우 0.534와 0.078~0.928, Mn의 경우 0.432와 0.041~0.992, Cu의 경우 0,359와 0.011~0.874, Cr의 경우 0.150과 0.018~0.530, Pb의 경우 0.219와 0.003~0.853, 그리고 Fe의 경우 0.088과 1.73${\times}$$10^{-5}$~0.303이다. 이는 두 전처리 방법에 의해 추출된 중금속량의 차이가 Fe>Cr>Pb>Cu〉Mn>Cd>Zn 순임을 지시한다. HPE, HPEM과 연속추출법 비교시 Zn, Cd, Mn의 경우 추출량은 대체적으로 연속추출 3단계까지의 합$\geq$0.1N 유지용출법>연속추출 2단계까지의 합$\geq$용출법 순이었으며, Cr과 Fe의 경우 연속추출 3단계까지 합》0.1N 유지용출법>용출법 순이었으며 연속추출 2단계 까지 합은 Cr의 경우 0.1N 유지용출법의 추출량보다 낮았고 용출법의 추출량보다 높았다. Cu의 경우 연속추출 4단계까지의 합$\geq$0.1N 유지용출법>3단계까지의 합 용출법으로 나타났다. 0.1N유지위해 첨가된 염산의 양이 증가할수록, 즉 시료내의 산에 대한 완충능력이 증가할수록 HPE/HPEM 값이 감소하며, 완충능력이 큰 시료의 경우 모든 원소에서 HPE/HPEM이 0.2보다 낮다. 완충능력이 낮은 시료의 경우 Zn, Cd, Mn, Cu는 연속추출 1,2단계의 합과 연속추출 3단계의 중금속 추출함량간의 차이가 적고, 다른 원소에 비해서 상대적인 유동도가 높기 때문에 HPE/HPEM이 대채적으로 0.2보다 높으며 0.6이상의 값을 갖는 시료가 많다. 그러나, Fe, Cr의 경우는 상대적으로 Zn, Cd, Mn, Cu에 비해 유동도가 낮고, 연속추출 3단계의 함량이 1+2단계의 함량과 차이가 커 완충능력이 낮은 시료의 HPE/HPEM값도 전반적으로 0.2보다 낮다. 이러한 연구결과는 국내 토양오염 공정시험방법상의 전처리 방법인 용출법이 장래에 장기적으로 산성비와 같은 환경피해에 노출되어 토양의 완충능력이 감소하거나 상실될 수 있는 지역의 오염평가에 적합치 않을 가능성을 제시한다.