• 제목/요약/키워드: Web Text Analysis

검색결과 279건 처리시간 0.028초

빅데이터 분석 도구 R을 이용한 비정형 데이터 텍스트 마이닝과 시각화 (Text Mining and Visualization of Unstructured Data Using Big Data Analytical Tool R)

  • 남수태;신성윤;진찬용
    • 한국정보통신학회논문지
    • /
    • 제25권9호
    • /
    • pp.1199-1205
    • /
    • 2021
  • 빅데이터 시대에는 단순히 데이터베이스에 잘 정리된 정형 데이터뿐만 아니라 인터넷, 소셜 네트워크 서비스, 모바일 환경에서 실시간 생성되는 웹 문서, 이메일, 소셜 데이터 등 비정형 빅데이터를 효과적으로 분석하는 것이 매우 중요하다. 빅데이터 분석은 데이터 저장소에 저장된 빅데이터 속에서 의미 있는 새로운 상관관계, 패턴, 추세를 발견하여 새로운 가치를 창출하는 과정이다. 빅데이터 분석 도구인 R 언어를 이용하여 비정형 논문 데이터를 빈도분석을 통해 분석결과를 요약과 시각화하고자 한다. 본 연구에서 사용된 데이터는 한국정보통신학회 학회지 논문 중에서 2021년 1월호-5월호 총 논문 104편을 대상으로 분석하였다. 최종 분석결과 가장 많이 언급된 키워드는 "데이터"가 1,538회로 1위를 차지하였다. 따라서 분석결과를 바탕으로 연구의 한계와 이론적 실무적 시사점을 제시하고자 한다.

학회 웹사이트의 토픽 정보추출을 이용한 주제에 따른 학회 자동분류 기법 (Academic Conference Categorization According to Subjects Using Topical Information Extraction from Conference Websites)

  • 이수경;김관호
    • 한국전자거래학회지
    • /
    • 제22권2호
    • /
    • pp.61-77
    • /
    • 2017
  • 최근 온라인상에 게시된 학회정보가 급증함으로써 주제에 따른 학회정보의 자동분류는 연구자들에게 효율적인 관련 학회 탐색을 가능하게 한다. 그러나 대부분의 학회 목록 제공 서비스에서는 학회명칭, 날짜, 위치, URL 등의 정보만 제공하기 때문에 학회 주제를 파악할 수 있는 정보는 학회명칭에 국한된다. 따라서 본 연구에서는 URL을 통한 학회 웹사이트의 토픽정보를 추출함으로써 학회정보량의 부족문제를 해결하고, 동시에 양질의 정보로 학습의 성능을 향상시키는 기법을 제안한다. 구체적으로는 웹사이트 URL을 통해 수집한 HTML 문서로부터 주요 콘텐츠를 추출하고, 학회명칭과 유사한 토픽 키워드 정보를 선정하여 추가 가중치를 부여한다. 실 데이터를 활용한 실험 결과, 제안된 방법인 추가적인 웹 콘텐츠 정보의 사용은 주제에 따른 학회 분류의 성능을 성공적으로 향상시킬 수 있음을 확인하였다. 추후 연구에서는 웹 사이트의 구조를 고려한 토픽 정보추출을 통해 분류의 정확성을 더욱 향상시킬 계획이다.

과학 기술 문헌 분석을 위한 기계학습 기반 범용 전문용어 인식 시스템 (Terminology Recognition System based on Machine Learning for Scientific Document Analysis)

  • 최윤수;송사광;전홍우;정창후;최성필
    • 정보처리학회논문지D
    • /
    • 제18D권5호
    • /
    • pp.329-338
    • /
    • 2011
  • 문헌에서의 전문용어 인식 연구는 정보검색, 정보추출, 시맨틱 웹, 질의응답 분야 등의 연구를 위한 선행 연구로서, 지금까지 대부분 특정 분야, 특히 생의학 분야에서 집중되어 연구되어 왔다. 그러나 기존 연구들이 특정 도메인 또는 문헌 내부 통계 정보를 활용함으로써 범용적인 전문용어 인식에 한계점을 보여 왔기 때문에, 본 연구에서는 웹 검색 결과와 사전, 후보용어의 문형 특징 등을 활용하는 기계 학습 기반 범용 전문용어 인식 방법을 제안하였다. 제안한 방법을 문헌의 지역 통계 정보를 사용하는 방법(C-value)과 비교 실험하여 80.8%의 F-값으로 6.5%의 성능향상을 보였다. 다양한 응집도 자질들을 접목한 두 번째 실험에서는 Normalized Google Distance 방법과 접목한 방식이 F-값 81.8%의 성능으로 최고의 성능을 나타냈다. 기계 학습 방법으로는 로지스틱 회귀분석, C4.5, SVMs 등을 적용하였는데, 일반적으로 이진 분류에 좋은 성능을 보이는 SVMs과 로지스틱 회귀분석 방법보다 결정 트리 방식의 C4.5가 전반적으로 좋은 성능을 보였다.

간호사의 직장 내 괴롭힘 관련 온라인 뉴스기사 댓글에 대한 토픽 모델링 분석 (A Topic Modeling Analysis for Online News Article Comments on Nurses' Workplace Bullying)

  • 강지연;김수경;노승국
    • 대한간호학회지
    • /
    • 제49권6호
    • /
    • pp.736-747
    • /
    • 2019
  • Purpose: This study aimed to explore public opinion on workplace bullying in the nursing field, by analyzing the keywords and topics of online news comments. Methods: This was a text-mining study that collected, processed, and analyzed text data. A total of 89,951 comments on 650 online news articles, reported between January 1, 2013 and July 31, 2018, were collected via web crawling. The collected unstructured text data were preprocessed and keyword analysis and topic modeling were performed using R programming. Results: The 10 most important keywords were "work" (37121.7), "hospital" (25286.0), "patients" (24600.8), "woman" (24015.6), "physician" (20840.6), "trouble" (18539.4), "time" (17896.3), "money" (16379.9), "new nurses" (14056.8), and "salary" (13084.1). The 22,572 preprocessed key words were categorized into four topics: "poor working environment", "culture among women", "unfair oppression", and "society-level solutions". Conclusion: Public interest in workplace bullying among nurses has continued to increase. The public agreed that negative work environment and nursing shortage could cause workplace bullying. They also considered nurse bullying as a problem that should be resolved at a societal level. It is necessary to conduct further research through gender discrimination perspectives on nurse workplace bullying and the social value of nursing work.

탐색적 자료 분석(EDA) 기법을 활용한 국내 11개 대표 온라인 쇼핑몰 BEST 100 비교 (Comparison of Online Shopping Mall BEST 100 using Exploratory Data Analysis)

  • 강지천;강주영
    • 한국빅데이터학회지
    • /
    • 제3권1호
    • /
    • pp.1-12
    • /
    • 2018
  • 초기 온라인 쇼핑몰이 등장할 때부터 지금까지 BEST 100은 모든 쇼핑몰 웹사이트의 핵심 기능으로 제공되고 있다. BEST 100은 소비자들이 한눈에 인기 상품들을 확인할 수 있기 때문에 쇼핑몰의 매출 등에 미치는 영향이 높지만 온라인 쇼핑 선행 연구에서 BEST 100과 관련된 연구는 거의 이루어지지 않고 있다. 따라서 본 연구에서는 현 온라인 쇼핑몰 11곳을 대상으로 선정하여 쇼핑몰별 판매 특징을 분석하였다. 연구 방법으로 각 쇼핑몰 웹 사이트의 BEST 100의 구성요소인 판매문구, 가격, 무료배송의 유/무 확인을 크롤링 하여 탐색적 자료 분석 기법(EDA)을 활용하였다. 분석 결과 쇼핑몰 11곳의 종합 평균 가격은 72,891.41원으로 나타났으며 상품 가격이 저렴할수록 무료배송 비율이 낮음을 확인하였다. 가격 이외에 판매문구에서는 텍스트 마이닝을 통해 8개의 카테고리로 구분하였다. 가장 많은 카테고리는 fashion 부분이었으나 카테고리의 설정이 제품 속성이 아닌 마케팅 문구를 분석한 점에 의의가 있다. 본 연구는 EDA를 활용하여 현 온라인 시장 흐름을 파악하고 향후 방향을 제시하는데 시사점이 있다.

텍스트 마이닝을 이용한 4차 산업 연구 동향 토픽 모델링 (Topic Modeling on Research Trends of Industry 4.0 Using Text Mining)

  • 조경원;우영운
    • 한국정보통신학회논문지
    • /
    • 제23권7호
    • /
    • pp.764-770
    • /
    • 2019
  • 본 연구에서는 "4차 산업"과 관련된 논문들의 세부 연구 주제를 파악하기 위하여 텍스트 마이닝 기법을 이용하여 논문들을 분석하였다. 이를 위하여 2016년부터 2019년까지 한국학술지인용색인(KCI)에서 "4차 산업"이라는 키워드로 논문을 검색하여 총 685편의 논문을 수집하였다. 논문 수집을 위해서는 Python 기반의 웹 스크랩핑 프로그램을 사용하였으며, 자료 분석을 위해서는 R 언어로 구현된 LDA 알고리즘 기반의 토픽 모델링 기법들을 활용하였다. 수집된 논문들에 대한 Perplexity 분석 결과, 9가지 토픽이 최적으로 결정되었고 수집된 논문들의 9가지 대표 토픽들을 Gibbs 샘플링 방법을 사용하여 추출하였다. 분석 결과, 인공지능, 빅데이터, 사물인터넷, 디지털, 네트워크 등이 상위 주요 기술들로 나타났으며, 산업, 정부, 교육 현장, 일자리 등 4차 산업과 관련한 다양한 분야에서 주요 기술들로 인한 변화에 대한 연구들이 이루어져 왔음을 확인할 수 있었다.

네트워크 텍스트 분석을 통한 대운하 문화유산에 대한 관광객 인식 연구 : 쑤저우시 핑장역사문화지구의 예 (Research on Tourist Perception of Grand Canal Cultural Heritage Based on Network Text Analysis : The Pingjiang Historical and Cultural District of Suzhou City as an example)

  • 정청캉;징치웨이;남경현
    • 지능정보연구
    • /
    • 제29권1호
    • /
    • pp.215-231
    • /
    • 2023
  • 본 논문은 쑤저우의 핑장 역사문화 지구을 예로 들어 Python 기술을 적용한 Ctrip.com에서 1436개의 관광객 댓글 데이터를 수집하고, 네트워크 텍스트 분석 방법을 사용하여 빈도 단어, 의미 네트워크 및 감정을 분석하여 대운하 문화의 관광객 인식 특성과 수준을 평가하였다유산.연구 결과: 평강역사문화지구 관광객들의 인식에 자연인문경관, 역사문화축적, 강남운하 풍경이 잘 나타나 있다 ; 관광객들은 평강로 역사문화지구에 대해 비교적 긍정적인 감정을 가지고 있지만, 지구의 개조와 개선은 여전히 큰 여지가 있다.마지막으로 보호우선, 문화통합, 혁신적 활용 등의 측면에서 대운하 문화유산에 대한 관광객의 인식을 높이기 위한 대책을 제시했다.

코로나19 발생 후 지역농산물 이용 간편식에 대한 시장 이슈 변화: 온라인 빅데이터의 텍스트마이닝 (Change in Market Issues on HMR (Home Meal Replacements) Using Local Foods after the COVID-19 Outbreak: Text Mining of Online Big Data)

  • 주유정;변우진;윤지현
    • 한국식생활문화학회지
    • /
    • 제38권1호
    • /
    • pp.1-14
    • /
    • 2023
  • This study was conducted to explore the change in the market issues on HMR (Home Meal Replacements) using local foods after the COVID-19 outbreak. Online text data were collected from internet news, social media posts, and web documents before (from January 2016 to December 2019) and after (from January 2020 to November 2022) the COVID-19 outbreak. TF-IDF analysis showed that 'Trend', 'Market', 'Consumption', and 'Food service industry' were the major keywords before the COVID-19 outbreak, whereas 'Wanju-gun', 'Distribution', 'Development', and 'Meal-kit' were main keywords after the COVID-19 outbreak. The results of topic modeling analysis and categorization showed that after the COVID-19 outbreak, the 'Market' category included 'Non-face-to-face market' instead of 'Event,' and 'Delivery' instead of 'Distribution'. In the 'Product' category, 'Marketing' was included instead of 'Trend'. Additionally, in the 'Support' category, 'Start-up' and 'School food service' appeared as new topics after the COVID-19 outbreak. In conclusion, this study showed that meaningful change had occurred in market issues on HMR using local foods after the COVID-19 outbreak. Therefore, governments should take advantage of such market opportunity by implementing policy and programs to promote the development and marketing of HMR using local foods.

동시출현단어 분석을 통한 국내외 정보학 학회지 연구동향 파악 (A Study on the Research Trends in Domestic/International Information Science Articles by Co-word Analysis)

  • 김하진;송민
    • 정보관리학회지
    • /
    • 제31권1호
    • /
    • pp.99-118
    • /
    • 2014
  • 이 연구는 국내외 정보학 분야 학회지 동향을 파악하기 위하여 1990년부터 2013년까지 국내 정보관리학회지와 국외 JASIST의 논문 제목과 초록을 대상으로 텍스트 마이닝 기법을 통한 명사, 명사구 동시출현 분석을 수행하였다. 전 기간을 5구간으로 나누고 전체적인 동향을 살펴보기 위해 고빈도 동시출현단어를 분석하였으며, 세부 주제를 파악하기 위해 상위 키워드와 동시에 출현하는 단어를 분석하였다. 마지막으로 과거와 다르게 새로운 키워드가 등장하는 2010년 이후 동향을 중점적으로 네트워크 분석을 수행하였다. 분석 결과 전반적으로 국내의 경우 정보관리학회지는 도서관, 정보 서비스, 정보 이용자, 정보 자료 조직 주제 분야가 많이 차지하고 있었고 JASIST는 정보 검색, 정보 이용자, 웹 관련 정보학, 계량 정보학 중심으로 연구가 진행되었다.

빅데이터 분석 기법을 활용한 도서관발전종합계획 동향 분석 연구 (Analysis Study on Trends of Library Development Plan by Using Big Data Analysis)

  • 김동석;노영희
    • 한국비블리아학회지
    • /
    • 제29권2호
    • /
    • pp.85-108
    • /
    • 2018
  • 본 연구에서는 도서관발전종합계획에 대한 언론보도를 빅데이터 분석 기법을 활용하여 시기별 동향과 시사점을 도출하고자 하였다. 이를 위해 국내 주요 포털 사이트를 통해 2009년부터 2017년까지 관련 데이터를 수집하였다. 수집된 데이터는 텍스트 마이닝 과정을 통해 정제된 단어를 도출하였고 이를 바탕으로 빈도분석 및 중심성 분석, 구조적 등위성 분석 등을 수행하였다. 분석 결과 제1 2차 도서관발전종합계획이 시행되는 동안 도서관 정책의 흐름이 외연적 성장에서 도서관 운영의 내실화 고도화의 흐름으로 변화하고 있었으며, 도서관 시설 확충과 같은 특정 정책에 국한되어 언론보도가 이루어짐을 확인할 수 있었다. 이러한 연구 결과는 도서관발전종합계획으로 대변되는 도서관 정책을 어떤 관점에서 인식하고 이해하고 있는지 확인하는데 유용한 자료로 사용될 수 있으며, 향후 도서관발전종합계획의 비전을 모색하는데 활용되기를 바란다.