• 제목/요약/키워드: TF-IDF analysis

검색결과 197건 처리시간 0.022초

텍스트마이닝 및 CONCOR 분석을 활용한 환자안전문화 융복합 연구주제 분석 (The Study on the patient safety culture convergence research topics through text mining and CONCOR analysis)

  • 백수미;문인오
    • 디지털융복합연구
    • /
    • 제19권12호
    • /
    • pp.359-367
    • /
    • 2021
  • 본 연구의 목적은 텍스트 마이닝 및 CONCOR 분석을 활용해 국내 환자안전문화 연구주제를 분석하는 것이다. 연구방법은 자료수집, 데이터 전처리, 텍스트 마이닝과 사회연결망 분석, CONCOR 분석 단계로 진행하였으며, 2021년 9월1일 기준으로 '환자안전문화'의 주제어를 검색하여 중복된 논문과 본 연구 목적에 부합되지 않는 논문을 제외한 총 136편을 분석하였다. 자료 분석은 텍스톰(Textom)과 UCINET 프로그램을 이용하였다. 본 연구의 결과 환자안전문화 관련 연구의 TF(빈도)는 환자안전(patient safety), TF-IDF(문서상의 중요도)는 간호(nursing) 가 가장 높게 나타났다. CONCOR 분석결과 환자안전문화를 구성하는 지식 및 태도, 커뮤니케이션, 의료서비스, 팀, 작업환경, 구조, 조직 및 경영의 총 7개의 클러스터가 도출되었다. 추후 환자안전문화 구축과 환자결과와의 연관성에 대한 연구가 진행되어야 할 필요가 있다.

증권신고서의 TF-IDF 텍스트 분석과 기계학습을 이용한 공모주의 상장 이후 주가 등락 예측 (The prediction of the stock price movement after IPO using machine learning and text analysis based on TF-IDF)

  • 양수연;이채록;원종관;홍태호
    • 지능정보연구
    • /
    • 제28권2호
    • /
    • pp.237-262
    • /
    • 2022
  • 본 연구는 개인투자자들의 투자의사결정에 도움을 주고자, 증권신고서의 TF-IDF 텍스트 분석과 기계학습을 이용해 공모주의 상장 5거래일 이후 주식 가격 등락을 예측하는 모델을 제시한다. 연구 표본은 2009년 6월부터 2020년 12월 사이에 신규 상장된 691개의 국내 IPO 종목이다. 기업, 공모, 시장과 관련된 다양한 재무적 및 비재무적 IPO 관련 변수와 증권신고서의 어조를 분석하여 예측했고, 증권신고서의 어조 분석을 위해서 TF-IDF (Term Frequency - Inverse Document Frequency)에 기반한 텍스트 분석을 이용해 신고서의 투자위험요소란의 텍스트를 긍정적 어조, 중립적 어조, 부정적 어조로 분류하였다. 가격 등락 예측에는 로지스틱 회귀분석(Logistic Regression), 랜덤 포레스트(Random Forest), 서포트벡터머신(Support Vector Machine), 인공신경망(Artificial Neural Network) 기법을 사용하였고, 예측 결과 IPO 관련 변수와 증권신고서 어조 변수를 함께 사용한 모델이 IPO 관련 변수만을 사용한 모델보다 높은 예측 정확도를 보였다. 랜덤 포레스트 모형은 1.45%p 높아진 예측 정확도를 보였으며, 인공신공망 모형과 서포트벡터머신 모형은 각각 4.34%p, 5.07%p 향상을 보였다. 추가적으로 모형간 차이를 맥니마 검정을 통해 통계적으로 검증한 결과, 어조 변수의 유무에 따른 예측 모형의 성과 차이가 유의확률 1% 수준에서 유의했다. 이를 통해, 증권신고서에 표현된 어조가 공모주의 가격 등락 예측에 영향을 미치는 요인이라는 것을 확인할 수 있었다.

언어네트워크분석을 활용한 한국농수산대학 신입생 자기소개서 분석 - TF-IDF 분석을 기초로 - (Analyzing Self-Introduction Letter of Freshmen at Korea National College of Agricultural and Fisheries by Using Semantic Network Analysis : Based on TF-IDF Analysis)

  • 주진수;이소영;김종숙;김승희;박노복
    • 현장농수산연구지
    • /
    • 제23권1호
    • /
    • pp.89-104
    • /
    • 2021
  • 비정형 데이터인 한국농수산대학 신입생 자기소개서에서 의미 있는 정보를 추출하기 위하여 핵심적인 역할을 하는 단어의 중요도를 평가하는 TF-IDF 가중치를 기초로 한 언어네트워크분석을 하였다. TF-IDF 가중치에 의한 핵심단어는 문항 1에서는 '농업', '수학', '공부', '문제', '친구', 문항 2에서는 '동아리', '식물', '친구', '농업', '작물', 문항 3에서는 '친구', '동아리', '의견', '갈등', '관리', 문항 4에서는 '버섯', '곤충', '아버지', '농업', '농장' 등으로 나타났다. 또한 빈도수는 낮은 단어이지만 핵심단어로 나타난 단어를 보면 문항 1에서는 '수학', '자격증', '성적', '영어', '과학', 문항 2에서는 '식물', '작물', '공부', '쓰레기', '발표', '실험', 문항 3에서는 '동아리', '청소', '봉사', '갈등', '봉사활동', 문항 4에서는 '버섯', '곤충', '양식', '한우', '조경' 등으로 나타났다. 단어들 간의 관계를 시각적으로 분석이 가능한 언어네트워크분석 결과 매개중심성이 높은 단어는 문항 1에서는 '이유', '고등학교', '재학', 문항 2에서는 '쓰레기', '고등학교', '학교', 문항 3에서는 '중요', '오해', '완성', 문항 4에서는 '가공', '사료', '농가'로 나타났다. 연결정도중심성은 문항 1에서는 '고등학교', '탐구', '성적', 문항 2에서는 '쓰레기', '정리', '수업시간', 문항 3에서는 '의견', '회의', '봉사활동', 문항 4에서는 '가공', '공간', '실습'으로 나타났다. 매개중심성 값이 클수록 네트워크의 중앙에 위치하고, 두 범주 사이의 관계가 강할수록 서로 근거리에 위치한다. 연결정도중심성이 클수록 노드의 크기가 크게 나타나며, 노드 연결선은 단어들의 동시 출현 빈도가 높을수록 edge가 굵게 나타났다. 동시 출현 빈도가 높은 즉 상관관계가 높은 단어 조합은 '자격증 - 취득', '문제 - 해결', '과학 - 생명', '오해 - 양보' 등으로 나타났다. 단어 기반의 계층적 클러스터링 기법에 의하여 단어 간 인접, 상호 관계를 계층적으로 나타낸 클러스터 덴드로그램으로 군집의 개수를 결정하였다. 단어들의 군집 간 비유사도의 차이가 큰 군집을 구한 결과 문항 1은 2개, 문항 2와 문항 4는 4개, 문항 3은 5개의 군집으로 분류할 경우 군집내 응집력이 높고, 군집 간 이질성이 큰 적절한 군집을 구할 수 있었다.

텍스트마이닝을 활용한 교통영향평가 교통개선대책 분석 : 경기도 도시개발사업을 대상으로 (Analysis of Traffic Improvement Measures in Transportation Impact Assessment Using Text Mining : Focusing on City Development Projects in Gyeonggi Province)

  • 양은혜;강희찬;안우영
    • 한국ITS학회 논문지
    • /
    • 제22권2호
    • /
    • pp.182-194
    • /
    • 2023
  • 교통영향평가는 도시·교통 사업 시행 시에 발생할 수 있는 교통문제를 사전에 해결하는 주요한 역할을 하는 제도이지만 사업의 특성을 고려한 작성 지침과 명확한 심의 기준이 없어 심의 결과의 일관성이 떨어지는 문제점이 있다. 본 연구에서는 교통영향평가에서 심의 의결된 교통개선대책을 분석하여 심의 결과의 핵심 키워드를 찾고 교통영향평가에서 주요하게 검토해야 하는 항목을 제시하고자 한다. 이를 위해 경기도에서 심의 의결된 도시개발사업의 교통개선대책을 중심으로 TF-IDF 및 N-gram 분석을 활용한 텍스트마이닝을 하였다. 도시개발사업에 주요하게 고려되는 사항은 도로, 교차로 등 교통 기반시설의 신설이 주요한 키워드였으며 다음으로 진출입구 위치 설정, 보행 동선 연결이 주요한 사항이었다. 향후 교통영향평가 지침과 심의 기준 마련 시 본 연구에서 제시한 주요 항목을 반영함으로써, 교통영향평가의 일관성과 객관성을 높이는 심의 운영에 이용할 수 있을 것으로 기대한다.

Text Classification for Patents: Experiments with Unigrams, Bigrams and Different Weighting Methods

  • Im, ChanJong;Kim, DoWan;Mandl, Thomas
    • International Journal of Contents
    • /
    • 제13권2호
    • /
    • pp.66-74
    • /
    • 2017
  • Patent classification is becoming more critical as patent filings have been increasing over the years. Despite comprehensive studies in the area, there remain several issues in classifying patents on IPC hierarchical levels. Not only structural complexity but also shortage of patents in the lower level of the hierarchy causes the decline in classification performance. Therefore, we propose a new method of classification based on different criteria that are categories defined by the domain's experts mentioned in trend analysis reports, i.e. Patent Landscape Report (PLR). Several experiments were conducted with the purpose of identifying type of features and weighting methods that lead to the best classification performance using Support Vector Machine (SVM). Two types of features (noun and noun phrases) and five different weighting schemes (TF-idf, TF-rf, TF-icf, TF-icf-based, and TF-idcef-based) were experimented on.

토픽모델링을 활용한 조세순응 연구 동향 분석 (Analysis of Research Trends in Tax Compliance using Topic Modeling)

  • 강민조;백평구
    • 한국콘텐츠학회논문지
    • /
    • 제22권1호
    • /
    • pp.99-115
    • /
    • 2022
  • 본 연구의 목적은 사회과학 전반에 걸쳐서 수행되고 있는 조세 분야의 대표적인 연구주제로서 조세순응, 납세의식, 성실납세(이하 "조세순응")에 관한 연구의 흐름을 정리함으로써 융합학문으로서 세무학의 지평을 확장하는 것이다. 이에 조세순응에 관한 국내 학술지 논문을 학제적 관점에서 종합적으로 분석하기 위하여 텍스트마이닝의 일환으로 토픽모델링 기법을 적용하였다. 데이터 수집-키워드 전처리-토픽모델 분석의 흐름으로 총 347편의 논문에 연구자가 등록한 조세순응 관련 키워드들로부터 잠재적인 연구주제를 제시하고자 하였다. 본 연구의 분석 결과로 첫째, 키워드 분석에서는 세무조사, 조세회피, 성실신고확인제도 등의 키워드가 단순 빈도 기준으로 상위 5개 키워드에 포함되었고, 키워드의 상대적 중요도를 감안한 TF-IDF 값에서도 상위 5개 키워드에 포함되었다. 한편 탈세라는 키워드는 단순빈도에서 부각되지 않은 것에 비해 TF-IDF 값 기준으로 상위 키워드에 포함되었다. 둘째, 토픽모델링을 통해 잠재적인 8개의 연구주제를 도출하였다. 해당 주제는 (1) 조세공정성과 조세범칙행위의 억제, (2) 조세법의 이념과 조세정책의 타당성, (3) 실질과세원칙과 조세채권의 담보 (4) 납세협력비용과 세무행정 서비스, (5) 신고납세제도와 세무전문가, (6) 조세풍토와 전략적 조세행동, (7) 조세행동의 다면성과 차별적 순응의도, (8) 과세정보시스템과 효율적 세원관리와 같다. 본 연구는 학문 간의 경계를 넘어 조세순응이라는 주제어를 바라보는 다양한 관점을 포괄적으로 조망함으로써 학제간 소통의 기회를 마련하고 합리적인 조세제도를 구축하는데 실천적 시사점을 제시하고자 하였다.

A Study on the General Public's Perceptions of Dental Fear Using Unstructured Big Data

  • Han-A Cho;Bo-Young Park
    • 치위생과학회지
    • /
    • 제23권4호
    • /
    • pp.255-263
    • /
    • 2023
  • Background: This study used text mining techniques to determine public perceptions of dental fear, extracted keywords related to dental fear, identified the connection between the keywords, and categorized and visualized perceptions related to dental fear. Methods: Keywords in texts posted on Internet portal sites (NAVER and Google) between 1 January, 2000, and 31 December, 2022, were collected. The four stages of analysis were used to explore the keywords: frequency analysis, term frequency-inverse document frequency (TF-IDF), centrality analysis and co-occurrence analysis, and convergent correlations. Results: In the top ten keywords based on frequency analysis, the most frequently used keyword was 'treatment,' followed by 'fear,' 'dental implant,' 'conscious sedation,' 'pain,' 'dental fear,' 'comfort,' 'taking medication,' 'experience,' and 'tooth.' In the TF-IDF analysis, the top three keywords were dental implant, conscious sedation, and dental fear. The co-occurrence analysis was used to explore keywords that appear together and showed that 'fear and treatment' and 'treatment and pain' appeared the most frequently. Conclusion: Texts collected via unstructured big data were analyzed to identify general perceptions related to dental fear, and this study is valuable as a source data for understanding public perceptions of dental fear by grouping associated keywords. The results of this study will be helpful to understand dental fear and used as factors affecting oral health in the future.

Identification of public concerns about radiation through a big data analysis of questions posted on a portal site in Korea

  • Jeong, So Yun;Kim, Jae Wook;Joo, Han Young;Kim, Young Seo;Moon, Joo Hyun
    • Nuclear Engineering and Technology
    • /
    • 제53권6호
    • /
    • pp.2046-2055
    • /
    • 2021
  • This paper analyzed the primary concerns about radiation among the Korean public with a big data analysis of questions posted at the section of "Knowledge iN" on the portal site NAVER in Korea from January 2010 to August 2020. First, we extracted questions about radiation and categorized them into the three categories with TF-IDF analysis: "Medical," "Career Counseling," and "General Interest". The "Medical" category includes questions about radiation diagnosis or treatment. The "Career Counseling" category includes questions about entering college and the prospect of finding jobs in radiation-related fields. The "General Interest" category includes questions about terminology and the basic knowledge of radiation or radioisotopes. Second, we extracted common questions for each category. Finally, we analyzed the temporal change in the numbers of questions for each category to confirm whether there is any correlation between radiation-related events and the number of questions. The analysis results demonstrate that major radiation-related events have little relevance to the number of questions except during March 2011.

The Impact of Transforming Unstructured Data into Structured Data on a Churn Prediction Model for Loan Customers

  • Jung, Hoon;Lee, Bong Gyou
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권12호
    • /
    • pp.4706-4724
    • /
    • 2020
  • With various structured data, such as the company size, loan balance, and savings accounts, the voice of customer (VOC), which is text data containing contact history and counseling details was analyzed in this study. To analyze unstructured data, the term frequency-inverse document frequency (TF-IDF) analysis, semantic network analysis, sentiment analysis, and a convolutional neural network (CNN) were implemented. A performance comparison of the models revealed that the predictive model using the CNN provided the best performance with regard to predictive power, followed by the model using the TF-IDF, and then the model using semantic network analysis. In particular, a character-level CNN and a word-level CNN were developed separately, and the character-level CNN exhibited better performance, according to an analysis for the Korean language. Moreover, a systematic selection model for optimal text mining techniques was proposed, suggesting which analytical technique is appropriate for analyzing text data depending on the context. This study also provides evidence that the results of previous studies, indicating that individual customers leave when their loyalty and switching cost are low, are also applicable to corporate customers and suggests that VOC data indicating customers' needs are very effective for predicting their behavior.

텍스트 마이닝을 활용한 OTT 서비스 플랫폼별 사용자 반응 비교 연구 (Comparative Study of User Reactions in OTT Service Platforms Using Text Mining)

  • 권순찬;김지은;장백철
    • 인터넷정보학회논문지
    • /
    • 제25권3호
    • /
    • pp.43-54
    • /
    • 2024
  • 본 연구는 텍스트 마이닝 기법을 활용하여 다양한 OTT(Over-The-Top) 서비스 플랫폼에 대한 사용자 반응을 비교한다. 연구의 주요 목표는 OTT 서비스 플랫폼의 사용자 만족도를 파악하여 보다 효과적인 리뷰 전략을 수립하는 데 기여하는 것이다. 본 연구에서 다루는 주요 질문에는 다양한 OTT 서비스에 대한 사용자 리뷰에서 두드러진 토픽과 키워드를 식별하고 플랫폼별 사용자 반응을 이해하는 것이 포함된다. 이를 위해 긍정, 부정 리뷰에서 중요 단어를 추출하기 위해 Tf-idf를, 복잡한 사용자 리뷰를 보다 정교하고 포괄적으로 분석하기 위해 고급 토픽 모델링 기법인 BERTopic을 사용한다. Tf-idf 분석한 결과, 앱에 대한 긍정 리뷰는 콘텐츠와 관련된 단어들의 수치가 높았으며 부정 리뷰에서는 앱 사용 과정에서 발생할 수 있는 문제점에 관한 단어 수치가 높게 기록되었다. BERTopic을 활용한 토픽 모델링에서는 콘텐츠의 속성과 연관 지어 콘텐츠의 다양성, 앱 성능 요소, 결제, 호환성에 관한 키워드를 도출하였으며, 플랫폼 별로 두각을 보이는 속성이 다르다는 점도 확인하였다. 본 연구 결과는 사용자 행동과 선호도에 대한 중요한 인사이트를 제공하며, 이를 통해 OTT 서비스 제공업체는 사용자 경험과 만족도를 개선하는 데 활용할 수 있다. 또한, 연구자들은 사용자 리뷰 텍스트 분석에서 딥러닝 모델을 활용한 연구의 아이디어를 얻을 수 있을 것이라 기대한다.