• 제목/요약/키워드: Text frequency analysis

검색결과 454건 처리시간 0.032초

코사인 유사도를 기반의 온톨로지를 이용한 문장유사도 분석 (Sentence Similarity Analysis using Ontology Based on Cosine Similarity)

  • 황치곤;윤창표;윤대열
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.441-443
    • /
    • 2021
  • 문장 또는 텍스트 유사도란 두 가지 문장의 유사한 정도를 나타내는 척도이다. 텍스트의 유사도를 측정하는 기법으로 자카드 유사도, 코사인 유사도, 유클리디언 유사도, 맨하탄 유사도 등과 같이 있다. 현재 코사인 유사도 기법을 가장 많이 사용하고 있으나 이는 문장에서 단어의 출현 여부와 빈도수에 따른 분석이기 때문에, 의미적 관계에 대한 분석이 부족하다. 이에 우리는 온톨로지를 이용하여 단어 간의 관계를 부여하고, 두 문장에서 공통으로 포함된 단어를 추출할 때 의미적 유사성을 포함함으로써 문장의 유사도에 분석의 효율을 향상하고자 한다.

  • PDF

R을 활용한 정보교육관련 논문 분석 (Analysis of Information Education Related Theses Using R Program)

  • 박선주
    • 정보교육학회논문지
    • /
    • 제21권1호
    • /
    • pp.57-66
    • /
    • 2017
  • 최근 빅데이터 분석과 함께 사회연결망에 대한 관심이 증대되고 있다. 이러한 사회연결망분석을 이용한 연구가 사회과학 영역뿐 아니라 자연과학 영역 등 여러 분야에서 다양하게 이루어지고 있다. 이에 본 논문에서는 정보교육 관련 석 박사 학위논문을 수집하여 텍스트분석과 사회연결망분석을 실시하였다. 그 결과, 모든 기간에서 출현빈도수가 높게 나오거나 지속적으로 나오는 단어가 있었으며, 기간별로 출현빈도가 갑자기 높아진 단어들도 있었다. 또한, 출현빈도수가 큰 단어가 대체적으로 매개중심성도 컸으며, 기간별 연구흐름의 특징이 있음도 알 수 있었다. 그러므로 IT 기술발전과 초 중 고등학교 정보교육과정 변화에 민감하게 정보교육 석 박사학위 논문 주제가 변화되었음을 알 수 있었다. 앞으로 기간4에서 출현빈도가 높아진 스마트, 모바일, 스마트폰, SNS, 어플리케이션, 스토리텔링, 다문화, STEAM과 관련된 연구가 지속될 것으로 예측하며, 로봇, 프로그래밍, 코딩, 알고리즘, 창의성, 상호작용, 개인정보보호와 관련된 주제도 꾸준히 연구될 것으로 예측된다.

An Exploratory Analysis of Online Discussion of Library and Information Science Professionals in India using Text Mining

  • Garg, Mohit;Kanjilal, Uma
    • Journal of Information Science Theory and Practice
    • /
    • 제10권3호
    • /
    • pp.40-56
    • /
    • 2022
  • This paper aims to implement a topic modeling technique for extracting the topics of online discussions among library professionals in India. Topic modeling is the established text mining technique popularly used for modeling text data from Twitter, Facebook, Yelp, and other social media platforms. The present study modeled the online discussions of Library and Information Science (LIS) professionals posted on Lis Links. The text data of these posts was extracted using a program written in R using the package "rvest." The data was pre-processed to remove blank posts, posts having text in non-English fonts, punctuation, URLs, emails, etc. Topic modeling with the Latent Dirichlet Allocation algorithm was applied to the pre-processed corpus to identify each topic associated with the posts. The frequency analysis of the occurrence of words in the text corpus was calculated. The results found that the most frequent words included: library, information, university, librarian, book, professional, science, research, paper, question, answer, and management. This shows that the LIS professionals actively discussed exams, research, and library operations on the forum of Lis Links. The study categorized the online discussions on Lis Links into ten topics, i.e. "LIS Recruitment," "LIS Issues," "Other Discussion," "LIS Education," "LIS Research," "LIS Exams," "General Information related to Library," "LIS Admission," "Library and Professional Activities," and "Information Communication Technology (ICT)." It was found that the majority of the posts belonged to "LIS Exam," followed by "Other Discussions" and "General Information related to the Library."

중등학교 가정과교사 임용시험의 핵심 키워드 탐색: 내용 분석과 텍스트 네트워크 분석을 중심으로 (Exploring the Core Keywords of the Secondary School Home Economics Teacher Selection Test: A Mixed Method of Content and Text Network Analyses)

  • 박미정;한주
    • Human Ecology Research
    • /
    • 제60권4호
    • /
    • pp.625-643
    • /
    • 2022
  • The purpose of this study was to explore the trends and core keywords of the secondary school home economics teacher selection test using content analysis and text network analysis. The sample comprised texts of the secondary school home economics teacher 1st selection test for the 2017-2022 school years. Determination of frequency of occurrence, generation of word clouds, centrality analysis, and topic modeling were performed using NetMiner 4.4. The key results were as follows. First, content analysis revealed that the number of questions and scores for each subject (field) has remained constant since 2020, unlike before 2020. In terms of subjects, most questions focused on 'theory of home economics education', and among the evaluation content elements, the highest percentage of questions asked was for 'home economics teaching·learning methods and practice'. Second, the network of the secondary school home economics teacher selection test covering the 2017-2022 school years has an extremely weak density. For the 2017-2019 school years, 'learning', 'evaluation', 'instruction', and 'method' appeared as important keywords, and 7 topics were extracted. For the 2020-2022 school years, 'evaluation', 'class', 'learning', 'cycle', and 'model' were influential keywords, and five topics were extracted. This study is meaningful in that it attempted a new research method combining content analysis and text network analysis and prepared basic data for the revision of the evaluation area and evaluation content elements of the secondary school home economics teacher selection test.

텍스트 마이닝을 활용한 노인장기요양보험에서의 작업치료: 2007-2018년 (Occupational Therapy in Long-Term Care Insurance For the Elderly Using Text Mining)

  • 조민석;백순형;박엄지;박수희
    • 고령자・치매작업치료학회지
    • /
    • 제12권2호
    • /
    • pp.67-74
    • /
    • 2018
  • 목적 본 연구의 목적은 텍스트 마이닝이라는 빅데이터 분석 기법 중 하나를 활용하여 노인장기요양보험에서 작업치료의 역할을 정량적으로 분석하는 것이다. 연구방법 신문기사 분석을 위해 2007~208년까지 기간 설정 후 "노인장기요양보험+작업치료"를 주제어로 수집하였다. Textom이라는 웹 크롤링(Web Crawling)을 활용해 국내 검색엔진 네이버에서 <네이버뉴스>의 데이터베이스를 활용하였다. 수집결과 노인장기요양보험+작업치료 검색에서 510편의 뉴스 데이터의 기사제목과 원문을 수집한 후 연도별 기사 빈도, 핵심어분석을 시행하였다. 연구결과 연도별 기사 발행 빈도를 살펴보면 2015년과 2017년 발행한 기사 수가 70편(13.7%)으로 가장 많았고, 핵심어 분석 상위 10개의 용어는 '치매'(344)가 가장 많았으며, 작업과 핵심어의 관례를 알아보면, 치매, 치료, 병원, 건강, 서비스, 재활, 시설, 제도, 등급, 어르신, 전문, 급여, 공단, 국민이 관련이 있는 것으로 나타났다. 결론 본 연구에서는 텍스트 마이닝 기법을 통해 11년간의 노인장기요양보험의 언론 보도 동향을 토대로 관련 핵심 키워드에서 치매와 재활에 대해 사회적 요구와 작업치료사의 역할을 보다 객관적으로 확인하였다는 점에서 의의가 있다. 이 결과를 바탕으로 다음 연구에서는 연도에 따른 다양한 분석방법을 통해 연구방법론을 보완하여야 할 것이다.

텍스트 마이닝 기법을 활용한 ECDIS 사고보고서 분석 (Text Mining Analysis Technique on ECDIS Accident Report)

  • 이정석;이보경;조익순
    • 해양환경안전학회지
    • /
    • 제25권4호
    • /
    • pp.405-412
    • /
    • 2019
  • SOLAS에서는 국제 항해에 종사하는 총톤수 500톤 이상의 선박에 대하여 2018년 7월 1일 이후 도래하는 최초 검사까지 ECDIS를 설치해야 한다고 규정하고 있다. 새로운 주요 항해 장비로 ECDIS가 탑재되면서 ECDIS 사용에 관련한 다양한 사고가 발생하고 있다. MAIB, BSU, BEAmer, DMAIB, DSB에서 발행한 12가지의 사고보고서에는 항해사의 운용 미숙과 ECDS 시스템의 사고 원인으로 분석하였고, 사고 원인과 관련된 단어들을 정량적으로 분석하기 위해 R-프로그램을 사용하여 텍스트를 분석하였다. 도출 빈도에 따른 단어의 중요도를 나타내기 위해 텍스트 마이닝 기법인 단어 구름, 단어 연관성, 단어 가중치의 방법을 사용하였다. 단어 구름은 사용된 단어들의 빈도수를 구름 형태로 나타내는 방법으로써 N-gram 모델을 적용하였다. N-gram 모델 중 Uni-gram 분석 결과 ECDIS 단어, Bi-gram 분석 결과는 Safety Contour 단어의 사용 빈도가 가장 많았다. Bi-gram 분석을 기반으로 사고 원인 단어를 항해사와 ECDIS 시스템으로 구분하고, 연관된 단어들을 단어 연관성으로 나타내었다. 마지막으로 항해사와 ECDIS 시스템에 연관된 단어들을 단어 말뭉치로 구성한 후 단어 가중치를 적용하여 연도별 말뭉치 빈도 변화를 분석하였다. 추세선 그래프로 말뭉치 변화 경향을 분석한 결과, 항해사 말뭉치는 최근으로 올수록 감소하였으며 반대로 ECDIS 시스템 말뭉치는 점점 증가함을 나타내었다.

Development of big data based Skin Care Information System SCIS for skin condition diagnosis and management

  • Kim, Hyung-Hoon;Cho, Jeong-Ran
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권3호
    • /
    • pp.137-147
    • /
    • 2022
  • 피부상태의 진단과 관리는 뷰티산업종사자와 화장품산업종사자에게 그 역할을 수행함에 있어서 매우 기초적이며 중요한 기능이다. 정확한 피부상태 진단과 관리를 위해서는 고객의 피부상태와 요구사항을 잘 파악하는 것이 필요하다. 본 논문에서는 피부상태 진단 및 관리를 위해 소셜미디어의 빅데이터를 사용하여 피부상태 진단 및 관리를 지원하는 빅데이터기반 피부관리정보시스템 SCIS를 개발하였다. 개발된 시스템을 사용하여 텍스트 정보 중심의 피부상태 진단과 관리를 위한 핵심 정보를 분석하고 추출할 수 있다. 본 논문에서 개발된 피부관리정보시스템 SCIS는 빅데이터 수집단계, 텍스트전처리단계, 이미지전처리단계, 텍스트단어분석단계로 구성되어 있다. SCIS는 피부진단 및 관리에 필요한 빅데이터를 수집하고, 텍스트 정보를 대상으로 핵심단어의 단순빈도분석, 상대빈도분석, 동시출현분석, 상관성분석을 통해 핵심단어 및 주제를 추출하였다. 또한 추출된 핵심단어 및 정보를 분석하고 산포도, NetworkX, t-SNE 및 클러스터링 등의 다양한 시각화 처리를 함으로써 피부상태 진단 및 관리에 있어 이를 효율적으로 사용할 수 있도록 하였다.

A Study on the General Public's Perceptions of Dental Fear Using Unstructured Big Data

  • Han-A Cho;Bo-Young Park
    • 치위생과학회지
    • /
    • 제23권4호
    • /
    • pp.255-263
    • /
    • 2023
  • Background: This study used text mining techniques to determine public perceptions of dental fear, extracted keywords related to dental fear, identified the connection between the keywords, and categorized and visualized perceptions related to dental fear. Methods: Keywords in texts posted on Internet portal sites (NAVER and Google) between 1 January, 2000, and 31 December, 2022, were collected. The four stages of analysis were used to explore the keywords: frequency analysis, term frequency-inverse document frequency (TF-IDF), centrality analysis and co-occurrence analysis, and convergent correlations. Results: In the top ten keywords based on frequency analysis, the most frequently used keyword was 'treatment,' followed by 'fear,' 'dental implant,' 'conscious sedation,' 'pain,' 'dental fear,' 'comfort,' 'taking medication,' 'experience,' and 'tooth.' In the TF-IDF analysis, the top three keywords were dental implant, conscious sedation, and dental fear. The co-occurrence analysis was used to explore keywords that appear together and showed that 'fear and treatment' and 'treatment and pain' appeared the most frequently. Conclusion: Texts collected via unstructured big data were analyzed to identify general perceptions related to dental fear, and this study is valuable as a source data for understanding public perceptions of dental fear by grouping associated keywords. The results of this study will be helpful to understand dental fear and used as factors affecting oral health in the future.

DCT와 정보 화소 밀도를 이용한 PDA로 획득한 명함 영상에서의 영역 해석 (Region Analysis of Business Card Images Acquired in PDA Using DCT and Information Pixel Density)

  • 김종흔;장익훈;김남철
    • 한국통신학회논문지
    • /
    • 제29권8C호
    • /
    • pp.1159-1174
    • /
    • 2004
  • 본 논문에서는 PDA에 장착된 카메라를 사용하여 획득한 명함 영상에 대한 효율적인 영역 해석 알고리듬을 제안한다. 제안된 방법은 크게 영역 분할, 정보 영역 분류, 문자 영역 분류의 3개 과정으로 구성된다. 영역 분할에서는 입력 명함 영상을 8${\times}$8 크기의 블록으로 나누고 각 블록을 저주파 대역에서의 정규화 된 DCT 계수의 에너지를 이용하여 정보 블록과 배경 블록으로 분류한 다음, 블록에 대한 영역 라벨링을 통하여 정보 영역과 배경 영역으로 분할한다. 정보 영역 분류에서는 각 정보 영역을 블록 신호의 수평, 수직 방향 에지 성분과 저주파 대역에서의 DCT 계수의 에너지 비와 이진화 된 정보 영역 내에서의 흑화소인 정보 화소의 밀도를 이용하여 문자 영역과 배경 영역으로 분류한다. 문자 영역 분류에서는 분류된 문자 영역을 정보 화소의 밀도와 평균 런 길이를 이용하여 다시 큰 문자와 작은 문자 영역으로 분류한다. 실험결과 제안된 영역 해석 방법은 여러 종류의 명함을 다양한 주변 여건에서 PDA로 획득한 시험 영상에 대하여 정보 영역과 배경 영역을 잘 분할하고, 정보 영역을 문자 영역과 그림 영역으로 잘 분류하며, 다시 문자 영역을 큰 문자와 작은 문자 영역으로 잘 분류함을 보였다 그리고 제안된 영역 분할 방법과 정보 영역 분류 방법은 기존의 방법들보다 각각 약 2.2-10.1%와 7.7%의 에러율 향상을 보였다.

웹 환경에서 100 논문에 대한 텍스트 마이닝, 데이터 분석과 시각화 (100 Article Paper Text Minning Data Analysis and Visualization in Web Environment)

  • 이효맹;이가베;이현창;신성윤
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2017년도 추계학술대회
    • /
    • pp.157-158
    • /
    • 2017
  • There is a method to analyze the big data of the article and text mining by using Python language. And Python is a kind of programming language and it is easy to operating. Reaserch and use Python to creat a Web environment that the research result of the analysis can show directly on the browser. In this thesis, there are 100 article paper frrom Altmetric, Altmetric tracks a range of sources to capture. It is necessary to collect and analyze the big data use an effictive method, After the result coming out, Use Python wordcloud to make a directive image that can show the highest frequency of words.

  • PDF