• 제목/요약/키워드: LDA (Latent Dirichlet allocation)

검색결과 183건 처리시간 0.031초

LDA토픽 모델링을 활용한 생성형 AI 챗봇의 탐색적 연구 : 기존 AI 챗봇 서비스 품질 요인과의 비교 (An Exploratory Study of Generative AI Service Quality using LDA Topic Modeling and Comparison with Existing Dimensions)

  • 안예은;오정석
    • 서비스연구
    • /
    • 제13권4호
    • /
    • pp.191-205
    • /
    • 2023
  • 인공 지능 (AI), 특히 텍스트 생성 서비스 분야에서의 발전은 두드러지게 나타나고 있으며, AI-as-a-Service (AIaaS) 시장은 2028년까지 550억 달러에 달할 것으로 예상된다. 본 연구는 합성 텍스트 미디어 소프트웨어의 품질 요소를 탐구하였으며, 이를 위해 ChatGPT, Writesonic, Jasper, 그리고 Anyword와 같은 산업의 주요 서비스에 주목하였다. 소프트웨어 평가 플랫폼에서 수집된 4,000개 이상의 리뷰를 바탕으로, Gensim 라이브러리를 활용한 잠재 디리클레 할당 (LDA) 주제 모델링 기법을 적용하였다. 이 분석을 통해 11개의 주제가 도출되었다. 이후 이 주제들을 AICSQ 및 AISAQUAL과 같은 기존 논문에서 다루었던 AI 서비스 품질 차원과 비교 분석하였다. 리뷰에서는 가용성 및 효율성과 같은 차원이 주로 강조되었으며, 이전 연구에서 중요하게 여겨졌던 사람다움과 같은 요소는 본 연구에서 강조되지 않았다. 이러한 결과는 AI 서비스의 본질적 특성, 즉 사용자와의 직접적인 상호작용보다 의미론적 이해에 더 중점을 둔다는 특성 때문으로 해석된다. 본 연구는 단일 리뷰 원천 및 평가자들의 인구 통계의 특정성과 같은 잠재적 편향을 인정하며, 향후 연구 방향으로는 이러한 품질 차원이 사용자 만족도에 어떻게 영향을 미치는지, 그리고 개별 차원이 전체 평점에 어떻게 영향을 미치는지에 대한 깊은 분석을 제안한다.

텍스트마이닝을 이용한 윤동주 연구의 개체계량학적 분석 (Entitymetrics Analysis of the Research Works of Dong-ju Yun using Textmining)

  • 박진균;김택윤;송민
    • 한국비블리아학회지
    • /
    • 제28권1호
    • /
    • pp.191-207
    • /
    • 2017
  • 이 연구는 텍스트마이닝 기술을 이용한 개체계량학적 분석을 인문학 분야 인물 연구에 적용하기 위해 수행하였다. 연구 대상으로 한 인물은 작품뿐만 아니라 종교, 생애에 대해 많은 연구가 이루어진 윤동주를 선정하였다. 본 논문에서는 윤동주 관련 연구 1,076건을 수집하여 이중에서 초록 정보를 가지고 있었던 220건의 논문을 대상으로 LDA(Latent Dirichlet Allocation) 방식의 토픽모델링 분석을 수행하였으며, 참고문헌 정보를 추출할 수 있었던 121건의 논문을 대상으로 저자동시인용 분석을 통해 연구의 동향을 살펴보았다. 또한 초록에서 인명, 작품명의 개체를 추출하여 이들의 관계를 살펴보았다. 이 연구를 통해 윤동주에 관련한 연구 동향은 생애, 시, 실존의식, 비교문학, 번역문학, 종교적 신념에 대한 연구로 다양한 분야에 걸쳐 이루어졌다는 것을 데이터를 기반으로 보다 객관적으로 분석해 볼 수 있었으며, 윤동주와 함께 연구되는 다른 인물이 어떤 작품을 매개로 하여 연구되어 왔는지에 대해서도 알 수 있었다. 이러한 결과는 인문학 분야의 지적구조를 밝히는데 개체계량학적 방법이 유용함을 증명하는 한편 인문학연구의 새로운 시각적 접근을 제안했다는 데에 의의가 있다.

트위터 데이터를 이용한 네트워크 기반 토픽 변화 추적 연구 (Topic-Network based Topic Shift Detection on Twitter)

  • 진설아;허고은;정유경;송민
    • 정보관리학회지
    • /
    • 제30권1호
    • /
    • pp.285-302
    • /
    • 2013
  • 본 연구는 높은 접근성과 간결성으로 인해 방대한 양의 텍스트를 생산하는 트위터 데이터를 분석하여 토픽의 변화 시점 및 패턴을 파악하였다. 먼저 특정 상품명에 관한 키워드를 추출한 후, 동시출현단어분석(Co-word Analysis)을 이용하여 노드와 에지를 통해 토픽과 관련 키워드를 직관적으로 파악 가능한 네트워크로 표현하였다. 이후 네트워크 분석 결과를 검증하기 위해 출현빈도 기반의 시계열 분석과 LDA 토픽 모델링을 실시하였다. 또한 트위터 상의 토픽 변화와 언론 기사 검색결과를 비교한 결과, 트위터는 언론 뉴스에 즉각적으로 반응하며 부정적 이슈를 빠르게 확산시키는 것을 확인하였다. 이를 통해 기업은 대중의 부정적 의견을 신속하게 파악하고 이에 대한 즉각적인 의사결정 및 대응을 위한 도구로 본 연구방법을 활용할 수 있을 것으로 기대된다.

토픽모델링을 이용한 국내 패션디자인 연구동향 분석 (Research Trend Analysis in Fashion Design Studies in Korea using Topic Modeling)

  • 장남경;김민정
    • 디지털융복합연구
    • /
    • 제15권6호
    • /
    • pp.415-423
    • /
    • 2017
  • 본 연구는 국내 패션 디자인 분야의 연구동향을 파악하기 위해 패션 디자인 분야에 초점을 맞춘 국내 대표적인 학술지인 "한국패션디자인학회지"의 2001년 창간호부터 2015년까지 발표 논문의 주제어와 초록을 수집하여 텍스트 마이닝과 토픽모델링 기법을 수행하였다. 우선 텍스트 마이닝을 통해 총 338편 논문의 주제어와 초록에 사용된 7137개 단어 중 30회 이상의 출현빈도를 가지는 183개의 핵심 용어들을 도출하였다. 그 중 압도적으로 높은 빈도를 보인 핵심 용어는 'fashion'과 'design'이었다. 다음으로 토픽모델링 기법 중 LDA 알고리즘을 사용하여 20개의 연구주제를 도출하였는데 대부분 기존 패션 디자인 분야의 연구주제와 연결할 수 있었지만 패션 브랜드 마케팅 및 디지털 기술 등 최신 트렌드를 반영한 다양한 연구주제들이 추가적으로 발견되었다. 마지막으로 연구주제별로 연도별 트렌드 분석을 통해 상승세와 하강세에 있는 연구주제를 구분하였다. 이러한 국내 패션 디자인 분야의 연구주제 및 트렌드 추이 파악은 지금까지의 국내패션 디자인 연구 내용과 향후 방향성을 이해하는데 유용할 것이다.

Abnormal Behavior Recognition Based on Spatio-temporal Context

  • Yang, Yuanfeng;Li, Lin;Liu, Zhaobin;Liu, Gang
    • Journal of Information Processing Systems
    • /
    • 제16권3호
    • /
    • pp.612-628
    • /
    • 2020
  • This paper presents a new approach for detecting abnormal behaviors in complex surveillance scenes where anomalies are subtle and difficult to distinguish due to the intricate correlations among multiple objects' behaviors. Specifically, a cascaded probabilistic topic model was put forward for learning the spatial context of local behavior and the temporal context of global behavior in two different stages. In the first stage of topic modeling, unlike the existing approaches using either optical flows or complete trajectories, spatio-temporal correlations between the trajectory fragments in video clips were modeled by the latent Dirichlet allocation (LDA) topic model based on Markov random fields to obtain the spatial context of local behavior in each video clip. The local behavior topic categories were then obtained by exploiting the spectral clustering algorithm. Based on the construction of a dictionary through the process of local behavior topic clustering, the second phase of the LDA topic model learns the correlations of global behaviors and temporal context. In particular, an abnormal behavior recognition method was developed based on the learned spatio-temporal context of behaviors. The specific identification method adopts a top-down strategy and consists of two stages: anomaly recognition of video clip and anomalous behavior recognition within each video clip. Evaluation was performed using the validity of spatio-temporal context learning for local behavior topics and abnormal behavior recognition. Furthermore, the performance of the proposed approach in abnormal behavior recognition improved effectively and significantly in complex surveillance scenes.

게임 기반 메타버스의 사용자 흥미 요인 연구 : <동물의 숲> 사용자 커뮤니티의 토픽 분석을 중심으로 (A Study on Interest Factors of Game-based Metaverse : focused on the topic analysis of user community)

  • 안진경;곽찬희
    • 융합정보논문지
    • /
    • 제11권10호
    • /
    • pp.1-9
    • /
    • 2021
  • 팬더믹의 영향으로 메타버스에 대한 관심이 증가하고 있으나, 지속성 있는 메타버스 운영을 위한 흥미 요인에 대한 이해는 부족한 실정이다. 따라서 본 연구는 사용자 커뮤니티 담화를 분석하여 메타버스 서비스의 흥미 요인을 밝히고자 한다. 이를 위해 게임 기반 메타버스의 대표 사례인 <모여봐요 동물의 숲>의 사용자 커뮤니티 담화를 수집해, Latent Dirichlet Allocation (LDA)를 활용해 토픽모델링을 실시했다. 추출된 토픽은 크래프팅과 성장을 위한 허들, 현실 연계 콘텐츠의 정보, 채집 활동과 수집 기록, 소셜라이징, 사용자 생성 콘텐츠와 자기표현, 시즈널 이벤트의 수행도, 캐릭터 상호작용과 슬롯 제한으로 나타났다. 게임 기반 메타버스의 흥미 요인은 성장과 확인 가능한 지표, 다양한 층위의 상호작용, 자기표현과 자유도, 현실세계와의 연결로 정리되고, 이를 통해 시간 기반 콘텐츠 운영, 운과 확률의 활용, 제약의 활용이라는 게임 기반 메타버스의 콘텐츠 기획 방향성을 도출했다. 본 연구는 실증적 담화 데이터를 활용해 흥미 요인을 도출했다는 것에 의의가 있다.

텍스트마이닝을 활용한 정보보호 키워드 기반 소셜미디어 빅데이터 분석 (Social Media Bigdata Analysis Based on Information Security Keyword Using Text Mining)

  • 정진명;박영호
    • 한국산업정보학회논문지
    • /
    • 제27권5호
    • /
    • pp.37-48
    • /
    • 2022
  • 디지털 기술의 발전으로 사회적 이슈들이 SNS와 같은 디지털 기반 플랫폼을 통해서 소통되고 여론을 형성하기도 한다. 본 연구에서는 소셜미디어를 통해서 공유되고 있는 정보보호 이슈관련 여론을 살펴보기 위하여 대표적인 단문 소셜네트워크서비스인 트위터 빅데이터 분석을 진행하였다. 2021년 1년간 14개 정보보호 관련 키워드를 중심으로 데이터를 수집한 후, 데이터마이닝 기술을 활용하여 용어 빈도(TF)분석과 피어슨 계수를 활용한 상관분석을 통해 키워드간의 상관관계를 밝혔다. 또한 잠재적 확률기반 LDA 토픽모델링을 실시하여 정보보호분야에 많은 관심을 받았던 6개의 주요 토픽을 도출하였다. 이러한 결과는 관련 산업의 전략수립이나, 정부 정책수립 시 주요 키워드를 도출하는 기초데이터로 활용될 수 있을 것으로 기대된다.

텍스트네트워크분석을 활용한 신규간호사가 경험하는 현실충격 관련 연구의 지식구조 분석 (Analysis of the Knowledge Structure of Research related to Reality Shock Experienced by New Graduate Nurses using Text Network Analysis)

  • 윤희장
    • 문화기술의 융합
    • /
    • 제9권1호
    • /
    • pp.463-469
    • /
    • 2023
  • 본 연구의 목적은 신규간호사가 경험하는 현실충격 관련 연구를 텍스트 네트워크 분석을 통해 분석함으로써 신규간호사의 성공적인 임상적응과 이직률 감소에 기여할 수 있는 기초자료를 제공하기 위함이다. 2002년 1월부터 2021년 12월까지 국내외 학술지에 게재된 115편의 논문에서 신규간호사가 경험한 현실충격에 관한 토픽을 추출하였다. 6개의 데이터베이스(국내: DBpia, KISS, RISS / 해외: Web of science, Springer, Scopus)에서 문헌을 검색하였다. 키워드는 문헌의 초록에서 추출되었고 의미론적 형태소를 사용하여 정리되었다. 네트워크분석 및 토픽모델링은 NetMiner 4.5 프로그램을 사용하여 수행되었다. 핵심 키워드는 '신규간호사', '현실충격', '전환', '학생간호사', '경험', '실습', '근무환경', '역할', '돌봄', '교육' 등으로 확인되었다. 최근 신규간호사의 현실충격에 관한 연구에서 잠재적 디리클레 할당(LDA) 기법으로 '이직', '근무환경', '전환 경험'의 세 가지 주요 주제를 추출하였다. 본 연구결과를 바탕으로 신규호사가 경험하는 현실충격을 효과적으로 감소시키고 성공적으로 임상적응을 도울 수 있는 중재 연구의 필요성을 제언한다.

토픽모델링을 활용한 한국산업경영시스템학회지의 최근 연구주제 분석 (Recent Research Trend Analysis for the Journal of Society of Korea Industrial and Systems Engineering Using Topic Modeling)

  • 박동준;구평회;오형술;윤 민
    • 산업경영시스템학회지
    • /
    • 제46권3호
    • /
    • pp.170-185
    • /
    • 2023
  • The advent of big data has brought about the need for analytics. Natural language processing (NLP), a field of big data, has received a lot of attention. Topic modeling among NLP is widely applied to identify key topics in various academic journals. The Korean Society of Industrial and Systems Engineering (KSIE) has published academic journals since 1978. To enhance its status, it is imperative to recognize the diversity of research domains. We have already discovered eight major research topics for papers published by KSIE from 1978 to 1999. As a follow-up study, we aim to identify major topics of research papers published in KSIE from 2000 to 2022. We performed topic modeling on 1,742 research papers during this period by using LDA and BERTopic which has recently attracted attention. BERTopic outperformed LDA by providing a set of coherent topic keywords that can effectively distinguish 36 topics found out this study. In terms of visualization techniques, pyLDAvis presented better two-dimensional scatter plots for the intertopic distance map than BERTopic. However, BERTopic provided much more diverse visualization methods to explore the relevance of 36 topics. BERTopic was also able to classify hot and cold topics by presenting 'topic over time' graphs that can identify topic trends over time.

Non-Simultaneous Sampling Deactivation during the Parameter Approximation of a Topic Model

  • Jeong, Young-Seob;Jin, Sou-Young;Choi, Ho-Jin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제7권1호
    • /
    • pp.81-98
    • /
    • 2013
  • Since Probabilistic Latent Semantic Analysis (PLSA) and Latent Dirichlet Allocation (LDA) were introduced, many revised or extended topic models have appeared. Due to the intractable likelihood of these models, training any topic model requires to use some approximation algorithm such as variational approximation, Laplace approximation, or Markov chain Monte Carlo (MCMC). Although these approximation algorithms perform well, training a topic model is still computationally expensive given the large amount of data it requires. In this paper, we propose a new method, called non-simultaneous sampling deactivation, for efficient approximation of parameters in a topic model. While each random variable is normally sampled or obtained by a single predefined burn-in period in the traditional approximation algorithms, our new method is based on the observation that the random variable nodes in one topic model have all different periods of convergence. During the iterative approximation process, the proposed method allows each random variable node to be terminated or deactivated when it is converged. Therefore, compared to the traditional approximation ways in which usually every node is deactivated concurrently, the proposed method achieves the inference efficiency in terms of time and memory. We do not propose a new approximation algorithm, but a new process applicable to the existing approximation algorithms. Through experiments, we show the time and memory efficiency of the method, and discuss about the tradeoff between the efficiency of the approximation process and the parameter consistency.