• 제목/요약/키워드: 텍스트 수집

검색결과 697건 처리시간 0.023초

TF-IDF와 소설 텍스트의 구조를 이용한 주제어 추출 연구 (Study on Extraction of Keywords Using TF-IDF and Text Structure of Novels)

  • 유은순;최건희;김승훈
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권2호
    • /
    • pp.121-129
    • /
    • 2015
  • 도서 상품에 대한 정보량이 폭증하면서 고객이 도서 선택에 어려움을 겪는 상황이 발생하고 있다. 이에 따라 고객에게 적합한 도서 정보를 제공하여 구매를 유도하는 도서 추천시스템의 중요성이 커지고 있다. 하지만 도서의 서지정보나 사용자 정보 등을 이용한 기존의 추천시스템은 추천 결과의 신뢰도에 문제를 드러내고 있기 때문에 도서 본문 텍스트의 의미적 정보를 추천시스템에 반영하는 것이 필요하다. 따라서 본 논문은 이에 대한 선행연구로 TF-IDF기법과 소설의 외형적 구조를 이용한 소설 텍스트의 주제어 추출 방법을 제안하였다. 이를 위해 100권의 소설텍스트를 수집하고 각각의 소설을 머리말, 대화문, 비대화문, 맺음말의 4개의 구조로 분리한 후 TF-IDF 가중치를 계산하였다. 실험결과 본문 텍스트만을 이용했을 때 보다 머리말과 맺음말을 포함하고 대화문에 가중치를 높게 부여하였을 때 주제어의 추출 정확도가 42.1%의 성능 향상을 보였다.

텍스트 마이닝 기법을 이용한 모바일 간편결제 서비스에 대한 소비자 반응 분석: 삼성페이를 중심으로 (An exploratory study on consumers' responses to mobile payment service focused on Samsung Pay)

  • 정민지;이유림;유채민;김지원;정재은
    • 디지털융복합연구
    • /
    • 제17권1호
    • /
    • pp.9-27
    • /
    • 2019
  • 본 연구는 모바일 간편결제 서비스에 대한 소비자 반응을 살펴보고 그 반응이 서로 어떤 연관이 있는지 파악하고자 하였다. 이를 위해 대표적인 모바일 간편결제 서비스인 삼성페이를 사용한 경험에 대해 언급한 데이터를 수집하고, R을 이용하여 텍스트 빈도분석, 텍스트 군집분석 그리고 텍스트 네트워크 분석을 실시하였다. 본 연구의 주요 결과는 다음과 같다. 첫째, 빈도분석 결과 삼성페이의 기능과 삼성페이가 지갑을 대체할 수 있는 지에 대한 관심이 높은 것으로 드러났다. 둘째, 군집분석 결과 크게 긍정과 부정 반응으로 분류되었으며 5가지 긍정반응 군집과 4가지의 부정반응 군집이 도출되었다. 셋째, 삼성페이에 대한 지갑 대체 가능 여부는 복수의 반응을 하나의 메시지로 묶어주며, 삼성페이에 대한 지속적인 이용의도와 높은 관련성을 지니는 요인임이 밝혀졌다. 본 연구를 통해 소비자 측면에서 삼성페이에 대한 이해를 높이고, 소비자의 가치와 기대에 부응하여 궁극적으로 높은 만족을 이끌어낼 수 있는 서비스를 제공하는데 도움이 될 것으로 기대된다.

관리도를 활용한 국민청원 토픽 모니터링 연구 (Topic change monitoring study based on Blue House national petition using a control chart)

  • 이희연;최지은;이성임;손원
    • 응용통계연구
    • /
    • 제34권5호
    • /
    • pp.795-806
    • /
    • 2021
  • 최근 온라인 채널을 통한 텍스트 자료가 방대해 지면서 이를 요약하고 분석하는 연구에 관한 관심이 커지고 있는 추세이다. 먼저 텍스트 자료에 대한 기본적인 분석 중 하나는 어떤 주제나 내용을 포함하고 있는지 잠재된 토픽을 추출하는 것이다. 연구자가 일일이 모든 자료를 읽고 내용을 요약할 수도 있겠지만, 대용량 데이터를 다루는 경우에는 결코 쉽지 않기 때문에, 통계적 모형을 사용하여 토픽을 추출하는 토픽모형 방법들이 제안되어 왔다 (Blei와 Lafferty, 2007; Blei 등, 2003). 시간에 따라 수집된 텍스트 데이터로부터 토픽의 변화를 모니터링하기 위하여, 본 연구에서는 잠재적 디리슈레 할당(latent Dirichlet allocation) 모형을 통해 토픽을 분류하고 그 결과를 바탕으로 한 토픽 지수를 제안하였다. 또한, 이를 통계적 공정관리의 대표적 도구인 관리도에 적용하여 시간 경과에 따른 토픽의 변화를 모니터링하는 데 적용해 보았다. 실제 데이터로 2018년 3월 5일부터 2020년 3월 5일 사이에 청와대 국민청원 온라인 게시판에 접수된 텍스트 데이터를 사용하였으며, 토픽 지수를 모니터링함으로써 토픽에 대한 이상변화를 탐지할 수 있음을 살펴 보았다.

지식 그래프와 딥러닝 모델 기반 텍스트와 이미지 데이터를 활용한 자동 표적 인식 방법 연구 (Automatic Target Recognition Study using Knowledge Graph and Deep Learning Models for Text and Image data)

  • 김종모;이정빈;전호철;손미애
    • 인터넷정보학회논문지
    • /
    • 제23권5호
    • /
    • pp.145-154
    • /
    • 2022
  • 자동 표적 인식(Automatic Target Recognition, ATR) 기술이 미래전투체계(Future Combat Systems, FCS)의 핵심 기술로 부상하고 있다. 그러나 정보통신(IT) 및 센싱 기술의 발전과 더불어 ATR에 관련이 있는 데이터는 휴민트(HUMINT·인적 정보) 및 시긴트(SIGINT·신호 정보)까지 확장되고 있음에도 불구하고, ATR 연구는 SAR 센서로부터 수집한 이미지, 즉 이민트(IMINT·영상 정보)에 대한 딥러닝 모델 연구가 주를 이룬다. 복잡하고 다변하는 전장 상황에서 이미지 데이터만으로는 높은 수준의 ATR의 정확성과 일반화 성능을 보장하기 어렵다. 본 논문에서는 이미지 및 텍스트 데이터를 동시에 활용할 수 있는 지식 그래프 기반의 ATR 방법을 제안한다. 지식 그래프와 딥러닝 모델 기반의 ATR 방법의 핵심은 ATR 이미지 및 텍스트를 각각의 데이터 특성에 맞게 그래프로 변환하고 이를 지식 그래프에 정렬하여 지식 그래프를 매개로 이질적인 ATR 데이터를 연결하는 것이다. ATR 이미지를 그래프로 변환하기 위해서, 사전 학습된 이미지 객체 인식 모델과 지식 그래프의 어휘를 활용하여 객체 태그를 노드로 구성된 객체-태그 그래프를 이미지로부터 생성한다. 반면, ATR 텍스트는 사전 학습된 언어 모델, TF-IDF, co-occurrence word 그래프 및 지식 그래프의 어휘를 활용하여 ATR에 중요한 핵심 어휘를 노드로 구성된 단어 그래프를 생성한다. 생성된 두 유형의 그래프는 엔터티 얼라이먼트 모델을 활용하여 지식 그래프와 연결됨으로 이미지 및 텍스트로부터의 ATR 수행을 완성한다. 제안된 방법의 우수성을 입증하기 위해 웹 문서로부터 227개의 문서와 dbpedia로부터 61,714개의 RDF 트리플을 수집하였고, 엔터티 얼라이먼트(혹은 정렬)의 accuracy, recall, 및 f1-score에 대한 비교실험을 수행하였다.

빅데이터 분석 기반의 메타스터디를 통해 본 공유경제에 대한 학술연구 동향 분석 (Trends Analysis on Research Articles of the Sharing Economy through a Meta Study Based on Big Data Analytics)

  • 김기연
    • 인터넷정보학회논문지
    • /
    • 제21권4호
    • /
    • pp.97-107
    • /
    • 2020
  • 본 연구의 목적은 빅데이터 분석기법을 활용하여 공유경제 관련 국내 학술연구 동향을 탐색하기 위해 내용분석 관점에서 종합적 메타스터디를 수행하는데 있다. 종합적 메타분석 연구방법론은 일련의 전체 연구결과물들을 역사적으로 그리고 포괄적으로 살펴봄으로써 전체 연구동향의 규칙성이나 특성을 조명하여, 이를 통해 향후 연구에 대해 방향성을 제시할 수 있다. 공유경제를 주제로 하는 국내 학술연구는 Lawrence Lessig 교수가 2008년에 공유경제의 개념을 세상에 소개한 해에 등장하였으나, 본격적인 연구는 2013년부터 진행되었다. 특히, 2006~2008년 사이에 국내 공유경제 관련 학술연구는 양적으로 급격히 증가하였다. 본 연구는 2013년부터 현재까지 약 8년간의 논문들을 분석 논문으로 선정하고, 전자저널의 학술논문검색 및 원문서비스를 이용하여 제목, 키워드, 초록을 중심으로 텍스트 데이터를 수집하였다. 수집된 데이터를 정제, 분석, 시각화의 순서로 빅데이터 분석을 실시하여, 추출된 핵심어들을 통해 연도별 및 문헌 유형별 연구동향 및 인사이트를 도출하였다. 데이터 전처리 및 텍스트 마이닝, 메트릭스 빈도분석을 위해 Python3.7과 Textom 분석도구를 활용하였고, 핵심어 노드 간의 구조적 연관성을 파악하기 위해 UCINET6/NetDraw, Textom 프로그램 기반의 N-gram 차트, 중심성 및 소셜네트워크 분석, 그리고 CONCOR 클러스터링 시각화를 통해 8개로 군집화 한 키워드들을 토대로 연구동향의 유형별 특성을 발견하였다. 아직까지 사회과학적 관점에서 공유경제 관련 학술연구 동향에 관한 조사가 이루어진 바가 없기 때문에, 본 연구의 결과물은 선행연구로서 후속 연구들에게 이론적 고찰 및 향후 연구방향에 대해 유용한 정보를 제공하는 초석의 역할을 기대할 수 있다.

빅데이터 분석을 통한 패키징에 대한 소비자의 주요 인식 조사 -텍스트 마이닝과 의미연결망 분석을 중심으로- (A Study of the Consumer Major Perception of Packaging Using Big Data Analysis -Focusing on Text Mining and Semantic Network Analysis-)

  • 강욱건;고의석;이학래;김재능
    • 한국융합학회논문지
    • /
    • 제9권4호
    • /
    • pp.15-22
    • /
    • 2018
  • 패키징에 대한 소비자들의 주요인식을 조사하기 위해 빅데이터 분석방법인 텍스트 마이닝과 의미연결망 분석을 중심으로 연구를 진행하였다. 데이터 수집은 웹&SNS데이터 분석 프로그램인 텍스톰(Textom)을 사용하여 2년 7개월간의 데이터를 수집하였다. 연구 결과 네트워크 중심도는 패키징의 경우 8.9% 포장은 9.1%로 패키징이 보다 다양한 주제를 다루는 것으로 조사되었다. CONCOR 분석을 통해서 유사한 의미를 가지는 4개의 그룹으로 분류하여 패키징에 관한 소비자들의 주요인식을 연구, 개발, 산업, 소재, 기능 등으로 요약하였다. 본 연구에 따르면 소비자가 가장 많이 인식하는 패키징 소재는 합성수지이며 패키징 기능으로는 보관의 기능을 주로 인식한다. 또한 소비자들이 인식하는 패키징 관련 상품군으로 제약, 의약품인 것으로 조사되었다. 본 연구결과는 패키징에 대한 소비자들의 인식을 예측함으로써 향후 이루어질 연구와 산업발전에 기초자료로써의 활용 가능성을 가지며 빅데이터와 패키징 두 분야의 융합을 통한 패키징 분야의 새로운 연구방향을 제시한 의의가 있다.

나이브 베이즈 기반 소셜 미디어 상의 신조어 감성 판별 기법 (Sensitivity Identification Method for New Words of Social Media based on Naive Bayes Classification)

  • 김정인;박상진;김형주;최준호;김한일;김판구
    • 스마트미디어저널
    • /
    • 제9권1호
    • /
    • pp.51-59
    • /
    • 2020
  • 인터넷의 발달과 스마트폰의 보급으로 인하여 그에 따른 소셜 미디어 문화가 형성됨에 따라 PC통신부터 지금까지 소셜 미디어 신조어가 그 문화로 자리 잡아가고 있다. 소셜 미디어의 등장과 사람들의 가교역할을 해주는 스마트폰의 보급화로 신조어가 생기고 빈번하게 사용되고 있는 추세이다. 신조어의 사용은 다양한 문자 제한 메신저의 문제점을 해결하고 짧은 문장을 사용하여 데이터를 줄이는 등 많은 장점을 가지고 있다. 그러나 신조어에는 사전적인 의미가 없으므로 데이터 마이닝 기술이나 빅데이터와 같은 연구에서 사용되는 알고리즘의 성능 저하와 연구에 제약사항이 발생한다. 따라서 본 논문에서는 웹 크롤링을 통해 텍스트 데이터를 추출하고, 텍스트 마이닝과 오피니언 마이닝을 통해 의미부여 및 단어들에 대한 감정적 분류를 통한 문장의 오피니언 파악을 진행하고자 한다. 실험은 다음과 같이 3단계로 진행하였다. 첫째, 소셜 미디어에서 새로운 단어를 수집하여 수집된 단어는 긍정적이고 부정적인 학습을 받게 하였다. 둘째, 표준 문서를 사용하여 감정적 가치를 도출하고 검증하기 위해 TF-IDF를 사용하여 데이터의 감정적 가치를 측정하기 위해 명사 빈도수를 측정한다. 신조어와 마찬가지로 분류된 감정적 가치가 적용되어 감정이 표준 언어 문서로 분류되는지 확인하였다. 마지막으로, 새로 합성된 단어와 표준 감정적 가치의 조합을 사용하여 장비 기술의 비교분석을 수행하였다.

국가R&D과제와 신문에서 텍스트마이닝을 통한 그래핀 기술의 지식구조 탐색 (Discovering the Knowledge Structure of Graphene Technology by Text Mining National R&D Projects and Newspapers)

  • 이지연;나혜인;이병희;김태현
    • 한국콘텐츠학회논문지
    • /
    • 제21권2호
    • /
    • pp.85-99
    • /
    • 2021
  • '꿈의 소재'로 불리는 그래핀이 4차 산업혁명 시대를 선도할 획기적인 신소재로 주목받고 있다. 그래핀은 높은 강도와 탁월한 전기 및 열 전도율, 뛰어난 광학적 투과도, 우수한 기체 차단 등 특성을 지닌다. 본 논문에서는 최근 우리 정부의 그린 및 디지털 뉴딜 정책과 코로나19 팬데믹 관련 바이오센서로도 주목받는 그래핀 기술을 분석해 국가 R&D 동향과 지식구조를 파악하고 활용 가능성을 모색한다. 이를 위해 우리나라 국가과학기술지식정보서비스에서 최근 10년간의 국가R&D 과제정보 4,054건을 수집해 그래핀 관련 과제정보 동향을 분석한다. 또 이 가운데 정부의 그린뉴딜 정책과 관련된 녹색기술분류에 해당하는 과제도 함께 분석한다. 이와 더불어 국내 전문지 e신문에서 최근 500건의 그래핀 관련 기사를 수집해 텍스트마이닝 분석을 수행한다. 이러한 국가R&D 과제정보 및 신문기사를 분석한 결과 그래핀을 소재로 한 국가 전체 R&D과제 중 과제 수가 가장 많은 분야가 고효율 2차전지기술로 나타났고, 전체 연구비에서 차지하는 비중도 1위로 가장 높았다. 이번 연구결과를 통해 향후 우리나라가 그래핀 기술개발을 선도해 전기자동차는 물론이고 휴대폰 배터리, 차세대 반도체, 5G 및 바이오센서 분야 등 전 산업군에서 세계적인 선도국으로 도약하기를 기대한다.

텍스트 마이닝을 적용한 사회서비스원 언론보도기사 분석 (An Analysis on Media Trends in Public Agency for Social Service Applying Text Mining)

  • 박해긍;윤기혁
    • 사물인터넷융복합논문지
    • /
    • 제8권2호
    • /
    • pp.41-48
    • /
    • 2022
  • 본 연구는 사회서비스원과 관련한 국내 언론보도기사를 주요 원자료로 삼고, 기사에 내재된 주요 키워드 및 토픽을 분석하여 사회서비스원과 관련한 이슈, 즉 사회적 인식이 어떻게 형성되었는지를 실증적으로 탐색하고자 하였다. 본 연구는 사회서비스원에 관한 사회 전반적인 인식 및 동향을 여론을 통해 파악한다는 점에서 의의가 있다. 언론동향의 데이터를 추출하기 위해 검색은 빅테이터 분석 시스템인 텍스톰을 사용하여 대표적 포털인 네이버 뉴스와 다음 뉴스에서 자료를 수집하였다. 수집된 기사는 2020년도 1,299개, 2021년도 총 1,410로, 총 2,709개였다. 분석결과로 첫째, 텍스트 출현빈도와 관련해서 가장 많이 도출된 단어는 '사회서비스원', '설립', '운영' 등으로 주로 사회서비스원의 설립과 관련한 내용이 주를 이루고 있었다. 둘째, N-gram분석결과 사회서비스원과 직접 관련된 단어의 쌍(pairs)은 '사회서비스원과 공공', '사회서비스원과 개원', '사회서비스원과 출범', '사회서비스원과 원장', '사회서비스원과 직원', '사회서비스원과 돌봄종사자' 등으로 나타났다. 셋째, TF-IDF 분석결과 및 단어 네트워크 분석결과에서는 단어출현빈도와 N-gram의 결과와 유사하게 '설립', '운영', '공공', '출범', '제공', '개원', '개최', '돌봄' 등의 결과가 도출되었다. 상기분석결과를 통해 긴급돌봄지원단의 강화, 구체적인 사업화, 일자리의 안정화 등을 제언하였다.

한국 전통춤과 K-pop 댄스의 융합 : 2018 MMA 방탄소년단 'IDOL' 유튜브 댓글 분석 (Convergence of Korean Traditional Dance and K-Pop Dance : An Analysis of Comments on 2018 MMA BTS 'IDOL' Videos on YouTube)

  • 유지영;김미경
    • 한국엔터테인먼트산업학회논문지
    • /
    • 제13권8호
    • /
    • pp.189-198
    • /
    • 2019
  • 이 연구는 2018년 12월 MMA의 인트로 공연 유튜브 댓글의 텍스트 마이닝을 통해 국내 대중의 반응을 의미화 하는것에 목적이 있다. 이를 위해 지난 10개월간 15개의 유튜브 영상에 달린 댓글을 수집하였다. 데이터의 수집은 Python과 BeautifulSoup프로그램을 통해 총 5,135개의 데이터를 크롤링하였고, 총 3차시에 걸쳐 데이터를 정제한 후 최종 5,080의 데이터를 분석자료로 활용하였다. 데이터 분석에는 텍스트 마이닝 기법이 적용되였고, 정제, 분석, 시각화의 모든 과정은 텍스톰(Textom) 프로그램을 이용하였다. 연구결과 키워드 분석에서는 '무대', '한국', '영상', '최고', '멋', '춤', '아이돌', '레전드', '사랑', '감사'등의 키워드 순으로 나타났고, '국뽕'이나 '올림픽'과 같은 키워드도 빈번하게 나타났다. N-gram 분석에서는 '한국의 아이돌 무대 중 전설로 남을법한 최고의 무대', '한국의 전통문화를 보여준 아이돌의 무대'라는 문맥의 댓글이 상위권에 랭킹되었다. 이와같은 키워드 분석결과를 바탕으로 토픽모델링을 적용하여 총 5개의 토픽에서 상위 5개의 키워드를 추출하였다. 토픽의 내용과 분포도를 분석한 결과 이 공연영상에 대한 댓글의 토픽은 크게 '공연무대에 대한 극찬', '한국전통춤을 융합하여 예술적으로 승화시킨 것에 대한 애정', '멋진 춤 영상을 올려준 것에 대한 감사한 마음'으로 크게 3가지의 반응으로 이루진 것을 확인하였다.