• 제목/요약/키워드: 문서 군집화

검색결과 93건 처리시간 0.028초

연관 태그의 군집화를 위한 클러스터링 기법 비교 연구 (A Comparative Study on Clustering Methods for Grouping Related Tags)

  • 한승희
    • 한국문헌정보학회지
    • /
    • 제43권3호
    • /
    • pp.399-416
    • /
    • 2009
  • 본 연구에서는 태그 공간에서 정보의 효율적 탐색을 위해 이용자에게 제공될 수 있는 연관 태그 클러스터의 생성을 위해 다양한 유사계수와 클러스터링 기법을 적용한 후 그 결과를 평가하고 비교 분석함으로써 연관 태그의 클러스터링에 가장 적합한 클러스터링 알고리즘을 확인하고자 하였다. Delicious에서 임의의 태그 10개를 대상으로 각각 300개의 문서에서 추출한 연관 태그를 대상으로 태그쌍 간의 연관성을 측정한 후 계층적 기법과 비계층적 기법을 적용하여 생성된 클러스터를 대상으로 클러스터 적합도를 측정한 결과, 일반적으로 용어 클러스터링에서 널리 활용되는 것으로 알려진 워드 기법이 코사인 유사계수와 결합했을 때 거의 모든 실험 대상에 대해 유사한 경향을 보이면서 가장 우수한 성능을 나타내는 것으로 나타났다. 연관 태그 클러스터는 정보관리 측면에서 유사한 합목적성을 갖는 태그끼리 군집을 이루면서 용어의 중의성을 해소함으로써 태그 공간에서의 이용자의 정보 탐색에 유용하게 활용될 것이다.

빅데이터를 활용한 편의점 간편식에 대한 의미 분석 (A study on the User Experience at Unmanned Checkout Counter Using Big Data Analysis)

  • 김애숙;류기환;정주희;김희영
    • 문화기술의 융합
    • /
    • 제8권4호
    • /
    • pp.375-380
    • /
    • 2022
  • 본 연구는 빅데이터를 활용하여 편의점 간편식에 대한 소비자들의 인식과 의미를 알아보기 위한 목적이 있다. 이 연구를 위하여 네이버(NAVER)와 다음(Daum)에서 뉴스, 지식인, 블로그, 카페, 지식인(팁), 웹 문서를 대상으로 분석하였고 자료 검색을 위한 키워드로는 '편의점 간편식'을 사용하였다. 자료 분석 기간은 2019년 1월1일부터 2021년 12월 31일까지 3년으로 선정하였다. 자료수집 및 분석을 위해서는 텍스톰(TEXTOM)을 사용하여 빈도 및 매트릭스 데이터를 추출하였고 UCINET 6 프로그램의 NetDraw 기능을 이용해 네트워크 분석과 시각화 분석을 실시하였다. 그 결과 편의점 간편식을 소비자들의 선택속성에 따라 건강성, 다양성, 간편성, 경제성으로 군집화 하였다. 직접 조리한 음식에 뒤떨어지지 않고 한 끼 식사로 그 종류가 다양하며, 적절한 가격, 할인 쿠폰, 이벤트 등 편의점 간편식에 대한 소비자들의 의미와 선택속성을 바탕으로 간편성과 편의성을 추구하는 변화된 생활방식에 맞는 새로운 간편식 메뉴 개발에 기초 자료가 되기를 기대한다.

논문 원문을 이용한 동명 저자 자동 군집화 (Automatic Clustering of Same-Name Authors Using Full-text of Articles)

  • 강인수;정한민;이승우;김평;구희관;이미경;구남앙;성원경
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2006년도 추계 종합학술대회 논문집
    • /
    • pp.652-656
    • /
    • 2006
  • 대용량 과학 기술 문헌의 탐색 및 검색에 있어서 저자, 저자 소속 기관, 게재지 등에 대해 고유 식별자에 기반한 표현의 필요성이 증가하고 있다. 특히, 과학 기술 문헌의 저자가 단순히 이름으로 표현될 경우, 동일명을 가진 서로 다른 저자들에 대한 구분은 사용자의 검색 부담을 가중시키게 된다. 이러한 동명이인의 문제를 해결하기 위한 기존의 접근법들은 공저자 정보, 논문 제목 등의 서지 정보에 의존하는 공통점을 지닌다. 그러나, 기존의 방법들은 공저자가 없거나 논문 제목 간의 공통 어휘가 발견되지 않을 경우 어려움을 겪게 된다. 본 연구에서는, 동명저자 문제 해소를 위한 기존의 접근법을 보완하기 위해, 동명저자들의 논문 원문의 내용에 기반한 문서 군집화 방법을 사용한다. 국내 학술대회 발표 논문집을 대상으로 한 실험에서 제안한 방법이 기존의 서지정보에 기반한 해법의 단점을 보완할 수 있다는 가능성을 보였다.

  • PDF

랜덤 포레스트를 이용한 한국어 상호참조 해결 (Coreference Resolution for Korean Using Random Forests)

  • 정석원;최맹식;김학수
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.535-540
    • /
    • 2016
  • 상호참조 해결은 문서 내에 존재하는 멘션들을 식별하고, 참조하는 멘션끼리 군집화하는 것으로 정보 추출, 사건 추적, 질의응답과 같은 자연어처리 응용에 필수적인 과정이다. 최근에는 기계학습에 기반한 다양한 상호참조 해결 모델들이 제안되었으며, 잘 알려진 것처럼 이런 기계학습 기반 모델들은 상호참조 멘션 태그들이 수동으로 부착된 대량의 학습 데이터를 필요로 한다. 그러나 한국어에서는 기계학습 모델들을 학습할 가용한 공개 데이터가 존재하지 않는다. 그러므로 본 논문에서는 다른 기계학습 모델보다 적은 학습 데이터를 필요로 하는 효율적인 상호참조 해결 모델을 제안한다. 제안 모델은 시브-가이드 자질 기반의 랜덤 포레스트를 사용하여 상호참조하는 멘션들을 구분한다. 야구 뉴스 기사를 이용한 실험에서 제안 모델은 다른 기계학습 모델보다 높은 0.6678의 CoNLL F1-점수를 보였다.

시맨틱 네트워크를 통한 문학작품 속 인물과 의상의 관계 -소설 「노르웨이의 숲」- (The Relationship Between Character and Costume in literary Work using Semantic networks -The novel 「Norwegian Wood」-)

  • 최영현;김성은;이규혜
    • 디지털융복합연구
    • /
    • 제19권1호
    • /
    • pp.307-314
    • /
    • 2021
  • 본 연구에서는 시맨틱 네트워크의 원리를 장편소설에 적용하여, 문서 전체의 구조를 파악하고 단어와 단어 간의발현 관계를 알아보고자 했다. 무라카미 하루키의 소설 '노르웨이의 숲'을 분석 대상으로, 등장인물의 상징과 관계, 성격특성, 의상 표현을 네트워크 분석을 통해 분석했다. CNM 군집화 알고리즘을 통해 소설 속 등장인물들의 상징과 인물간의 관계 속성을 확인할 수 있었다. 이에 따라, 소설 속 등장인물의 관계와 인물이 상징하는 잠재적인 의미가 전체 네트워크 구조 내에서 서로 유사한 구조적 특성을 가지며 동일 집단에 나타나고 있음을 확인할 수 있었다. 작가가 의도한 세계관 내에서 만든 등장인물 간의 관계에 대한 묘사나 상징들을 파악할 수 있었다. 인물의 성격, 불안정한 정신상태, 심경 변화가 연결중심성이 높은 함축적인 몇 개의 단어를 통해 나타나고 있었다. 인물의 특성에 따른 의상 표현 역시 인물을 설명하는 단서로 적절하게 연결되는 것을 확인할 수 있었다. 본 연구는 융합연구로써, 문학작품을 대상으로 새로운 방법론을 제시했다는데 학술적 의의가 있다.

중복을 허용한 계층적 클러스터링에 의한 복합 개념 탐지 방법 (Hierarchical Overlapping Clustering to Detect Complex Concepts)

  • 홍수정;최중민
    • 지능정보연구
    • /
    • 제17권1호
    • /
    • pp.111-125
    • /
    • 2011
  • 클러스터링(Clustering)은 유사한 문서나 데이터를 묶어 군집화해주는 프로세스이다. 클러스터링은 문서들을 대표하는 개념별로 그룹화함으로써 사용자가 자신이 원하는 주제의 문서를 찾기 위해 모든 문서를 검사할 필요가 없도록 도와준다. 이를 위해 유사한 문서를 찾아 그룹화하고, 이 그룹의 대표되는 개념을 도출하여 표현해주는 기법이 요구된다. 이 상황에서 문제점으로 대두되는 것이 복합 개념(Complex Concept)의 탐지이다. 복합 개념은 서로 다른 개념의 여러 클러스터에 속하는 중복 개념이다. 기존의 클러스터링 방법으로는 문서를 클러스터링할 때 동일한 레벨에 있는 서로 다른 개념의 클러스터에 속하는 중복된 복합 개념의 클러스터를 찾아서 표현할 수가 없었고, 또한 복합 개념과 각 단순 개념(Simple Concept) 사이의 의미적 계층 관계를 제대로 검증하기가 어려웠다. 본 논문에서는 기존 클러스터링 방법의 문제점을 해결하여 복합 개념을 쉽게 찾아 표현하는 방법을 제안한다. 기존의 계층적 클러스터링 알고리즘을 변형하여 동일 레벨에서 중복을 허용하는 계층적 클러스터링(Hierarchical Overlapping Clustering, HOC) 알고리즘을 개발하였다. HOC 알고리즘은 문서를 클러스터링하여 그 결과를 트리가 아닌 개념 중복이 가능한 Lattice 계층 구조로 표현함으로써 이를 통해 여러 개념이 중복된 복합 개념을 탐지할 수 있었다. HOC 알고리즘을 이용해 생성된 각 클러스터의 개념이 제대로 된 의미적인 계층 관계로 표현되었는지는 특징 선택(Feature Selection) 방법을 적용하여 검증하였다.

제 4차 산업혁명 중심의 사물인터넷 지적 구조 시각화 (Visualization of the Intellectual Structure on the Internet of Things Focuses on the Industry 4.0)

  • 임혜정;서창교
    • 한국산업정보학회논문지
    • /
    • 제27권6호
    • /
    • pp.127-140
    • /
    • 2022
  • 최근 정보통신기술(ICT)의 발달로 산업혁명은 3차 산업에서 4차 산업으로 옮겨가고 있다. 기업이 미래에 생존하기 위해서는 이러한 기술을 채택해야 한다는 것에는 의심의 여지가 없다. 본 연구의 목적은 제4차 산업혁명을 위한 사물인터넷(IoT) 연구 문헌의 지적 구조를 분석하여 해당 분야에 대한 더 나은 통찰력을 제시하는 것이다. 연구 데이터는 Web of Science 데이터베이스에서 추출되었으며, CiteSpace를 사용하여 총 1,631개의 문서와 72,754개의 참고 문헌을 분석하였다. 저자동시인용분석을 이용하여 제4차 산업혁명을 위한 사물인터넷 연구 분야의 지적 구조를 분석하기 위해 군집분석, 타임라인 분석, 연구전환점 분석을 수행하여 'Supply Chain', 'Digital Twin', 'Smart Manufacturing System' 등 12개의 하위 영역을 식별하였다. 타임라인 분석을 통해 연구가 확대되고 있는 분야와 축소되고 있는 분야를 분석하였으며, 연구의 한계점과 향후 연구방향을 결론과 함께 제시하였다.

텍스트 마이닝을 이용한 공군 부사관 지원자 자기소개서의 차별적 특성 분석 (Analyzing the discriminative characteristic of cover letters using text mining focused on Air Force applicants)

  • 권혁;김우주
    • 지능정보연구
    • /
    • 제27권3호
    • /
    • pp.75-94
    • /
    • 2021
  • 저출산 문제로 인한 병역자원 감소와 병 복무기간 단축에 따른 군 간부 대비 병 복무 선호 현상은 우수한 군 간부확보정책에 대한 추가적인 고찰을 필요로 한다. 이와 관련된 연구들은 대부분 사회과학에서 주로 사용되는 방법론으로 분석하였으나, 본 연구는 대량의 문헌조사에 적합한 텍스트 마이닝의 방법론으로 접근한다. 이를 위해, 본 연구는 공군 부사관 지원자 자기소개서에서 차별적인 특성의 단어들을 추출하고 합격 및 불합격의 극성을 분석한다. 본 연구는 총 3단계로 이루어졌다. 첫번째, 지원분야를 일반분야와 기술분야로 나누고, 자기소개서에서 특성을 가지는 단어들을 분야별 빈도수 비율의 차이대로 순서화 한다. 각 지원분야별 비율의 차이가 클수록 해당 지원분야의 특성을 나타내는 것으로 정의하였다. 두번째, 이 특성을 나타내는 단어들을 LDA를 통해 단어들의 Topic을 군집화하고 이를 바탕으로 Label을 정의하였다. 세번째, 이 군집화 된 지원분야별 단어들을 L-LDA를 통해 합격과 불합격의 극성을 분석하였다. L-LDA값의 차이가 합격에 가까울수록 합격자들이 많이 사용하는 단어로 정의하였다. 본 연구를 통해, 공군 부사관 자기소개서의 차별적 특성을 추출하기에는 LDA보다 L-LDA가 더 적합함을 알 수 있다. 또한, 이러한 방법론은 별도의 서면 또는 대면 설문 방식이 아니라, 대량 문서에 대한 텍스트 마이닝 기법을 적용하여 분석시간을 단축하고, 전체 모집단에 대한 신뢰성을 높일 수 있다. 따라서 본 연구인 공군 부사관 선발결과 분석을 통해, 선발제도 및 홍보제도에 활용 가능한 정보를 제공하고, 군 인력획득 분야 연구에 있어 활용 가능한 방법론을 제안하고자 한다.

텍스트 마이닝을 이용한 스마트 도시계획 수립을 위한 전략분야 도출연구: 부산 사례를 바탕으로 (Identification of Strategic Fields for Developing Smart City in Busan Using Text Mining)

  • 채윤식;이상훈
    • 디지털융복합연구
    • /
    • 제16권11호
    • /
    • pp.1-15
    • /
    • 2018
  • 본 연구의 목적은 텍스트 마이닝 기법을 활용하여 부산 및 기타 지자체의 도시계획 보고서에 포함되어 있는 서지정보를 분석하고 새로운 스마트도시계획의 수립을 위한 전략 분야를 도출하는 것이다. 텍스트 마이닝 분석은 구조화되어 있지 않은 문서로부터 키워드를 추출하고 획득한 정보의 특성과 패턴을 발견하는 기법으로 최근 지식관리 측면에서 많이 사용되고 있다. 본 분석을 통해 초기의 부산 도시계획은 개별 산업분야 고도화에 초점이 맞춰져 있을 뿐 각 분야별 정보시스템의 연계에 대한 논의가 적은 것으로 나타났지만 최근 계획에서는 도시통합운영관리와 관련한 물리적 인프라와 ICT시스템과 관련한 내용이 다수 포함되어있는 것으로 나타났다. 특히, 타 지자체에 비해 항만/물류, 문화, 전시 분야가 특유의 서비스영역으로 도출되었지만 도시안전, 데이터공유, 신재생에너지 분야에 대한 계획은 부족한 것으로 나타났다. 본 연구는 향후 새로운 스마트 도시계획 수립을 위한 정책적 시사점을 제공할 것으로 기대한다.

과학기술정책 연구와 사회, 정부 : 과학기술의 사회이슈, 정부정책, 학술연구의 공진화 분석 (Science and Technology Policy Studies, Society, and the State : An Analysis of a Co-evolution Among Social Issue, Governmental Policy, and Academic Research in Science and Technology)

  • 권기석;정서화;이찬구
    • 기술혁신학회지
    • /
    • 제21권1호
    • /
    • pp.64-91
    • /
    • 2018
  • 이 연구의 목적은 우리나라에서 과학기술정책 연구가 본격적으로 등장한 이래 과학기술을 둘러싼 사회이슈, 학술연구, 과학기술정책이 어떻게 상호작용해 왔는지 탐색하는 데에 있다. 과학기술정책 연구가 시대적 수요를 얼마나 수용해 왔는지, 문제해결을 위해 얼마나 적절하게 대응해 왔는지 분석하였다. 이를 위해 크게 사회이슈, 학술연구, 그리고 과학기술정책의 텍스트에 대한 네트워크분석과 군집분석을 실시하였다. 먼저, 과거 20년 동안 과학기술 관련 언론 기사를 중심으로 사회이슈를 분석하였다. 다음으로, 과학기술정책 연구논문과 정부문서를 각각 분석해봄으로써 사회문제로 제기된 과학기술 관련 정책수요들이 연구를 통해 정부정책으로 이어졌는지 분석하였다. 분석 결과, 과학기술정책 연구는 통합적인 시각보다는 주로 급변하는 기술혁신에 발 빠르게 움직이는 단편적 연구가 많다고 할 수 있다. 그러나 다음 시기에서는 연구주제의 성숙도를 높이면서, 사회적 반응성을 높이는 공진화 경향을 보여 주었다. 이러한 과정에서 삼자간 시차 현상 또한 확인할 수 있었다. 향후 과학기술정책 연구는 기존의 미시수준의 연구에서 중범위와 거시수준으로 확장되어야 할 것이다. 특히 과학기술의 정책과정과 공공관리에 관심을 가져야하며, 사회적 이슈에 대한 민감성을 높이는 정책의제설정 등에 대한 연구가 필요하다는 시사점을 도출하였다.