• 제목/요약/키워드: 단어 유사도 분석

검색결과 231건 처리시간 0.025초

문단 분석을 통한 문서 내의 감정 예측 (Emotion Prediction of Document using Paragraph Analysis)

  • 김진수
    • 디지털융복합연구
    • /
    • 제12권12호
    • /
    • pp.249-255
    • /
    • 2014
  • 최근 트위터, 페이스북 등과 같은 소셜 네트워크 서비스(Social Network Service, SNS)의 확산과 더불어 정보의 생성 및 공유가 활발히 이루어지고 있다. 이러한 SNS 매체들을 통해 생산하는 많은 데이터를 활용하기 위해 축적된 데이터로부터 의미 있는 정보를 추출해 내는 기술의 필요성이 대두되고 있으며, 데이터 마이닝 기법을 이용하여 의미있는 지식을 찾아낸다. 특히, 다양한 형태의 방대한 자료들로부터 표출되는 의견, 정책, 성향, 감정 등 대중의 집단지성에 나타난 일반적인 감정분석이 활용되고 있다. 본 논문에서는 대중들이 SNS를 통해 작성한 사용자들의 짧은 문장에 함축된 단어와 단어들 간의 연관성을 이용하여 문장 내 감정 상태를 예측하고 사용자의 감정에 따른 적절한 답변이나 추출한 감정과 유사한 트윗글이나 영화 등을 추천하는데 사용될 수 있는 방법을 제안한다.

텍스트 마이닝을 적용한 사회서비스원 언론보도기사 분석 (An Analysis on Media Trends in Public Agency for Social Service Applying Text Mining)

  • 박해긍;윤기혁
    • 사물인터넷융복합논문지
    • /
    • 제8권2호
    • /
    • pp.41-48
    • /
    • 2022
  • 본 연구는 사회서비스원과 관련한 국내 언론보도기사를 주요 원자료로 삼고, 기사에 내재된 주요 키워드 및 토픽을 분석하여 사회서비스원과 관련한 이슈, 즉 사회적 인식이 어떻게 형성되었는지를 실증적으로 탐색하고자 하였다. 본 연구는 사회서비스원에 관한 사회 전반적인 인식 및 동향을 여론을 통해 파악한다는 점에서 의의가 있다. 언론동향의 데이터를 추출하기 위해 검색은 빅테이터 분석 시스템인 텍스톰을 사용하여 대표적 포털인 네이버 뉴스와 다음 뉴스에서 자료를 수집하였다. 수집된 기사는 2020년도 1,299개, 2021년도 총 1,410로, 총 2,709개였다. 분석결과로 첫째, 텍스트 출현빈도와 관련해서 가장 많이 도출된 단어는 '사회서비스원', '설립', '운영' 등으로 주로 사회서비스원의 설립과 관련한 내용이 주를 이루고 있었다. 둘째, N-gram분석결과 사회서비스원과 직접 관련된 단어의 쌍(pairs)은 '사회서비스원과 공공', '사회서비스원과 개원', '사회서비스원과 출범', '사회서비스원과 원장', '사회서비스원과 직원', '사회서비스원과 돌봄종사자' 등으로 나타났다. 셋째, TF-IDF 분석결과 및 단어 네트워크 분석결과에서는 단어출현빈도와 N-gram의 결과와 유사하게 '설립', '운영', '공공', '출범', '제공', '개원', '개최', '돌봄' 등의 결과가 도출되었다. 상기분석결과를 통해 긴급돌봄지원단의 강화, 구체적인 사업화, 일자리의 안정화 등을 제언하였다.

빅데이터 분석을 이용한 이러닝 수강 후기 분석 (e-Learning Course Reviews Analysis based on Big Data Analytics)

  • 김장영;박은혜
    • 한국정보통신학회논문지
    • /
    • 제21권2호
    • /
    • pp.423-428
    • /
    • 2017
  • 인터넷과 스마트 기기의 사용량 증가로 인해 다양한 교육정보와 많은 양의 데이터가 생성되어 빠르게 확산되고 있다. 최근 이러닝 이용률이 증가하면서 발생하는 빅데이터를 활용하여 학습자들의 교육 성과와 교육 시스템의 효과성을 극대화 하는 것을 목표로 하는 교육 데이터 관련 연구 분야에 대한 관심이 높아지고 있으며 온라인에서 학습자들이 학습한 수많은 기록과 데이터들이 정보로 쌓이게 된다. 이에 본 논문에서는 이러닝 학습자들이 시스템에 남긴 수강 기록을 기반으로 학습자 현황에 대해 객관적으로 파악할 수 있도록 신경망 알고리즘인 Word2Vec을 적용하여 단어 간 유사도를 구하고 클러스터링 알고리즘을 이용하여 군집화 하였다. Word2vec을 이용하여 학습을 시키면 연관된 의미의 단어가 나타나게 되고 학습을 반복해 나가는 과정에서 점차 가까운 벡터를 지니게 된다. 또한 클러스터 알고리즘을 이용하여 명사, 동사, 형용사, 부사가 중심점에서 최소의 거리를 두고 같은 거리에 위치해 있음을 실험 검증하였다.

NCS 능력단위 요소와 기존 교육과정 간 갭 분석을 위한 평가모델 (Evaluation Model for Gab Analysis Between NCS Competence Unit Element and Traditional Curriculum)

  • 김대경;김창복
    • 한국항행학회논문지
    • /
    • 제19권4호
    • /
    • pp.338-344
    • /
    • 2015
  • 국가 직무능력 표준 (NCS; national competency standards)은 직무를 수행하기 위해 요구되는 능력에 대한 체계화 및 표준화이다. NCS는 특정 직무능력인 능력단위 요소로 구체화하고 표준화하여 학습모듈을 개발한다. 기존 교육과정은 NCS 능력단위 요소를 교육 훈련에 활용하기 위해서 갭 분석 (gab analysis)이 필수적이다. 기존에 갭 분석은 전문가가 주관적으로 평가하였다. 전문가에 의한 갭 분석은 심리적 요소에 의해 주관적 결정, 정확성 결여, 시간 및 공간적 비효율성 문제가 제기되었다. 본 논문은 주관적 평가의 문제 해결을 위해 자동화 평가모델을 제시하였다. 본 논문은 기존 교육과정과 능력단위 요소 간 갭 분석을 위해, 색인어 추출, 단어빈도수-역 빈도수 기반 특징 값 추출, 코사인 유사도 알고리즘을 이용하였다. 또한, 기존 교육과정과 NCS 능력단위요소 사이 유사도 매핑 테이블을 제시하였다. 본 논문의 평가모델은 구조적 특징이나 속도 면에서 개선된 알고리즘을 통해 보완해야 한다.

효과적인 웹 문서 변경도 측정 방법 (An Effective Metric for Measuring the Degree of Web Page Changes)

  • 권신영;김성진;이상호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제34권5호
    • /
    • pp.437-447
    • /
    • 2007
  • 다양한 유사도 측정 방법들이 웹 문서의 변경도 측정에 사용되어 왔다. 본 논문은 여섯 가지 웹 문서 변경 종류에 근거하여 변경도 측정 방법의 효과성 평가 척도를 정의하고, 새로운 유사도 측정 방법을 제안한다. 실제 웹 문서들과 인위적 문서들을 사용하여, 기존의 다섯 가지 측정 방법들(바이트 비교, TF IDF 코사인 거리, 단어 거리, 편집 거리, 슁글링)과 제안된 측정 방법을 비교 평가한다. 실험 결과 분석을 통해 제안된 측정 방법이 웹 문서의 변경 측정에 효과적임을 보인다. 본 연구는 웹 문서의 변화 정보를 필요로 하는 웹 응용 분야에서 웹 문서 변경도 측정 방법의 적합한 선택을 위한 지침이 될 수 있다.

구문의미트리 비교기를 이용한 주관식 문항 채점 시스템에 대한 연구 (Research on Subjective-type Grading System Using Syntactic-Semantic Tree Comparator)

  • 강원석
    • 컴퓨터교육학회논문지
    • /
    • 제21권6호
    • /
    • pp.83-92
    • /
    • 2018
  • 주관식 문항은 깊이 있는 사고능력 평가와 고등정신능력 평가에 적합하나 채점하기가 쉽지 않다. 동일한 채점기준을 갖더라도 채점자에 따라 다른 채점결과를 가져올 수 있으므로 객관적인 자동 채점 시스템이 필요하다. 그렇지만 채점 시스템은 표현 언어인 한국어 분석과 비교의 문제가 걸려있다. 본 연구는 한국어의 구문 분석을 구현하고 결과인 구문분석 트리를 비교하는 비교기를 이용하여 주관식 문항을 채점하는 채점 시스템을 설계, 개발하였다. 이 시스템은 단어 중심의 채점 시스템과 구문의미트리 중심의 채점 시스템을 복합한 시스템으로 구문의미트리 비교기를 활용하였다. 본 시스템의 실험 결과 제안한 구문의미트리 중심의 채점 시스템과 복합 채점 시스템이 더 나은 결과를 가져옴을 알 수 있었다. 본 연구는 한국어 구문의미분석과 주관식 채점 영역에 활용할 수 있고 또한 문서 분류에도 활용할 수 있을 것이다.

국내 인지행동치료 연구의 지식구조: 동시출현단어 분석 (Knowledge Structure of Cognitive Behavioral Therapy Studies in Korea: Co-word Analysis)

  • 김도희;김현진;안다혜
    • 디지털융복합연구
    • /
    • 제17권12호
    • /
    • pp.509-521
    • /
    • 2019
  • 본 연구는 인지행동치료(Cognitve Behavioral Therapy: CBT)분야 학술지에서 나타난 키워드의 출현패턴을 조사하여 국내 CBT 연구의 지식구조를 규명하는 데에 목적이 있다. 국내·외에서 수행된 CBT 연구를 비교하고자 '인지행동치료'에서 출판된 논문 234편(2008-2019)과 'Cognitive Therapy and Research'에서 출판된 논문 2,316편(1977-2019)이 수집되었다. 자료는 NetMiner 4.3 프로그램으로 분석되었으며 동시출현단어 분석은 코사인 유사도 행렬을 산출하고, 네트워크를 시각화하는 절차로 수행되었다. 본 연구의 결과로 국내 CBT연구자들의 주요 관심사가 식별되었고, 국내 CBT 지식구조는 9개의 연구영역으로 범주화되었다: '척도 타당화', '완벽주의와 속박감', '조현병 환자의 인지, 정서, 관계적 특성', '경계선 성격장애와 우울/양극성 장애 환자의 인지적 특성과 치료', '적응과 심리적 건강', '사회불안장애 환자의 인지적 특성과 치료', '우울의 원인과 공존이환', '수용전념치료', '폭식 장애 환자의 이해와 치료'. 본 연구는 지난 11년 동안 국내 CBT 분야에서 축적된 지식을 점검하였다는 데에 의의가 있으며 국내 CBT 연구의 향후 발전과제로 임상적 실천 표준을 제고하기 위한 연구가 필요하다고 제안한다.

딜리셔스에서 유사태그 추출에 관한 연구 (Mining Semantically Similar Tags from Delicious)

  • 이관
    • 정보관리학회지
    • /
    • 제26권2호
    • /
    • pp.127-147
    • /
    • 2009
  • 자연언어에서 유사어의 처리는 사람과 컴퓨터간의 의사소통에 적지 않은 장애가 되어왔고, 이는 사용자의 임의적 단어사용에 기반을 두고 있는 웹 2.0 애플리케이션, 특히 소셜태깅 분야에 있어서 그 장애의 정도가 더 심각해질 수 있다. 본 연구는 한 대표적인 웹 2.0 애플리케이션에서 자동 유사어 추출에 관한 문제를 다루고 있다. 더 구체적으로, 가장 널리 사용되는 소셜북마킹 애플리케이션인 딜리셔스를 기반으로, 유사태그를 추출하는 방법(FolkSim)을 제시하고자 한다. 제시한 방법의 평가를 위하여, 문서유사도의 측정을 위해서 쓰여진 고전적 벡터모델에 의거한 유사태그를 추출하는 방법(CosSim)과 그 결과들을 서로 비교분석하여 보았다. 몇 가지 면에서 FolkSim가 더 나은 결과 산출해내는 증거들이 관찰되어졌다. 또한, FolkSim 방법에 의한 유사태그가 만들어지지 않는 경우에 대비하여, 그 대안 또한 제시하고 있다.

대용량 문서 집합에서 유사 문서 탐색을 위한 효과적인 전처리 시스템의 설계 (An Efficient Preprocessing System for Searching Similar Texts among Massive Document Repository)

  • 박선영;김지훈;김선영;김형준;조환규
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권5호
    • /
    • pp.626-630
    • /
    • 2010
  • 최근 문서 표절이 사회적 이슈가 되면서 문서간 유사도를 검사하는 시스템의 필요성이 대두되었다. 이에 따라 문서 유사도 검사 시스템에서의 중요한 요소인 검사 속도와 정확도를 충족시키기 위한 연구가 진행되고 있다. 본 논문에서는 유사 문서 탐색 시스템에서의 성능을 향상시키기 위해 전역 사전이라는 모델을 사용한 전처리 방법을 제시한다. 전역 사전이란 탐색 대상 문서군에서 사용된 모든 단어의 정보를 포함한 것으로, 유사한 문서가 어느 문서인지 빠르게 파악하는 데에 사용한다. 시스템에서 이 모델을 적용하는 방법에 대해 기술하고, 실험을 통해 각 방법의 전처리 성능을 분석하여 최적화된 문서 전처리 방법을 찾아낸다. 결과적으로 검사 대상 문서가 20,000건 이상인 경우에도 검사 대상 문서의 개수를 50개 이하로 획기적으로 줄여서 전체 시스템의 성능을 크게 향상시킬 수 있다는 것을 알 수 있었다.

조세심판 문서 검색 효율 향상 모델에 관한 연구 (A Study on the Improvement Model of Document Retrieval Efficiency of Tax Judgment)

  • 이후영;박구락;김동현
    • 한국융합학회논문지
    • /
    • 제10권6호
    • /
    • pp.41-47
    • /
    • 2019
  • 조세 심판에 대한 선결정례는 법원 판례의 경우 유사 심판례를 검색하여 파악하는 것이 매우 중요한 상황이다. 그러나 기존 심판문에 대한 검색은 사용자가 입력하는 키워드를 통하여 검색하는 방법을 사용하고 있으나, 정확한 키워드의 입력이 필요하며, 키워드를 모르는 경우 필요한 문서를 검색하는 것은 불가능하다. 또한 검색된 문서 중에는 내용이 다른 경우도 발생한다. 이에 본 논문에서는 정확한 심판례의 검색을 위하여 문서를 3차원 공간에 벡터화하고, 코사인 유사도를 계산하여, 거리상 가까운 문서를 검색하는 방법의 효율성을 향상시키기 위하여 심판례에서 사용되고 있는 단어들의 유사도를 분석한 후, 최빈값을 추출하여 본문의 텍스트에 삽입하는 방법으로 검색하고자 하는 문서의 코사인 유사도를 향상시키는 방안을 제안한다. 제안 모델을 통하여 조세와 관련된 심판례를 검색하고자 하는 사용자에게 신속하고, 정확한 검색을 제공할 수 있을 것으로 기대된다.