• 제목/요약/키워드: 텍스트 중요도

검색결과 706건 처리시간 0.026초

복합색인어 기반 단문텍스트 감정 인식 기법 (Short Text Emotion Recognition based on Complex Keywords)

  • 한기현;이승룡
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.520-522
    • /
    • 2013
  • 스마트 폰의 확산으로 대화의 개념이 음성에서 텍스트로 확대 되고 있다. 방대하게 누적되고 있는 메신저의 텍스트 데이터로부터 유용한 정보들을 찾아 사용자에게 추천서비스를 제공할 수 있다. 이를 뒷받침 해주기 위해서는 텍스트 감정 인식이 중요하다. 기존에는 PMI기법과 감정키워드를 이용하여 감정을 분류 하였다. 그러나 특정단어로 감정을 분류하기 때문에 정확도가 낮았다. 본 논문에서는 복합색인어 기반 텍스트 감정 인식 기법을 제안한다. 문장에서 동사와 복합색인어를 추출하여 음운으로 분해한다. 그리고 스트링커널에서 벡터 값을 추출하여 기계학습 알고리즘(SVM)으로 4가지 감정(행복, 슬픔. 화남, 평범)으로 분류하는 방법이다. 동사와 감정에 영향을 주는 색인어를 추출하여 감정을 인식하는 기법으로 실험결과 정확도는 기존에 동사만 사용했을 때 보다 15%향상됨을 보였다.

강화학습 기반의 제로샷 텍스트 분류 (Zero-shot Text Classification based on Reinforced Learning)

  • 장송밍 ;조인휘
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.439-441
    • /
    • 2023
  • 전통적인 텍스트 분류 방법은 상당량의 라벨링된 데이터와 미리 정의된 클래스가 필요해서 그 적용성과 확장성이 제한된다. 그래서 이런 한계를 극복하기 위해 제로샷 러닝(Zero-shot Learning)이 등장했다. 텍스트 분류 분야에서 제로샷 텍스트 분류는 모델이 대상 클래스의 샘플을 미리 접하지 않고도 인스턴스를 분류할 수 있도록 하는 중요한 주제이다. 이 문제를 해결하기 위해 정책 네트워크를 활용한 심층 강화 학습(DRL) 기반 접근법을 제안한다. 이러한 방법을 통해 모델이 새로운 의미 공간에 효과적으로 적응하면서, 다른 모델들과 비교하여 제로샷 텍스트 분류의 정확도를 향상시킬 수 있었다. XLM-R 과 비교하면 최대 15.9%의 정확도 향상이 나타났다.

텍스트마이닝을 활용한 건설현장 재해 유형별 예방 대책 분석 (Analysis of Prevention Methods by Type of Construction Disaster Using Text Mining Techniques)

  • 조규필;이명도;신윤석;김백중
    • 한국재난정보학회 논문집
    • /
    • 제20권1호
    • /
    • pp.13-19
    • /
    • 2024
  • 연구목적: 본 연구는 텍스트 마이닝 기법을 활용하여 유형별 건설재해의 원인을 도출하여 중대재해 사고의 예방대책 마련을 위한 주요 요소를 파악하는 것을 목적으로 한다. 연구방법: 국내 건설분야의 중대재해 사례를 분석한 데이터베이스를 기반으로 예방대책과 원인을 텍스트 마이닝 기법으로 분석하고, 분석 내용을 시각적으로 표현하였다. 연구결과: 이 시각적 데이터는 중요도에 따라 공종별 중대 재해 예방에 필요한 요소의 파악을 용이하게 한다. 결론: 본 연구의 결과는 건설현장 중대재해와 관련하여 예방대책 마련 시 고려되어야 할 요소 및 요소간 명확한 상관관계의 파악에 기여할 것으로 사료된다.

전통 인쇄텍스트와 하이퍼텍스트 독해력 비교 (The Contrast between Traditional Printed Text and Hypertext Reading Comprehension)

  • 홍성룡
    • 디지털콘텐츠학회 논문지
    • /
    • 제10권4호
    • /
    • pp.537-542
    • /
    • 2009
  • 인쇄텍스트의 여러 제약들이 혁신적인 컴퓨터 기술의 발달로 인해 해결 방법이 제시되고 있다. 하이퍼텍스트는 온라인에서 발견되어 지는 전자 텍스트로서 비선형적 방법으로 정의되어 질수 있다. 전통적인 인쇄텍스트와는 대조적으로 전자방식의 쓰기는 약간의 변형이 필요한 새로운 기술에 의존하고 있다. 그러나 불행하게도 아직도 많은 연구들이 지식의 축적을 위한 목적으로 하이퍼텍스트 형태로 문서들을 해독할 때 독자가 가지고 있는 경험들을 필요로 하고 있다. 이 분야에 대해 지금까지 여러 연구들이 있어왔지만 독해를 위한 항법과 그 대책에 관한 방법을 제시하고 있지는 않는 것 같다. 본 논문은 독해력을 위한 전통 인쇄텍스트와 하이퍼텍스트간의 차이를 실험을 통해 밝히고자 한다. 실험 대상자들이 하이퍼텍스트와 인쇄텍스트를 해독할 때 가지는 경험을 근거하여 볼 때 텍스트의 형태는 독자의 독해력 기억에 매우 중요한 관계를 가지고 있다는 것을 밝히고자 한다.

  • PDF

불균형 텍스트 데이터의 변수 선택에 있어서의 카이제곱통계량과 정보이득의 특징 (Properties of chi-square statistic and information gain for feature selection of imbalanced text data)

  • 문혜인;손원
    • 응용통계연구
    • /
    • 제35권4호
    • /
    • pp.469-484
    • /
    • 2022
  • 텍스트 데이터는 일반적으로 많은 단어로 이루어져 있으므로 변수의 수가 매우 많은 고차원 데이터에 해당된다. 이러한 고차원 데이터에서는 계산 효율성과 통계분석의 정확성을 높이기 위해 많은 변수 중 중요한 변수를 선택하기 위한 절차를 거치는 경우가 많다. 텍스트 데이터에서도 많은 단어 중 중요한 단어를 선택하기 위해 여러가지 방법들이 사용되고 있다. 이 연구에서는 단어 선택을 위한 대표적인 필터링 방법인 카이제곱통계량과 정보이득의 공통점과 차이점을 살펴보고 실제 텍스트 데이터에서 이 단어선택 방법들의 성질을 확인해보았다. 카이제곱통계량과 정보이득은 비음성, 볼록성 등의 성질을 공유하지만 불균형 텍스트 데이터에서 카이제곱통계량이 양변수 위주로 단어를 선택하는 반면, 정보이득은 음변수도 상대적으로 많이 선택하는 경향이 있음을 확인하였다.

필터링 및 피크검출을 이용한 텍스트 추출 (Text line extraction based on filtering and peak detection)

  • 진보라;조남익
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2013년도 추계학술대회
    • /
    • pp.41-42
    • /
    • 2013
  • 본 논문에서는 문서 영상 처리의 중요한 전처리 과정인 텍스트 라인 추출을 위하여 가우시안 필터링 및 피크 검출을 이용하는 방법을 제안한다. 이는 문서 영상 내의 글자 영역의 픽셀 강도와 텍스트 라인 사이의 간격에 해당하는 강도의 차이로 인해 문서 영상의 각 열마다 높은 피크와 낮은 피크가 번갈아 가며 나타나는 것에 기반으로, 제안하는 알고리즘은 필터 스케일 추정, 필터량 및 피크 검출, 라인 성분 그룹화의 세 단계로 구성된다. 필터 스케일 추정 단계에서는 여러 초기 값으로 필터링하여 피크 차이 간의 히스토그램을 만듦으로써 글자 크기를 대략적으로 예축하며, 필터링 및 피크 검출 단계에서 앞서 예측된 스케일의 가우시안 필터를 이용하여 필터링 한 후, 각각의 열마다 피크를 검출한다. 마지막으로 라인 성분 그룹화를 통하여 검출된 피크를 서로 연결하여 하나의 텍스트 라인을 구성하는 성분들로 그룹화시켜 텍스트 라인을 추출한다. 실험 결과를 통하여, 제안하는 알고리즘은 이진화 과정을 거치지 않음으로써 균일하지 못한 조명환경 등으로 이진화 성능이 좋지 못할 경우에도 텍스트 라인을 추출할 수 있으며, 텍스트 라인 간격이 인정하지 않고 휘어진 라인을 포함하는 경우에도 적용할 수 있음을 확인 할 수 있다.

  • PDF

텍스트마이닝을 이용한 건설공사 위험요소의 계절별 중요도 분석 (Analysis of Seasonal Importance of Construction Hazards Using Text Mining)

  • 박기창;김형관
    • 대한토목학회논문집
    • /
    • 제41권3호
    • /
    • pp.305-316
    • /
    • 2021
  • 건설사고는 근로자의 부주의, 안전장비 미착용, 안전규칙 미준수 등 다양한 요인이 복합적으로 작용해 발생할 수 있다. 건설사고를 유발하는 여러 요인 중 야외작업이 많은 건설업의 특성상 기상 조건은 건설사고 발생 요인 중 하나가 될 수 있다. 과거 발생한 건설사고 데이터는 사고예방을 위한 좋은 자료로 활용될 수 있지만, 건설업 재해사례 데이터는 자연어로 기술된 텍스트형태로 제공되기 때문에 건설업 재해사례 데이터에서 건설공사 위험요소(Hazard)를 추출하는 것은 많은 시간과 비용이 발생한다. 따라서, 본 연구에서는 텍스트마이닝을 이용해 국내에서 발생한 2,026건의 건설업 재해사례 텍스트데이터에서 건설공사 위험요소를 추출하고 빈도 분석(Frequency analysis)과 중심성 분석(Centrality analysis)을 통해 건설공사 위험요소의 계절별 중요도분석을 수행했다. 국토교통부에서 정의한 254개 건설공사 위험요소 중 51개 위험요소를 건설사고 텍스트데이터에서 추출했으며, 분석결과 봄, 가을은 거푸집, 여름은 비계, 겨울은 크레인이 계절별 가장 중요한 위험요소로 나타났다. 제안방법은 날씨, 계절, 기후 관련 건설사고 안전대책 마련에 활용될 수 있다.

단어 간 의미적 연관성을 고려한 어휘 체인 기반의 개선된 자동 문서요약 방법 (An Improved Automatic Text Summarization Based on Lexical Chaining Using Semantical Word Relatedness)

  • 차준석;김정인;김판구
    • 스마트미디어저널
    • /
    • 제6권1호
    • /
    • pp.22-29
    • /
    • 2017
  • 최근 스마트 디바이스의 급속한 발달과 보급으로 인하여 인터넷 웹상에서 등장하는 문서의 데이터는 하루가 다르게 증가 하고 있다. 이러한 정보의 증가로 인터넷 웹상에서는 대량의 문서가 증가하여 사용자가 해당 문서의 데이터를 이해하는데, 어려움을 겪고 있다. 그렇기 때문에 자동 문서 요약 분야에서 문서를 효율적으로 요악하기 위해 다양한 연구가 진행 되고 있다. 효율적으로 문서를 요약하기 위해 본 논문에서는 텍스트랭크 알고리즘을 이용한다. 텍스트랭크 알고리즘은 문장 또는 키워드를 그래프로 표현하며, 단어와 문장 간의 의미적 연관성을 파악하기 위해 그래프의 정점과 간선을 이용하여 문장의 중요도를 파악한다. 문장의 상위 키워드를 추출 하고 상위 키워드를 기반으로 중요 문장 추출 과정을 거친다. 중요 문장 추출 과정을 거치기 위해 단어 그룹화 과정을 거친다. 단어그룹화는 특정 가중치 척도를 이용하여 가중치 점수가 높은 문장을 선별하여 선별된 문장들을 기반으로 중요 문장을 중요 문장을 추출하여, 문서를 요약을 하게 된다. 이를 통해 기존에 연구 되었던 문서요약 방법보다 향상된 성능을 보였으며, 더욱 효율적으로 문서를 요약할 수 있음을 증명하였다.

뉴스 비디오 시퀀스에서 텍스트 시작 프레임 검출 방법의 비교 (Comparison of Text Beginning Frame Detection Methods in News Video Sequences)

  • 이상희;안정일;조강현
    • 방송공학회논문지
    • /
    • 제21권3호
    • /
    • pp.307-318
    • /
    • 2016
  • Overlay texts are artificially superimposed on the broadcasting videos by human producers. These texts provide additional information to the audiovisual content. Especially, the overlay texts in news video contain concise and direct description of the content. Therefore, it is most reliable clue for constructing a news video indexing system. To make this indexing system in the TV news program, it is important to detect and recognize the texts. This paper proposes the identification of the overlay text beginning frame to help the detection and recognition of the overlay text in news videos. Since all frames in the video sequences do not contain the overlay texts, the overlay text extraction from every frame is unnecessary and time-wasting. Therefore, to focus on only the frame containing the overlay text can be enhanced the accuracy of the overlay text detection. The comparative experiments of the text beginning frame identification methods were carried out with respect to Korean television news videos. Then the appropriate processing method is proposed.

텍스트 인식률 개선을 위한 한글 텍스트 이미지 초해상화 (Korean Text Image Super-Resolution for Improving Text Recognition Accuracy)

  • 권준형;조남익
    • 방송공학회논문지
    • /
    • 제28권2호
    • /
    • pp.178-184
    • /
    • 2023
  • 카메라로 촬영한 야외 일반 영상에서 텍스트 이미지를 찾아내고 그 내용을 인식하는 기술은 로봇 비전, 시각 보조 등의 기반으로 활용될 수 있는 매우 중요한 기술이다. 하지만 텍스트 이미지가 저해상도인 경우에는 텍스트 이미지에 포함된 노이즈나 블러 등의 열화가 더 두드러지기 때문에 텍스트 내용 인식 성능의 하락이 발생하게 된다. 본 논문에서는 일반 영상에서의 저해상도 한글 텍스트에 대한 이미지 초해상화를 통해서 텍스트 인식 정확도를 개선하였다. 트랜스포머에 기반한 모델로 한글 텍스트 이미지 초해상화를 수행 하였으며, 직접 구축한 고해상도-저해상도 한글 텍스트 이미지 데이터셋에 대하여 제안한 초해상화 방법을 적용했을 때 텍스트 인식 성능이 개선되는 것을 확인하였다.