• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2001년도 춘계학술대회 학술발표 논문집
• /
• pp.228-230
• /
• 2001

WWW(World Wide Web)와 온라인 정보 서비스의 급속한 성장으로 인해, 보다 많은 정보가 온라인으로 이용 혹은 접근 가능해 졌다. 이런 정보홍수로 접근 가능한 정보들이 과잉되는 문제가 발생했다. 이러한 과잉 정보 현상으로 인하여 시간적 제약이 뒤따르며 이용 가능한 모든 정보를 근거로 중요한 의사 결정을 내려야 한다. 문서 요약 자동화(Text Summarize Automation)는 이 문제를 처리하는데 필수적이다. 본 논문에서는 정보 검색을 통해 획득한 문서들을 일차적으로 문서 길이 정규화를 이용하여 질의에 적합하고 신뢰도가 더욱 높은 문서 정보를 얻을 수 있음을 보인다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권11호
• /
• pp.535-540
• /
• 2021

다중문서는 하나의 주제가 아닌 다양한 주제로 구성된 문서를 의미하며 대표적인 예로 온라인 리뷰가 있다. 온라인 리뷰는 정보량이 방대하기 때문에 요약하기 위한 여러 시도가 있었다. 그러나 기존의 요약모델을 통해 리뷰를 일괄적으로 요약할 경우 리뷰를 구성하고 있는 다양한 주제가 소실되는 문제가 발생한다. 따라서 본 논문에서는 주제의 손실을 최소화하며 리뷰를 요약하기 위한 기법을 제시한다. 제안하는 기법은 전처리, 중요도 평가, BERT를 활용한 임베딩 치환, 임베딩 클러스터링과 같은 과정을 통해 리뷰를 분류한다. 그리고 분류된 문장은 학습된 Transformer 요약모델을 통해 최종 요약을 생성한다. 제안하는 모델의 성능 평가는 기존의 요약모델인 seq2seq 모델과 ROUGE 스코어와 코사인 유사도를 평가하여 비교하였으며 기존의 요약모델과 비교하여 뛰어난 성능의 요약을 수행하였다.

• 한국산업정보학회논문지
• /
• 제8권4호
• /
• pp.31-37
• /
• 2003

본 연구는 다중어 질의어를 제공하는 대용량 정보검색 시스템, 콘도르에 대한 고찰이다. 이 시스템은 전북대학교, (주)서치라인, 그리고 카네기멜론 대학교가 컨소시엄 형태로 개발하였다. 이 시스템의 질의처리는 확률 모델을 기반하고 있으며 최근 정보검색 시스템에서 제공하는 문서 클러스터링 기능을 제공하고 있다. 특히 시스템의 특징은 다중어 질의어를 처리하고 질의를 중심으로 온라인으로 문서를 클러스터링하고 요약하는 것이다. 본 시스템은 이미 국내의 3,000만개 웹페이지에 대한 테스트를 마쳤으며 그 안정성을 확보하고 있다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제9권8호
• /
• pp.251-258
• /
• 2020

문서 요약을 위한 학습 데이터는 문서와 그 요약으로 구성된다. 기존의 문서 요약 데이터는 사람이 수동으로 요약을 작성하였기 때문에 대량의 데이터 확보가 어려웠다. 그렇기 때문에 온라인으로 쉽게 수집 가능하며 문서의 품질이 우수한 인터넷 신문기사가 문서 요약 연구에 많이 활용되어 왔다. 본 연구에서는 언론사가 소셜 미디어에 게시한 설명글과 제목, 부제를 본문의 요약으로 사용하여 한국어 문서 요약 데이터를 구성하는 것을 제안한다. 약 425,000개의 신문기사와 그 요약데이터를 구축할 수 있었다. 구성한 데이터의 유용성을 보이기 위해 추출 요약 시스템을 구현하였다. 본 연구에서 구축한 데이터로 학습한 교사 학습 모델과 비교사 학습 모델의 성능을 비교하였다. 실험 결과 제안한 데이터로 학습한 모델이 비교사 학습 알고리즘에 비해 더 높은 ROUGE 점수를 보였다.

• 한국지능시스템학회논문지
• /
• 제25권2호
• /
• pp.180-185
• /
• 2015

인터넷 미디어의 발달과 함께 온라인 문서의 양이 급격하게 증가함에 따라, 문서 요약과 정보 검색 등 다양한 분야에 활용가능한 키워드를 자동으로 찾고자하는 연구가 활발히 진행되고 있다. 하지만 기존의 키워드 추출 연구들은 문서에서 나타나는 키워드만을 대상으로 하고 있어, 문서에서 등장하지 않는 잠재 키워드를 추출하지 못하는 한계를 갖고 있다. 잠재 키워드는 실데이터 키워드의 1/4 이상을 차지하고 있으며, 문서에서 나타나지는 않지만 문서의 중요한 개념이나 내용을 함축하고 있어 문서 요약 및 정보 검색에 중요한 역할을 차지할 수 있다. 특히 SNS와 같이 내용이 적어 키워드가 명시적으로 나타나기 어려운 문서에서 유용하게 활용될 수 있다. 본 논문에서는 잠재 키워드를 추출하기 위해 주어진 문서와 유사한 문서의 키워드를 후보 키워드로 선택하고 후보 키워드를 구성하는 개별 단어들을 이용해 후보 키워드의 중요도를 평가하는 방법을 제안한다. 실험을 통해, 제안 기법이 잠재 키워드를 합리적인 수준으로 추출할 수 있음을 보였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권12호
• /
• pp.569-578
• /
• 2021

오늘날 웹의 발전으로 우리는 각종 언론 매체를 통해 온라인 기사를 쉽게 접하게 된다. 온라인 기사를 쉽게 접할 수 있게 된 만큼 거짓 정보를 진실로 위장한 가짜뉴스 또한 빈번하게 찾아볼 수 있다. 가짜뉴스가 전 세계적으로 대두되면서 국내에서도 가짜뉴스를 탐지하기 위한 팩트 체크 서비스가 제공되고 있으나, 이는 전문가 기반의 수동 탐지 방법을 기반으로 하며 가짜뉴스 탐지를 자동화하는 기술에 대한 연구가 계속해서 활발하게 이루어지고 있다. 기존 연구는 기사 작성에 사용된 문맥의 특성이나, 기사 제목과 기사 본문의 내용 비교를 통한 탐지 방법이 가장 많이 사용되고 있으나, 이러한 시도는 조작의 정밀도가 높아졌을 때 탐지가 어려워질 수 있다는 한계를 가진다. 따라서 본 논문에서는 기사 조작의 발달에 따른 영향을 받지 않기 위하여 기사의 진위 여부를 판단할 수 있는 검증기사를 함께 사용하는 방법을 제안한다. 또한 가짜뉴스 탐지 정확도를 개선시킬 수 있도록 실험에 사용되는 기사와 검증기사를 문서 요약 모델을 통해 요약하는 과정을 추가했다. 본 논문에서는 제안 알고리즘을 검증하기 위해 문서 요약 기법 검증, 검증기사 검색 기법 검증, 그리고 최종적인 제안 알고리즘의 가짜뉴스 탐지 정확도 검증을 진행하였다. 본 연구에서 제안한 알고리즘은 다양한 언론 매체에 적용하여 기사가 온라인으로 확산되기 이전에 진위 여부를 판단하는 방법으로 유용하게 사용될 수 있다.

• 한국콘텐츠학회논문지
• /
• 제12권4호
• /
• pp.76-85
• /
• 2012

오피니언마이닝 기법은 대량의 고개리뷰들에 나타나는 핵심개체 또는 속성들에 대하여 고객들이 느끼는 긍정 또는 부정의 정도를 계산할 수 있지만, 그 분석능력이 단순하다는 한계가 있다. 본 논문에서는 온라인 고객리뷰들에 대하여 다차원적으로 분석할 수 있는 기법을 제안하였다. 기존의 OLAP기법을 텍스트 데이터형에 적용할 수 있도록 수정하였다. 다차원 분석모델은 명사축과 형용사축, 문서축으로 구성되는 3차원 공간 개념을 4개의 관계형 테이블로 실체화 한 것이다. 다차원 분석모델은 기존의 오피니언마이닝, 정보요약, 클러스터링 알고리즘들을 융합할 수 있는 새로운 틀이라는 점에서 그 가치가 있다. 본 논문에서 제안한 다차원 분석모델과 알고리즘들을 실제로 구현하여 온라인 고객리뷰에 대한 복잡한 분석을 수행할 수 있음을 확인하였다.

• 디지털융복합연구
• /
• 제18권3호
• /
• pp.1-12
• /
• 2020

본 연구의 목적은 텍스트 마이닝을 활용하여 특허와 뉴스 기사 분석을 통해 블록체인 기술 동향을 탐색하고 사회적 관심을 파악하여 블록체인 정책의제를 제안하는 것이다. 이를 위해 국내 블록체인 특허 요약문 327건과 온라인 뉴스기사 전문 5,941건을 수집하고 전처리 과정을 거쳐 LDA 토픽모델링 방법을 사용하여 특허 토픽 12개와 뉴스 토픽 19개를 추출하였다. 특허 분석을 통해 인증과 거래 관련 토픽이 높은 비중을 차지하였다. 뉴스 기사 분석 결과, 사회적 관심은 암호화폐에 치중되어 있는 것으로 나타났다. 이러한 분석 결과와 의제설정이론에 근거하여 블록체인 관련 정책의제를 도출하였다. 본 연구는 대용량 텍스트 문서 분석의 자동화된 기법을 활용하여 분석을 효율적·객관적으로 수행하였으며, 블록체인 기술 동향과 사회적 관심도를 파악한 실증된 기초 분석 자료를 기반으로 정책의제를 제안하였다. 본 연구에서 제시된 정책의제는 향후 정책 결정과정에의 기초자료로 활용될 수 있을 것이다.

• 지능정보연구
• /
• 제23권2호
• /
• pp.39-70
• /
• 2017

최근 여론조사 분야에서 데이터에 기반을 둔 분석 기법이 널리 활용되고 있다. 기업에서는 최근 출시된 제품에 대한 선호도를 조사하기 위해 기존의 설문조사나 전문가의 의견을 단순 취합하는 것이 아니라, 온라인상에 존재하는 다양한 종류의 데이터를 수집하고 분석하여 제품에 대한 대중의 기호를 정확히 파악할 수 있는 방안을 필요로 한다. 기존의 주요 방안에서는 먼저 해당 분야에 대한 감성사전을 구축한다. 전문가들은 수집된 텍스트 문서들로부터 빈도가 높은 단어들을 정리하여 긍정, 부정, 중립을 판단한다. 특정 제품의 선호를 판별하기 위해, 제품에 대한 사용 후기 글을 수집하여 문장을 추출하고, 감성사전을 이용하여 문장들의 긍정, 부정, 중립을 판단하여 최종적으로 긍정과 부정인 문장의 개수를 통해 제품에 대한 선호도를 측정한다. 그리고 제품에 대한 긍 부정 내용을 자동으로 요약하여 제공한다. 이것은 문장들의 감성점수를 산출하여, 긍정과 부정점수가 높은 문장들을 추출한다. 본 연구에서는 일반 대중이 생산한 문서 속에 숨겨져 있는 토픽을 추출하여 주어진 제품의 선호도를 조사하고, 토픽의 긍 부정 내용을 요약하여 보여주는 제품 평판 마이닝 알고리즘을 제안한다. 기존 방식과 다르게, 토픽을 활용하여 쉽고 빠르게 감성사전을 구축할 수 있으며 추출된 토픽을 정제하여 제품의 선호도와 요약 결과의 정확도를 높인다. 실험을 통해, K5, SM5, 아반떼 등의 국내에서 생산된 자동차의 수많은 후기 글들을 수집하였고, 실험 자동차의 긍 부정 비율, 긍 부정 내용 요약, 통계 검정을 실시하여 제안방안의 효용성을 입증하였다.