• 한국산학기술학회논문지
• /
• 제21권9호
• /
• pp.345-351
• /
• 2020

행정기관은 정책 대응성을 제고하기 위해 빅데이터 분석에 관심을 기울이고 있다. 빅데이터 중 뉴스 기사는 정책 이슈와 정책에 대한 여론을 파악하는데 중요한 자료로 활용될 수 있다. 한편으로 새로운 온라인 매체의 등장으로 뉴스 기사의 생산은 급격히 증가하고 있어 문서 자동분류를 통해 기사를 수집할 필요가 있다. 그러나 기존 뉴스 기사의 범주와 키워드 검색방법으로는 특정 행정기관 및 부서별로 업무에 관련된 기사를 자동적으로 수집하는 것에 한계가 있었다. 또한 기존의 지도학습 기반의 분류 기법은 다량의 학습 데이터가 필요한 단점을 가지고 있다. 이에 본 연구에서는 행정부서의 업무특징을 포함한 분류사전을 활용하여 기사의 분류를 효과적으로 처리하기 위한 방법을 제안한다. 이를 위해 행정 기관의 업무와 신문기사를 Word2Vec와 토픽모델링 기법으로 부서별 특징을 추출하여 분류사전을 생성하고, 행정 부서별로 신문기사를 자동분류 한 결과 71%정도의 정확도를 얻었다. 본 연구는 행정부서별 신문기사를 자동분류하기 위해 부서별 업무 특징 추출 방법과 비지도학습 기반의 자동분류 방법을 제시하였다는 학문적·실무적 기여점이 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
• /
• pp.363-365
• /
• 1998

텍스트 마이닝(Text Mining)이란 텍스트형태의 문서들의 패턴 또는 관계를 추출하여 사용자가 원하는 새로운 정보를 가공하거나 기존의 정보를 변형하는 과정을 말한다. 텍스트 마이닝의 기능에는 문서 범주화(Document Categorization), 문서 군집화(Document Clustering), 그리고 문서 요약(Document Summarization)이 이에 해당된다. 문서 범주화란 문서에게 사전에 정의한 범주를 부여하는 과정을 말하고, 문서 군집화란 문서들을 계층적 구조로 형성하는 과정을 말하고, 문서 요약이란 문서의 전체 내용을 대표할 수 있는 내용의 일부만을 추출하는 과정을 말한다. 이 논문에서는 문서 범주화만을 다룰 것이며 그 대상으로는 신문기사로 설정하였다. 그의 범주는 4가지로 정치, 경제, 스포츠, 그리고 정보통신으로 설정하였다. 문서 범주화는 문서 분류(Document Classification)라고도 하며 문서에 범주를 자동으로 부여하여 기존에 인위적으로 부여함으로써 소요되는 시간과 비용을 절감하는 것이 목적이다. 문서 범주화에 대하여 k-NN(k-Nearest Neighbor)와 신경망을 이용하였으며, 신경망을 이용한 경우가 k-NN을 이용한 경우보다 성능이 우수하였다.

• 스마트미디어저널
• /
• 제10권1호
• /
• pp.39-46
• /
• 2021

본 연구는 뉴스 기사에서 기사문을 구성하는 문장별 중요도를 고려하여 요약문을 추출하는 방법에 관한 것으로 문장 중요도에 영향을 주는 특성으로 중심 문장(Topic Sentence)일 확률, 기사 제목 및 다른 문장과의 유사도, 문장 위치에 따른 가중치를 추출하여 문장 중요도를 계산하는 방법을 제안한다. 이때, 중심 문장(Topic Sentence)은 일반 문장과는 구별되는 특징을 가질 것이라는 가설을 세우고, 딥러닝 기반 분류 모델을 학습시켜 입력 문장에 대한 중심 문장 확률값을 구한다. 또한 사전학습된 ELMo 언어 모델을 활용하여 문맥 정보를 반영한 문장 벡터값을 기준으로 문장간 유사도를 계산하여 문장 특성으로 추출한다. LSTM 및 BERT 모델의 중심 문장 분류성능은 정확도 93%, 재현율 96.22%, 정밀도 89.5%로 높은 분석 결과가 나왔으며, 이렇게 추출된 문장 특성을 결합하여 문장별 중요도를 계산한 결과, 기존 TextRank 알고리즘과 비교하여 중심 문장 추출 성능이 10% 정도 개선된 것을 확인할 수 있었다.

• 한국IT서비스학회지
• /
• 제13권3호
• /
• pp.221-233
• /
• 2014

Because people's interest of the stock market has been increased with the development of economy, a lot of studies have been going to predict fluctuation of stock prices. Latterly many studies have been made using scientific and technological method among the various forecasting method, and also data using for study are becoming diverse. So, in this paper we propose stock prices prediction models using sentiment analysis and machine learning based on news articles and SNS data to improve the accuracy of prediction of stock prices. Stock prices prediction models that we propose are generated through the four-step process that contain data collection, sentiment dictionary construction, sentiment analysis, and machine learning. The data have been collected to target newspapers related to economy in the case of news article and to target twitter in the case of SNS data. Sentiment dictionary was built using news articles among the collected data, and we utilize it to process sentiment analysis. In machine learning phase, we generate prediction models using various techniques of classification and the data that was made through sentiment analysis. After generating prediction models, we conducted 10-fold cross-validation to measure the performance of they. The experimental result showed that accuracy is over 80% in a number of ways and F1 score is closer to 0.8. The result can be seen as significantly enhanced result compared with conventional researches utilizing opinion mining or data mining techniques.

• 지능정보연구
• /
• 제18권2호
• /
• pp.143-156
• /
• 2012

누구나 뉴스와 주가 사이에는 밀접한 관계를 있을 것이라 생각한다. 그래서 뉴스를 통해 투자기회를 찾고, 투자이익을 얻을 수 있을 것으로 기대한다. 그렇지만 너무나 많은 뉴스들이 실시간으로 생성 전파되며, 정작 어떤 뉴스가 중요한지, 뉴스가 주가에 미치는 영향은 얼마나 되는지를 알아내기는 쉽지 않다. 본 연구는 이러한 뉴스들을 수집 분석하여 주가와 어떠한 관련이 있는지 분석하였다. 뉴스는 그 속성상 특정한 양식을 갖지 않는 비정형 텍스트로 구성되어있다. 이러한 뉴스 컨텐츠를 분석하기 위해 오피니언 마이닝이라는 빅데이터 감성분석 기법을 적용하였고, 이를 통해 주가지수의 등락을 예측하는 지능형 투자의사결정 모형을 제시하였다. 그리고, 모형의 유효성을 검증하기 위하여 마이닝 결과와 주가지수 등락 간의 관계를 통계 분석하였다. 그 결과 뉴스 컨텐츠의 감성분석 결과값과 주가지수 등락과는 유의한 관계를 가지고 있었으며, 좀 더 세부적으로는 주식시장 개장 전 뉴스들과 주가지수의 등락과의 관계 또한 통계적으로 유의하여, 뉴스의 감성분석 결과를 이용해 주가지수의 변동성 예측이 가능할 것으로 판단되었다. 이렇게 도출된 투자의사결정 모형은 여러 유형의 뉴스 중에서 시황 전망 해외 뉴스가 주가지수 변동을 가장 잘 예측하는 것으로 나타났고 로지스틱 회귀분석결과 분류정확도는 주가하락 시 70.0%, 주가상승 시 78.8%이며 전체평균은 74.6%로 나타났다.

• 한국지반신소재학회논문집
• /
• 제22권2호
• /
• pp.47-54
• /
• 2023

본 논문에서는 자료 조사를 위한 최적의 키워드 추출 및 검색 방법을 제안하였으며, 북한 건설 관련 동향 파악을 예시로 제안 방법을 검증하였다. 대표적인 국내 언론 플랫폼인 빅카인즈(BigKinds)를 활용하여 표본 기사를 선정하고 키워드를 추출하였다. 추출된 키워드는 워드 임베딩(Word Embedding)을 활용하여 벡터화하였으며, 이를 토대로 코사인 유사도(Cosine Similarity)를 통해 추출된 키워드 간의 유사도를 검사하였다. 또한 상위 빈도수 10개에 대한 키워드를 기준으로 유사도 0.5 이상인 키워드들을 군집화하였다. 각 군집들은 빅카인즈 검색 양식에 맞추어 군집 내부 키워드 간에는 'OR', 군집 간에는 'AND'로 형성하였다. 심층 분석 결과, 본래 목적에 맞는 유의미한 기사들이 추출되었음을 확인할 수 있었다. 기존의 분류체계 및 검색 양식을 변형시키지 않은 상태에서 사용자의 세부 목적을 충족시키는 자료 조사·분류가 가능하게 되었다는 점에서 의의를 갖는다.

• Journal of Multimedia Information System
• /
• 제5권2호
• /
• pp.67-78
• /
• 2018

This article proposes the modified KNN (K Nearest Neighbor) algorithm which considers the feature similarity and is applied to the word categorization. The texts which are given as features for encoding words into numerical vectors are semantic related entities, rather than independent ones, and the synergy effect between the word categorization and the text categorization is expected by combining both of them with each other. In this research, we define the similarity metric between two vectors, including the feature similarity, modify the KNN algorithm by replacing the exiting similarity metric by the proposed one, and apply it to the word categorization. The proposed KNN is empirically validated as the better approach in categorizing words in news articles and opinions. The significance of this research is to improve the classification performance by utilizing the feature similarities.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.641-644
• /
• 2012

트위터에서 정치 성향을 가지거나 관심이 있는 트위터 사용자는 관심있는 정치 인물이나 단체에 대한 뉴스 기사에 대해 자신의 의견을 남기거나 그대로 인용하게 된다. 또한, 자신의 의견과 공감하거나 비공감하는 트윗에 대해서 리트윗을 하거나 추가적인 자신의 의견을 언급하기도 한다. 본 논문에서는 이슈가 되고있는 정치 뉴스 기사에 대해 관심 있는 트위터 사용자들을 찾아 트위터 사용자들 간의 트윗 문서들 사이에서의 관계 정보를 가지는 사용자 네트워크에서의 트위터 사용자들의 성향을 분류해주는 방법을 제안한다. 제안한 방법의 유효성을 검증하기 위해 트위터에서 이슈가 된 정치 뉴스 기사들과 각 뉴스 이슈를 언급한 트위터 데이터에서 트윗 문서 내용 유사도 기반 분류 방법과의 비교 실험 하였다. 실험 결과에서 사용자간의 관계 정보를 이용한 성향 분류 방법이 유효함을 보였다.

• 벤처창업연구
• /
• 제15권4호
• /
• pp.277-301
• /
• 2020

본 연구는 최근 세계보건기구(WHO)가 공식 질병으로 인정한 게임이용장애 분류기준이 국내에 도입되었을 때 어떠한 효과가 나타날 것인지 알아보기 위해 일반 성인 503명을 대상으로 설문조사를 시행하였다. 응답자의 사전지식 수준차를 고려하여 절반의 응답자를 게임이용장애 분류에 관한 정보성 기사를 제공하는 집단에 무선할당하였다. 또 국내 게임중독 선행연구를 종합적으로 검토하여 연구목적에 맞게 응답자를 정상이용집단과 잠재적 문제이용집단으로 분류하여 분석을 시행하였다. 그 결과, 게임이용장애 분류코드 등록은 정상집단과 잠재적 문제집단 모두에서 게임시간 24%, 게임비 28%, 이용 게임수 22%가 감소하는 등 전반적인 게임 수요를 감소시키는 영향을 갖는 것으로 나타났다. 잠재적 문제이용집단의 경우 게임이용장애 공식화 후 게임비용이 증가하더라도 게임비를 기꺼이 더 지불하겠다는 의향이 정상집단에 비해 높은 것으로 나타났고, 스트레스 수준이 높은 집단도 추가 비용 지불 의향이 높았는데, 이는 게임중독 문제 해결을 위한 정책의 효과가 미쳐야 하는 대상 집단에 오히려 경제적 비용 증가가 발생하는 역설적 영향이 발생할 수 있음을 시사한다. 따라서 게임장애 관련 정책을 수립할 때 이러한 문제집단, 특히 '스트레스 수준이 높은 집단', '자기통제력이 부족한 집단' 즉 중독성향이 높은 집단을 선별하여 정책의 타겟 집단으로 해야 질병코드 등록 정책효과가 나타날 수 있을 것으로 보인다. 또 게임장애에 관한 정보성 기사의 긍정적 효과는 이미 자기통제력 수준이 높은 게임이용자들에게만 집중적으로 나타나 정작 향후 정책의 영향을 받게 될 대상(잠재적 문제집단 중 중독성향이 강한 집단)의 태도와 행동 의도에는 별다른 영향력이 없는 것으로 확인되었다. 다시 한번 정책의 대상을 세분화하여 문제집단의 특성별로 정책을 정교화하는 핀셋 정책의 필요성을 확인하였다. 국내 여건에 관한 고려 없이 게임이용장애 분류를 도입할 경우 국내 게임이용자, 게임산업 및 유관 기업들에 부정적 영향과 손실을 끼칠 수 있으므로 산.관.학 협력을 통해 선제적 대응책을 마련해야 할것이라 판단된다.

• International Journal of Computer Science & Network Security
• /
• 제21권3호
• /
• pp.206-211
• /
• 2021

Internet users are increasingly invited to express their opinions on various subjects in social networks, e-commerce sites, news sites, forums, etc. Much of this information, which describes feelings, becomes the subject of study in several areas of research such as: "Sensing opinions and analyzing feelings". It is the process of identifying the polarity of the feelings held in the opinions found in the interactions of Internet users on the web and classifying them as positive, negative, or neutral. In this article, we suggest the implementation of a sentiment analysis tool that has the role of detecting the polarity of opinions from people about COVID-19 extracted from social media (tweeter) in the Arabic language and to know the impact of the pre-processing phase on the opinions classification. The results show gaps in this area of research, first of all, the lack of resources when collecting data. Second, Arabic language is more complexes in pre-processing step, especially the dialects in the pre-treatment phase. But ultimately the results obtained are promising.