• Title/Summary/Keyword: word Embedding

Search Result 236, Processing Time 0.029 seconds

A study on classification of hooking headlines using deep learning techniques (딥러닝 기법을 이용한 낚시성 기사 제목 분류에 대한 연구)

  • Choi, Yong-Seok;Choi, Han-Na;Shin, Ji-Hye;Jeong, Chang-Min;An, Jung-Yeon;Yoo, Chae-Young;Im, Chae-Eun;Lee, Kong-Joo
    • Annual Conference on Human and Language Technology
    • /
    • 2015.10a
    • /
    • pp.15-17
    • /
    • 2015
  • 본 논문은 낚시성 기사 제목과 비낚시성 기사 제목을 판별하기 위한 시스템을 제시한다. 서포트 벡터 머신(SVM)을 이용하여 기사 제목을 분류하며, 분류하는 기준은 딥러닝 기법중의 하나인 워드임베딩(Word Embedding), 군집화 알고리즘 중 하나인 K 평균 알고리즘(K-means)을 이용한다. 자질로서 기사 제목의 단어를 사용하였으며, 정확도가 83.78%이다. 결론적으로 낚시성 기사 제목에는 낚시를 유도하는 특별한 단어들이 존재함을 알 수 있다.

  • PDF

A Personalized Messenger Chat Bot System using MeCab Library and Kakao API in Node.js (Node.js에서 MeCab 라이브러리와 Kakao API를 이용한 메신저 기반 개인화 채팅 봇 시스템)

  • Sim, Dae-Soo;Park, Doo-Soon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.05a
    • /
    • pp.488-491
    • /
    • 2018
  • 하드웨어의 속도 발전과 데이터의 누적으로 생성된 수많은 빅 데이터의 활용을 통해 인공지능에 대한 무수히 많은 알고리즘과 시스템이 발전되고 있다. 그중 자연어 처리는 각 국가별 언어적 독립성으로 인해 국가별로 많은 연구가 이루어지고 있으며 앞으로 계속하여 발전해야 하는 분야이다. 이러한 현대 추세에 맞추어 본 논문에서는 사용자의 개인별 누적된 데이터를 통해서 개인에게 맞추어진 개인화 채팅 봇 시스템을 AWS EC2 Instance로 Node.js환경에서 MeCab 라이브러리와 Kakao API, Word Embedding 기법을 이용하여 보다 개인에게 맞춤화된 채팅 봇 시스템을 개발한다.

A Study on Technology Name Recognition Method based on Word Embedding (워드 임베딩 기반의 기술 개체명 인식 방법 연구)

  • Lee, Yujin;Kim, Sebin;Gim, Jangwon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.750-751
    • /
    • 2019
  • 최근 4차 산업 혁명시대에 이르러 다양한 기술이 급속도로 발전함에 따라 지적 재산권 확보가 중요하게 되었다. 따라서 대표적인 지식재산권의 하나인 특허의 발명 또한 급증하고 있다. 본 논문에서는 특허 데이터에 포함된 기술명 식별을 위해 딥러닝 기반 기술명 분류 방법을 제안한다. 그 결과 특정 분야에서 사용되는 전문 용어에 대한 개체명 식별이 가능함을 보인다.

Fake News Detection Using Deep Learning

  • Lee, Dong-Ho;Kim, Yu-Ri;Kim, Hyeong-Jun;Park, Seung-Myun;Yang, Yu-Jun
    • Journal of Information Processing Systems
    • /
    • v.15 no.5
    • /
    • pp.1119-1130
    • /
    • 2019
  • With the wide spread of Social Network Services (SNS), fake news-which is a way of disguising false information as legitimate media-has become a big social issue. This paper proposes a deep learning architecture for detecting fake news that is written in Korean. Previous works proposed appropriate fake news detection models for English, but Korean has two issues that cannot apply existing models: Korean can be expressed in shorter sentences than English even with the same meaning; therefore, it is difficult to operate a deep neural network because of the feature scarcity for deep learning. Difficulty in semantic analysis due to morpheme ambiguity. We worked to resolve these issues by implementing a system using various convolutional neural network-based deep learning architectures and "Fasttext" which is a word-embedding model learned by syllable unit. After training and testing its implementation, we could achieve meaningful accuracy for classification of the body and context discrepancies, but the accuracy was low for classification of the headline and body discrepancies.

Developing Sentimental Analysis System Based on Various Optimizer

  • Eom, Seong Hoon
    • International Journal of Internet, Broadcasting and Communication
    • /
    • v.13 no.1
    • /
    • pp.100-106
    • /
    • 2021
  • Over the past few decades, natural language processing research has not made much. However, the widespread use of deep learning and neural networks attracted attention for the application of neural networks in natural language processing. Sentiment analysis is one of the challenges of natural language processing. Emotions are things that a person thinks and feels. Therefore, sentiment analysis should be able to analyze the person's attitude, opinions, and inclinations in text or actual text. In the case of emotion analysis, it is a priority to simply classify two emotions: positive and negative. In this paper we propose the deep learning based sentimental analysis system according to various optimizer that is SGD, ADAM and RMSProp. Through experimental result RMSprop optimizer shows the best performance compared to others on IMDB data set. Future work is to find more best hyper parameter for sentimental analysis system.

Multiple Fusion-based Deep Cross-domain Recommendation (다중 융합 기반 심층 교차 도메인 추천)

  • Hong, Minsung;Lee, WonJin
    • Journal of Korea Multimedia Society
    • /
    • v.25 no.6
    • /
    • pp.819-832
    • /
    • 2022
  • Cross-domain recommender system transfers knowledge across different domains to improve the recommendation performance in a target domain that has a relatively sparse model. However, they suffer from the "negative transfer" in which transferred knowledge operates as noise. This paper proposes a novel Multiple Fusion-based Deep Cross-Domain Recommendation named MFDCR. We exploit Doc2Vec, one of the famous word embedding techniques, to fuse data user-wise and transfer knowledge across multi-domains. It alleviates the "negative transfer" problem. Additionally, we introduce a simple multi-layer perception to learn the user-item interactions and predict the possibility of preferring items by users. Extensive experiments with three domain datasets from one of the most famous services Amazon demonstrate that MFDCR outperforms recent single and cross-domain recommendation algorithms. Furthermore, experimental results show that MFDCR can address the problem of "negative transfer" and improve recommendation performance for multiple domains simultaneously. In addition, we show that our approach is efficient in extending toward more domains.

Text Classification on Social Network Platforms Based on Deep Learning Models

  • YA, Chen;Tan, Juan;Hoekyung, Jung
    • Journal of information and communication convergence engineering
    • /
    • v.21 no.1
    • /
    • pp.9-16
    • /
    • 2023
  • The natural language on social network platforms has a certain front-to-back dependency in structure, and the direct conversion of Chinese text into a vector makes the dimensionality very high, thereby resulting in the low accuracy of existing text classification methods. To this end, this study establishes a deep learning model that combines a big data ultra-deep convolutional neural network (UDCNN) and long short-term memory network (LSTM). The deep structure of UDCNN is used to extract the features of text vector classification. The LSTM stores historical information to extract the context dependency of long texts, and word embedding is introduced to convert the text into low-dimensional vectors. Experiments are conducted on the social network platforms Sogou corpus and the University HowNet Chinese corpus. The research results show that compared with CNN + rand, LSTM, and other models, the neural network deep learning hybrid model can effectively improve the accuracy of text classification.

Multi Sentence Summarization Method using Similarity Clustering of Word Embedding (워드 임베딩의 유사도 클러스터링을 통한 다중 문장 요약 생성 기법)

  • Lee, Pil-Won;Song, Jin-su;Shin, Yong-Tae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.290-292
    • /
    • 2021
  • 최근 인코더-디코더 구조의 자연어 처리모델이 활발하게 연구가 이루어지고 있다. 인코더-디코더기반의 언어모델은 특히 본문의 내용을 새로운 문장으로 요약하는 추상(Abstractive) 요약 분야에서 널리 사용된다. 그러나 기존의 언어모델은 단일 문서 및 문장을 전제로 설계되었기 때문에 기존의 언어모델에 다중 문장을 요약을 적용하기 어렵고 주제가 다양한 여러 문장을 요약하면 요약의 성능이 떨어지는 문제가 있다. 따라서 본 논문에서는 다중 문장으로 대표적이고 상품 리뷰를 워드 임베딩의 유사도를 기준으로 클러스터를 구성하여 관련성이 높은 문장 별로 인공 신경망 기반 언어모델을 통해 요약을 수행한다. 제안하는 모델의 성능을 평가하기 위해 전체 문장과 요약 문장의 유사도를 측정하여 요약문이 원문의 정보를 얼마나 포함하는지 실험한다. 실험 결과 기존의 RNN 기반의 요약 모델보다 뛰어난 성능의 요약을 수행했다.

Enhancing E-commerce Competitiveness through Brand-Trend Association Based on Product Names and Reviews (상품명 및 리뷰를 기반으로 한 브랜드-트렌드 연관성을 통한 이커머스 경쟁력 강화)

  • Ki-young Shin;Hun-young Jung
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.596-599
    • /
    • 2023
  • 본 연구는 브랜드가 시장 트렌드를 파악하고 이를 활용하여 경쟁 우위를 확보하고 성장하는 방법을 탐구하고 있다. 이를 위해 세 가지 핵심 요소를 고려하였다. 첫째, 시장의 트렌드 정보를 파악하기 위해 검색 포털 사이트의 검색어 랭킹 정보를 활용하였다. 둘째, 브랜드 상품과 트렌드의 연관성을 분석하기 위해 상품 타이틀과 리뷰 데이터를 활용하였다. 셋째, 각 상품의 브랜드 중요성을 추정하기 위해 리뷰 수, 리뷰 길이, 표현의 다양성 등을 고려했다. 연구 결과, 브랜드는 시장 트렌드를 더욱 정확하게 이해하고 파악함으로써 경쟁 우위를 확보하고 성장할 수 있는 기회를 제공함을 확인하였다. 더불어, 이를 통해 브랜드는 소비자의 요구를 더욱 효과적으로 충족시키고 고객 경험을 개선하는데 기여할 수 있을 것으로 기대된다.

  • PDF

A method based on embedding to detect core regions in unstructured document (임베딩 기반의 비정형 문서 핵심 영역 식별)

  • Min Ji Park;Yeong Jun Hwang;Byung Hoon Park;Sooyeon Shin;Chi hoon Lee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2024.05a
    • /
    • pp.607-610
    • /
    • 2024
  • 기업의 운영에 있어서 기업의 핵심 정보가 유출되지 않도록 관리하는 것은 매우 중요하다. 따라서, 사내에서 유통되는 문서들에 대해 핵심적인 정보가 사외로 유출되지 않도록 관리하고 추적하는 것은 필수적이다. 특히, 데이터가 구조화되지 않고, 다양한 형식으로 구성되어있는 비정형 문서 내에서 핵심 정보를 식별하는 것은 기술적으로 어려움이 존재한다. 본 논문에서는 YOLOv8을 사용하여 비정형 문서 내에서 영역을 식별하고, 자연어 처리 모델인 Word2Vec을 사용하여 비정형 문서 내에서 핵심 내용을 식별한 후 이를 시각화함으로써 사내에서 유통되는 비정형 문서 내의 핵심 정보를 식별하고 추적하는 방법을 제안하였다.