• Title/Summary/Keyword: text mining analysis

검색결과 1,208건 처리시간 0.084초

빅데이터 기반의 아파트 수요 트렌드 분석에 관한 연구 (Trend Analysis of Apartments Demand based on Big Data)

  • 김태경;김한수
    • 한국건설관리학회논문집
    • /
    • 제18권6호
    • /
    • pp.13-25
    • /
    • 2017
  • 아파트는 우리나라 전체 주택 중 상당 부분을 차지하는 중요한 거주형태이며 매년 증가하는 추세이다. 아파트는 일반 국민에게 주거용뿐만 아니라 수익 상품으로서의 가치를 지니며, 건설기업에게는 주요 상품, 정부에게는 공공 복지를 위한 중요한 수단중 하나이다. 따라서 아파트의 수요 트렌드를 이해하고 분석하는 것은 고객의 요구 가치에 대응하는 아파트 개발과 부동산 정책수립을 위해 중요한 현안이다. 본 연구의 목적은 주요 일간지의 뉴스기사를 빅데이터 소스로 설정하고 텍스트 마이닝 기법을 활용하여 아파트 수요 트렌드를 분석하고 주요 특징을 도출하는데 있다. 연구 결과, 빅데이터 분석을 통해 개발, 거래, 분양, 입지, 정책, 주거환경, 투자 수익 등 7개의 테마별로 아파트 수요 관련 17개 주요 트렌드가 도출되었다. 본 연구에서 제안된 연구방법론은 향후 건설산업 관련 연구에 빅데이터 분석을 접목시키는데 유용하게 활용될 수 있다.

딥러닝을 활용한 개인정보 처리방침 분석 기법 연구 (Privacy Policy Analysis Techniques Using Deep Learning)

  • 조용현;차영균
    • 정보보호학회논문지
    • /
    • 제30권2호
    • /
    • pp.305-312
    • /
    • 2020
  • 개인정보보호법에서는 정보 주체의 권리보장을 위해 개인정보보호 정책문서인 개인정보 처리방침을 공개하도록 규정하고 있고 공정거래위원회에서는 개인정보 처리방침을 약관으로 보고 약관규제법에 따라 불공정약관심사를 하고 있다. 그러나, 정보 주체는 개인정보 처리방침이 복잡하고 이해하기 어려워 읽지 않는 경향이 있다. 개인정보 처리방침의 내용을 간단하고 읽기 쉽게 한다면 온라인 거래에 참여할 확률이 증가하여 기업의 매출 증가에 기여하고, 사업자와 정보주체간의 정보 비대칭성 문제 해결에 기여할 것이다. 본 연구에서는 복잡한 개인정보 처리방침을 딥러닝을 이용하여 분석하여 정보주체로 하여금 가독성 높은 단순화된 개인정보처리 방침을 구현하기 위한 모델을 제시한다. 모델을 제시하기 위해 국내 258개 기업의 개인정보 처리방침을 데이터셋으로 구축하고 딥러닝 기술을 활용하여 분석하는 방안을 제안하였다.

빅데이터 분석을 활용한 가짜 리뷰 필터링 시스템 ADDAVICHI (Development of Filtering System ADDAVICHI for Fake Reviews using Big Data Analysis)

  • 정다비치;노영주
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권6호
    • /
    • pp.1-8
    • /
    • 2019
  • 최근 '바이럴 마케팅' 으로 인해서 홍보에만 치중하는 블로그 게시물 등으로 인해 소비자의 불신이 깊어졌다. 또한, 이용후기를 거짓으로 작성하거나, 과장 확대하는 등의 마케팅 사업은 신문이나 TV 광고에 비해 가격이 저렴하면서도 효과가 커 각광받는 사업 중 하나로서 광고비 규모는 2016년 기준 '3조 3941억'으로 주요 광고수단으로 자리잡고 있다. 이러한 '바이럴 마케팅'으로부터 정보를 걸러주는 도구가 필요한 인터넷 환경이 되었다. 본 논문에서 제시하는 가짜 리뷰 필터링 어플리케이션 ADDAVICHI는 사용자가 '이벤트', '맛집' 등의 컨텐츠를 검색하면 블로그 키워등, 총 검색수, 신뢰도, 만족도 등을 추출하고 분석하여 제시한다. 신뢰도는 블로그에 있는 광고게시물 수와, 전체 게시물 수를 보여주고, 만족도는 신뢰도에서 걸러진 청정 게시물을 긍정 게시물과 부정게시물로 나눠서 보여준다. 마지막으로 키워드는 긍정 게시물에서 나온 리뷰 상위 세 단어 리스트를 보여준다. 이러한 방법으로 사용자가 광고 글로부터 벗어나서 정보를 해석할 수 있도록 지원한다.

유전 알고리즘 기반의 비정상 행위 탐지를 위한 특징선택 (Feature Selection for Anomaly Detection Based on Genetic Algorithm)

  • 서재현
    • 한국융합학회논문지
    • /
    • 제9권7호
    • /
    • pp.1-7
    • /
    • 2018
  • 데이터 전처리 기법 중 하나인 특징 선택은 대규모 데이터셋을 다루는 다양한 응용분야에서 주요 연구 분야 중 하나로 각광받고 있다. 특징 선택은 패턴 인식, 기계학습 및 데이터 마이닝에서 사용됐고, 최근에는 텍스트 분류, 이미지 검색, 침입 탐지 및 게놈 분석과 같은 다양한 분야에 널리 적용되고 있다. 제안 방법은 메타 휴리스틱 알고리즘 중의 하나인 유전 알고리즘을 기반으로 한다. 특징 부분 집합을 찾는 방법은 크게 필터(filter) 방법과 래퍼(wrapper) 방법이 있는데, 본 연구에서는 최적의 특징 부분 집합을 찾기 위해 실제 분류기를 사용한 평가를 하는 래퍼 방법을 사용한다. 실험에 사용한 훈련 데이터셋은 클래스 불균형이 심하여 희소클래스에 대한 분류 성능을 높이기 어렵다. SMOTE 기법을 적용한 훈련 데이터셋을 사용하여 특징 선택을 하고 다양한 기계학습 알고리즘을 사용하여 선택한 특징들의 성능을 평가한다.

인적재난사고사례기반의 새로운 재난전조정보 등급판정 연구 (Developing an Intelligent System for the Analysis of Signs Of Disaster)

  • 이영재
    • 한국재난관리표준학회지
    • /
    • 제4권2호
    • /
    • pp.29-40
    • /
    • 2011
  • 본 연구는 인적재난 분야에 다양한 재난전조자료를 수집 분석하여 재난 위험등급을 결정하는 의사결정체계를 구축할 목적으로 재난전조 정의, 재난전조정보를 분석하기 위한 분류체계, 재난전조정보 위험등급을 판단하기 위한 논리적 알고리즘, 대응 조치사항을 포함한 권고사항 등을 연구하였다. 본 연구에서 의사결정체계를 위해 적용된 온톨로지 기법은 기본요소들의 분류 및 3계층 속성 분류만을 도입하였고, 텍스트 마이닝 기법에서는 용어의 빈도수 분석 및 신뢰도 계산 부분을 도입하여 연관성 규칙의 기본구조를 밝혀냈다. 이 기본구조에 과거 재난사례를 적용하여 연관성 규칙을 생성하였으며, 새로운 재난전조정보와 비교하여 위험등급을 추론하는 사례기반추론 기법을 사용하였다. 본 연구에서 제시된 지능형 의사결정체계는 의사결정자가 재난전조정보를 바탕으로 위험등급을 결정하여 사전예방조치를 할 수 있도록 도와주며, 궁극적으로 재난발생 가능성을 줄일 수 있다.

  • PDF

LSTM을 활용한 고위험성 조류인플루엔자(HPAI) 확산 경로 예측 (Prediction of Highy Pathogenic Avian Influenza(HPAI) Diffusion Path Using LSTM)

  • 최대우;이원빈;송유한;강태훈;한예지
    • 한국빅데이터학회지
    • /
    • 제5권1호
    • /
    • pp.1-9
    • /
    • 2020
  • 이 연구는 2018년도 정부(농림축산식품부)의 재원으로 농림식품기술기획평가원 지원을 받아 수행된 연구이다. 최근 시계열 및 텍스트 마이닝에서 활발히 사용되는 모델은 딥러닝(Deep Learning) 모델 구조를 활용한 LSTM(Long Short-Term Memory models) 모델이다. LSTM 모델은 RNN의 BPTT(Backpropagation Through Time) 과정에서 발생하는 Long-Term Dependency Problem을 해결하기 위해 등장한 모델이다. LSTM 모델은 가변적인 Sequence data를 활용하여 예측하는 문제를 굉장히 잘 해결했고, 지금도 널리 사용되고 있다. 본 논문 연구에서는 KT가 제공하는 CDR(Call Detailed Record) 데이터를 활용하여 바이러스와 밀접한 관계가 있을 것으로 예측되는 사람의 이동 경로를 파악하였다. 해당 사람의 경로를 활용하여 LSTM 모델을 학습시켜 이동 경로를 예측한 결과를 소개한다. 본 연구 결과를 활용하여 HPAI가 전파되는 경로를 예측하여 방역에 중점을 둘 경로 또는 지역을 선정해 HPAI 확산을 줄이는 데 이용될 수 있을 것이다.

비정형유방증식에 대한 최근 중의 약물치료 동향에 대한 문헌연구 (A Literature Review on the Recent Tendency of the Treatment about Atypical Hyperplasia of Breast on the Chinese Herbal Medicine)

  • 김준희;이인선
    • 대한한방부인과학회지
    • /
    • 제33권1호
    • /
    • pp.36-58
    • /
    • 2020
  • Objectives: We conducted a literature study on the treatment trends in China to find out the possibility of Oriental medicine treatment of atypical hyperplasia of breast (AHB). Methods: RCTs (randomized controlled trial) on AHB were collected from CNKI (China National Knowledge Infrastructure). The search words were "乳腺增生", "乳腺囊性增生", "乳癖", "中医", "中药" and "中西医结合". The search period was limited from July 2006 to May 2017. Finally, we selected 107 RCTs which were clinical studies to find out the effectiveness of Chinese herbal medicine in comparison with Western medicine. After reviewing, we investigated Chinese herbal medication guide, Chinese treatment method and prescriptions. And the correlation between the treatments and the medicinal herbs was investigated to be useful in the clinical practice. Results: 1. The administration of herbal medicine was 58.9 percent in 63 cases, followed by menstrual cycles, and 41.1 percent in 44 cases, regardless of menstrual cycles. 2. In the basic frequency analysis between the treatment and the medicinal herb, the frequency of dissipate binds (散結) was the highest. Next, there was a high frequency of therapies such as activating blood-activating (活血), relieve pain (止痛), soothe the liver (疏肝), regulate qi (理氣), resolve phlegm (化痰), soften hardness (軟堅), resolve depression (解鬱), move qi (行氣) of frequency was high. In herbal medicine, bupleuri radix (柴胡), cyperi rhizoma (香附子), angelicae gigantis radix (當歸), fritillaria thunbergii bulb (貝母), paeoniae radix alba (白芍藥), prunellae spica (夏枯草), corydalis rhizoma (玄胡索) showed high frequency. 3. We finded out the correlation between the frequent treatment methods and the medicinal herbs using Text Mining. Conclusions: These findings are thought to help implement Korean traditional medicine treatments for AHB.

인공지능 속성에 대한 고객 태도 변화: AI 스피커 고객 리뷰 분석을 통한 탐색적 연구 (Customer Attitude to Artificial Intelligence Features: Exploratory Study on Customer Reviews of AI Speakers)

  • 이홍주
    • 지식경영연구
    • /
    • 제20권2호
    • /
    • pp.25-42
    • /
    • 2019
  • AI speakers which are wireless speakers with smart features have released from many manufacturers and adopted by many customers. Though smart features including voice recognition, controlling connected devices and providing information are embedded in many mobile phones, AI speakers are sitting in home and has a role of the central en-tertainment and information provider. Many surveys have investigated the important factors to adopt AI speakers and influ-encing factors on satisfaction. Though most surveys on AI speakers are cross sectional, we can track customer attitude toward AI speakers longitudinally by analyzing customer reviews on AI speakers. However, there is not much research on the change of customer attitude toward AI speaker. Therefore, in this study, we try to grasp how the attitude of AI speaker changes with time by applying text mining-based analysis. We collected the customer reviews on Amazon Echo which has the highest share of AI speakers in the global market from Amazon.com. Since Amazon Echo already have two generations, we can analyze the characteristics of reviews and compare the attitude ac-cording to the adoption time. We identified all sub topics of customer reviews and specified the topics for smart features. And we analyzed how the share of topics varied with time and analyzed diverse meta data for comparisons. The proportions of the topics for general satisfaction and satisfaction on music were increasing while the proportions of the topics for music quality, speakers and wireless speakers were decreasing over time. Though the proportions of topics for smart fea-tures were similar according to time, the share of the topics in positive reviews and importance metrics were reduced in the 2nd generation of Amazon Echo. Even though smart features were mentioned similarly in the reviews, the influential effect on satisfac-tion were reduced over time and especially in the 2nd generation of Amazon Echo.

TF-IDF를 이용한 침입탐지이벤트 유효성 검증 기법 (A Validation of Effectiveness for Intrusion Detection Events Using TF-IDF)

  • 김효석;김용민
    • 정보보호학회논문지
    • /
    • 제28권6호
    • /
    • pp.1489-1497
    • /
    • 2018
  • 웹 애플리케이션 서비스의 종류가 다양해짐과 동시에 사이버 위협이 급증하여 침입탐지에 대한 연구가 계속되고 있다. 기존의 단일 방어체계에서 다단계 보안으로 진행됨에 따라 대량의 보안이벤트 연관성을 분석하여 명확한 침입에 대해 대응하고 있다. 그러나 대상시스템의 OS, 서비스, 웹 애플리케이션 종류 및 버전을 실시간으로 점검하기 어려운 측면이 있고, 네트워크 기반의 보안장비에서 발생하는 침입탐지 이벤트만으로는 대상지의 취약여부와 공격의 성공여부를 확인 할 수 없는 문제점과 연관성 분석이 되지 않은 위협의 사각지대가 발생할 수 있다. 본 논문에서는 침입탐지이벤트의 유효성을 검증하기 위한 기법을 제안한다. 제안된 기법은 공격에 상응하는 대상시스템의 반응을 사상(mapping)하여 응답트래픽을 추출하고, TF-IDF를 통해 라인(line)기반으로 가중치를 환산하고 높은 수치부터 순차적으로 확인하여 대상시스템의 취약여부와 유효성이 높은 침입탐지이벤트를 검출하였다.

토픽 모델링 기반 과학적 지식의 불확실성의 흐름에 관한 연구 (The Stream of Uncertainty in Scientific Knowledge using Topic Modeling)

  • 허고은
    • 정보관리학회지
    • /
    • 제36권1호
    • /
    • pp.191-213
    • /
    • 2019
  • 과학적 지식을 얻는 과정은 연구자의 연구를 통해 이루어진다. 연구자들은 과학의 불확실성을 다루고 과학적 지식의 확실성을 구축해나간다. 즉, 과학적 지식을 얻기 위해서 불확실성은 반드시 거쳐가야 하는 필수적인 단계로 인식되고 있다. 현존하는 불확실성의 특성을 파악하는 연구는 언어학적 접근의 hedging 연구를 통해 소개되었으며 컴퓨터 언어학에서 수작업 기반으로 불확실성 단어 코퍼스를 구축해왔다. 기존의 연구들은 불확실성 단어의 단순 출현 빈도를 기반으로 특정 학문 영역의 불확실성의 특성을 파악해오는데 그쳤다. 따라서 본 연구에서는 문장 내 생의학적 주장이 중요한 역할을 하는 생의학 문헌을 대상으로 불확실성 단어 기반 과학적 지식의 패턴을 시간의 흐름에 따라 살펴보고자 한다. 이를 위해 생의학 온톨로지인 UMLS에서 제공하는 의미적 술어를 기반으로 생의학 명제를 분석하였으며, 학문 분야의 패턴을 파악하는데 용이한 DMR 토픽 모델링을 적용하여 생의학 개체의 불확실성 기반 토픽의 동향을 종합적으로 파악하였다. 시간이 흐름에 따라 과학적 지식의 표현은 불확실성이 감소하는 패턴으로 연구의 발전이 이루어지고 있음을 확인하였다.