• Title/Summary/Keyword: Big data Processing

Search Result 1,063, Processing Time 0.033 seconds

Reenforcement and Utilization Method of BigData Security (빅데이터 보안 강화 및 활용 방안)

  • Kang, Jung-Ku;Park, Seok-Cheon;Kim, Jong-Hyun
    • Annual Conference of KIPS
    • /
    • 2013.11a
    • /
    • pp.1256-1259
    • /
    • 2013
  • 최근 데이터의 양이 기하급수적으로 증가하면서 빅데이터가 이슈가 되어 많은 관심을 받고 있는 현실이다. 현재 빅데이터의 기술은 데이터 추출과 이용에만 초점이 맞춰져 있어 보안에 취약한 시스템에 해킹시도가 있을 경우 개인과 기업에 막대한 피해가 발생될 수 있다. 따라서 본 논문에서는 빅데이터 보안에 초점을 두어 외부로부터 피해를 방지하고 안전하게 빅데이터 서버를 운영하는 방법을 제시한다. 즉, Iptable을 이용한 IP나 포트 허용 여부를 지정하고 가상사설망(VPN)을 이용하여 외부 접속을 방지하며 패스워드 강화를 통해 빅데이터 서버의 보안 강화 및 활용 방안을 제시하였다.

Architecture of LCMS for Smart Learing Based on BigData (빅데이터 기반 스마트러닝을 위한 LCMS 구조)

  • Kim, Seong-Jin;Park, Seok-Cheon;Lee, Sang-Muk
    • Annual Conference of KIPS
    • /
    • 2013.11a
    • /
    • pp.1234-1237
    • /
    • 2013
  • 빅데이터의 중요성이 부각되고 있는 빅데이터의 시대에 교육서비스시장은 스마트 교육이라는 새로운 변화에 따라 많은 변화가 일어나고 있다. 자기 주도적이며 개인화되고 쌍방향커뮤니케이션 등의 특징을 가진 스마트러닝 환경에서는 LMS와 LCMS의 역할이 점점 중요해지고 있다. 현재 콘텐츠의 중요성이 부각되는 정보홍수 시대이므로 LCMS가 해야 할 역할이 크다. 그러나 아직까지는 교육서비스에서 빅데이터의 아키텍쳐와 대용량 데이터 처리 기술을 활용하고 있는 사례는 그다지 많지 않다. 이에 본 논문에서는 빅데이터 기술을 활용한 LCMS에 대해 분석하고 새로운 방안을 제시하고자 한다.

Research on Understanding Churned Customer and Application of Marketing in Telco. industry Using XAI (XAI를 활용한 통신사 이탈고객의 특성 이해와 마케팅 적용방안 연구)

  • Lim, Jinhee
    • Annual Conference of KIPS
    • /
    • 2022.05a
    • /
    • pp.21-24
    • /
    • 2022
  • 최근 통신업계에서는 축적된 빅데이터를 활용하여 고객의 특성을 이해하고 맞춤형 마케팅에 이용하려는 노력이 지속되어 왔다. 본 연구에서는 CatBoost 모델을 사용하여 이탈 가능성이 높은 고객을 예측하고 XAI(eXplainable Artificial Intelligence) 기법 중 하나인 SHAP을 적용하여 이탈에 영향을 미치는 요인을 설명하고자 하였다. SHAP의 global explanation 기법을 사용하여 특정 고객 segmentation 에 대한 이해력을 높이고, local explanation 기법을 사용하여 개별 고객에 대한 설명과 개인화 마케팅에 적용 가능성을 제시하였다. 본 연구는 기존의 이탈 예측모델인 블랙박스 모델이 갖는 한계점을 극복하고 고객의 특성을 이해하여 실제 비즈니스에 활용 가능성을 높였다는 점에서 의의를 가진다.

Detection of Maximal Balance Clique Using Three-way Concept Lattice

  • Yixuan Yang;Doo-Soon Park;Fei Hao;Sony Peng;Hyejung Lee;Min-Pyo Hong
    • Journal of Information Processing Systems
    • /
    • v.19 no.2
    • /
    • pp.189-202
    • /
    • 2023
  • In the era marked by information inundation, social network analysis is the most important part of big data analysis, with clique detection being a key technology in social network mining. Also, detecting maximal balance clique in signed networks with positive and negative relationships is essential. In this paper, we present two algorithms. The first one is an algorithm, MCDA1, that detects the maximal balance clique using the improved three-way concept lattice algorithm and object-induced three-way concept lattice (OE-concept). The second one is an improved formal concept analysis algorithm, MCDA2, that improves the efficiency of memory. Additionally, we tested the execution time of our proposed method with four real-world datasets.

Immediate solution of EM algorithm for non-blind image deconvolution

  • Kim, Seung-Gu
    • Communications for Statistical Applications and Methods
    • /
    • v.29 no.2
    • /
    • pp.277-286
    • /
    • 2022
  • Due to the uniquely slow convergence speed of the EM algorithm, it suffers form a lot of processing time until the desired deconvolution image is obtained when the image is large. To cope with the problem, in this paper, an immediate solution of the EM algorithm is provided under the Gaussian image model. It is derived by finding the recurrent formular of the EM algorithm and then substituting the results repeatedly. In this paper, two types of immediate soultion of image deconboution by EM algorithm are provided, and both methods have been shown to work well. It is expected that it free the processing time of image deconvolution because it no longer requires an iterative process. Based on this, we can find the statistical properties of the restored image at specific iterates. We demonstrate the effectiveness of the proposed method through a simple experiment, and discuss future concerns.

Open Distributed Cloud Computing based on High-Speed Big Data Transfer (고속 빅데이터 전송 기반의 오픈 분산 컴퓨팅 플랫폼 개발 및 연구)

  • Kim, Ki-Hyeon;Moon, Junghoon
    • Annual Conference of KIPS
    • /
    • 2021.05a
    • /
    • pp.38-41
    • /
    • 2021
  • 최근 빅데이터, 인공지능 키워드를 이용한 다양한 연구들이 진행되고 있으며, 인공지능 연구를 통해 자동화 자율화를 위한 연구들이 주를 이루고 있다. 인공지능 연구를 수행하기 위해서는 거대한 데이터를 빠르게 전송해야하며, 인공지능을 손쉽게 수행하기 위한 플랫폼이 필요하다. 하지만 많은 연구기관에서는 빅데이터 전송 속도의 한계가 존재하며, 인공지능 알고리즘 수행을 위한 플랫폼 또한 부족한 것이 현실이다. 이를 해결하기 위해 ScienceDMZ 기술을 활용하여 고속의 빅데이터 전송을 위한 인프라를 구축하고, 엣지 컴퓨팅 기반의 오픈 분산 컴퓨팅 플랫폼을 개발한다. 이 시스템을 통해 사용자들에게 빅데이터를 빠르게 전송하고 전송된 데이터를 이용하여 바로 인공지능 연구를 수행하여 결과를 도출할 수 있는 시스템을 구축하고자 한다. 이 시스템을 이용하여 GPU 분산 컴퓨팅을 수행하였을 때 성능과 GPU 병렬 컴퓨팅을 수행하였을 때의 결과를 비교하여 성능을 검증하고자 한다.

A Study on the Estimation Method of Hemoglobin Based on Linear and Multiple Regression Analysis Using Health Examination Big Data (건강검진 빅데이터를 이용한 선형 및 다중회귀분석 기반 헤모글로빈 추정 방법에 관한 연구)

  • Hong, Sang-Hoon;Hong, Kwang-Seok
    • Annual Conference of KIPS
    • /
    • 2021.05a
    • /
    • pp.553-555
    • /
    • 2021
  • 빈혈의 유병률은 매년 증가하고 있으나 이를 가벼운 질병으로 인식해 치료 시기를 놓치는 환자들이 존재한다. 빈혈의 발생원인으로 혈액 내 헤모글로빈 및 헤모글로빈 내 철 부족이 있으며, 헤모글로빈 측정기술의 경우 채혈 이외에 사람의 신체 및 건강 정보를 적용한 사례는 찾아보기 어렵다. 본 논문에서는 신체(키, 몸무게 및 허리둘레) 및 건강 정보(혈청지오티, 이완기 혈압 및 감마지티피 등)가 포함된 건강검진 빅데이터를 이용하여 단일 특징에 대해 선형회귀분석을 수행하고, 다중 특징에 대해 다중회귀분석을 수행하여 회귀분석 식을 산출, 산출된 회귀분석 식을 통해 헤모글로빈을 추정하여 실제 헤모글로빈값과 오차율을 계산하고 비교한다. 실험 결과, 선형회귀분석 식을 통해 헤모글로빈을 추정하였을 때 평균 8.124%의 오차율이 계산되었으며, 다중회귀분석의 경우 선형회귀분석보다 낮은 6.767%의 오차율이 계산되었다.

A Study on the Factors Affecting the Intention to Use the Integrated Farming and Returning Village Platform Based on Big Data (빅데이터기반 귀농·귀촌 통합플랫폼 사용의도에 영향을 미치는 요인에 관한 연구)

  • Lee, Won Suk;Jang, Sang-hyun;Ha, Seung-Jae;Shin, Yongtae
    • Annual Conference of KIPS
    • /
    • 2021.05a
    • /
    • pp.249-252
    • /
    • 2021
  • 한국 농업·농촌의 고령화 현상과 농업인구의 감소가 점차 심화됨에 따라 귀농·귀촌을 통한 인구 유입이 절실한 상황이다. 이를 위해서 귀농·귀촌 희망자가 의사결정 시에 도움을 받을 수 있는 귀농·귀촌 통합플랫폼을 구축 예정이다. 따라서 본 연구를 통해 빅데이터기반 귀농·귀촌 통합플랫폼 사용의도에 영향을 미치는 요인들을 분석하여 실제 플랫폼 구축 시 필요한 시사점을 도출하고자 한다.

Design and Implementation of Predicting the Heatwave Vulnerable Class Using Digital Twin Based on Big Data (빅데이터기반 디지털 트윈 활용 폭염 취약계층 예측 시스템의 설계 및 구현)

  • Na, HyungSun;Kim, JongIn;Ahn, Jinhyun;Jun, Daesung;Im, Dong-Hyuk
    • Annual Conference of KIPS
    • /
    • 2020.11a
    • /
    • pp.781-783
    • /
    • 2020
  • 여름철만 되면 폭염 취약계층의 피해 소식이 꾸준히 발생하고 있다. 본 연구는 폭염 취약계층을 예측하기 위한 방법으로 통신사와 공공데이터에서 유동인구데이터, 전기사용량, 온도데이터, 건물 면적, 병원 접근성 등을 활용하여 분석하였다. 디지털 트윈 기법을 활용해 분석결과 높은 온도대비 면적당 전기사용량이 적으며 동시에 유동인구가 많고 병원 접근성이 떨어질수록 폭염 취약계층일 확률이 높을 것으로 예측하였다.

Comparison of Korean Standard Industrial Classification Automatic Classification Model on Deep Learning (딥러닝 기반 한국 표준 산업분류 자동분류 모델 비교)

  • Woo, Chan Kyun;Lim, Heui Seok
    • Annual Conference of KIPS
    • /
    • 2020.05a
    • /
    • pp.516-518
    • /
    • 2020
  • 통계청에서는 지역별고용조사, 인구총조사 등 다양한 조사를 실시하고 있다. 이러한 조사에서는 응답자의 사업체명, 사업체가 주로 하는 일, 응딥자가 한 일, 부서 및 직책 정보 등을 조사해서 조사되어진 자료를 토대로 한국 표준 산업분류 형태로 코드를 부여해 주고 있다. 각 조사에서는 자연어 형태로 입력을 받아서 자료처리 기간에 코딩작업을 하는 조사가 있고 조사원이 입력을 하면서 자동코딩시스템을 이용해서 산업분류 코드를 입력하는 방식도 있다. 본 연구에서는 전자의 방법을 자동화하는 것에 초점을 두었다. 딥러닝 알고리즘을 이용해서 기존에 코드부여가 완료된 자료를 가지고 실험을 해본 결과 조사된 모든 항목을 사용했을 때에는 CNN이 81.36%로 가장 좋은 성능을 보였고, 항목을 2가지로 (사업체가 주로 하는 일/응딥자가 한 일) 줄였을 경우 전체적으로 더 좋은 성능을 보였다. 그 중에 CNN-LSTM이 85.91%로 가장 좋은 성능을 보였다.