• Title/Summary/Keyword: Big data Processing

Search Result 1,063, Processing Time 0.035 seconds

A Study on PublicData Safety Verification System for Privacy in BigData Environment (빅데이터 환경에서 개인정보보호를 위한 공개정보 안전성 검증 체계에 관한 연구)

  • Lee, Jae-Sik;Kim, Ho-Seong;Oh, Yong-Seok
    • Annual Conference of KIPS
    • /
    • 2013.11a
    • /
    • pp.670-671
    • /
    • 2013
  • 빅데이터 환경에서 개인정보가 포함된 데이터가 공개될 경우 많은 프라이버시 문제를 야기할 수 있다. 따라서, 본 논문에서는 데이터 공개 시에 개인정보를 보호하기 위한, 공개정보 안전성 검증 체계를 제안한다. 제안하는 검증 체계는 개인정보가 포함된 공개정보에 대하여 익명화 수행을 지원하고, 익명화된 데이터에 대하여 비익명화를 수행하는 등 공개정보에 대한 안전성을 평가하고, 이를 관리 감독하는 체계이다. 안전성 검증은 공개되는 정보에 따라서 다양하게 이루어 질 수 있으며, 검증의 강도에 따라서 안전성 인증 레벨을 차등 부여한다. 제안하는 체계는 빅데이터 환경에서 데이터 공개 시 개인정보보호를 위한 최소한의 안전성 보장체계라 할 수 있으며, 제안하는 체계를 통하여 빅데이터 환경에서 개인정보에 안전한 데이터 공개 환경이 조성될 것으로 기대한다.

Data Exchange System Based on Learned MAPE-K for a Secure Defense Big Data Framework (안전한 국방 빅데이터 프레임워크를 위한 Learned MAPE-K 기반 자료교환 시스템)

  • Cho, Jun-Ha;Yu, Jin-Yong;Kim, Young-Gab
    • Annual Conference of KIPS
    • /
    • 2022.05a
    • /
    • pp.173-175
    • /
    • 2022
  • 국방 각급 부대는 망연계 자료교환 시스템에 의해 인터넷과 국방망을 연계하여 데이터를 수집하고 있다. 또한, 안전한 국방 데이터수집과 빅데이터 환경조성을 위해 악성코드를 내재한 데이터들을 차단 및 분류하는 데이터 검열을 수행한다. 그러나 수집되는 데이터들이 새로운 악성코드를 내재할 경우, 현재 운용되고 있는 국방 시스템으로 식별하는 것이 불가능하여 외부로부터의 보안위협이 존재한다. 따라서 본 논문에서는 새로운 악성코드 위협에도 대응할 수 있는 Learned MAPE-K 기반 자료교환 시스템을 제안한다.

A Study on Tools for Big Data Visualization Based on RPA(Robot Process Automation) (RPA(Robot Process Automation) 기반 빅데이터 시각화 방안에 관한 연구)

  • Han, Chung-Ku;Shin, Yongtae
    • Annual Conference of KIPS
    • /
    • 2021.05a
    • /
    • pp.242-244
    • /
    • 2021
  • RPA는 단순 반복적 사무업무를 자동화하여 업무 효율화의 강력한 도구로 최근 각광받고 있다. RPA는 업무 자동화를 정의하기 위한 세부 요소로 구성되며, 최근 빅데이터 기술과 융합되어 빅데이터 시각화 도구로써 기업 내 경영의사결정시스템을 구축할 수 있었다. SW Bot기반의 RPA의 기본 구성요소로 UI Bot, Process Bot, Data Bot을 정의하고 해당 기능별 요소 정의와 도입 효과를 확인한다.

A Design of Rehabilitation exercise device data interworking interface for Rehabilitation exercise Big data platform (재활 운동 빅데이터 플랫폼을 위한 재활 운동 기기 데이터 연동 인터페이스의 설계)

  • Choi, Wonhyuk;Kang, Il-Kwon;Kim, Jae-Chul
    • Annual Conference of KIPS
    • /
    • 2022.11a
    • /
    • pp.165-167
    • /
    • 2022
  • 본 논문은 병원과 지역사회에서 제공하는 재활 서비스를 연계하여 재활 단계별 개인 맞춤 재활서비스를 제공하기 위한 재활운동 빅데이터 플랫폼과 재활 서비스를 지원하는 재활 운동 기기간의 데이터 수집을 위한 인터페이스의 설계에 관한 것이다. 재활 운동 빅데이터 플랫폼은 병원과 지역사회에서 생성되는 재활 관련 데이터를 수집하고 이를 가공, 유통하기 위한 데이터 서비스와 수집된 데이터를 예측, 분석하여 개인 맞춤형의 단계별 재활을 지원하기 위한 다양한 서비스를 제공한다. 본 논문에서는 재활 운동을 보조하는 재활 운동 기기에서 생성되는 다양한 유형의 데이터를 재활 운동 빅데이터 플랫폼으로 전송하고, 수집된 데이터를 플랫폼 내외부에서 활용 가능하도록 제공할 수 있는 인터페이스에 대하여 설명한다.

A Study on the Effect of Changing in Korean and Chinese Car Holdings on Fine Dust Concentration in Korea (한국과 중국의 자동차 보유량 변화가 한국의 미세먼지 농도에 미치는 영향 연구 )

  • Seong-Ryeong Jeong;Jin Kim
    • Annual Conference of KIPS
    • /
    • 2023.11a
    • /
    • pp.374-375
    • /
    • 2023
  • 정부의 정책과 언론, 미세먼지 실황 서비스 등의 영향으로 미세먼지에 대한 사람들의 관심과 불안이 증가하고 있다. 본 연구에서는 미세먼지 발생에 화석연료 소비가 크게 작용한다고 보고 이 두 변수의 관계를 연구하기 위해 화석연료의 대리변수로 경제성장에 따라 증가하는 자동차 보유량을 채택하여 분석을 진행하였다. 시계열 데이터에 적합한 분석방법을 활용하여 VAR 모델에 적용시켜서 두 변수의 관계를 확인하였다.

A Study on the Cost of Free Riding Loss according to the Alternative of Free Riding Policy for the Elderly in Seoul Subway (서울 지하철 노인 무임승차 정책 대안에 따른 무임승차 손실 비용에 관한 연구)

  • Ju-Yeon Lim;Jin Kim
    • Annual Conference of KIPS
    • /
    • 2023.11a
    • /
    • pp.369-370
    • /
    • 2023
  • 대한민국은 고령화 사회에 접어들었다. 본 연구에서는 서울시 지하철 무임승차를 대표로 선정하여 서울시의 노인인구 특성, 지하철 이용행태를 고려한 정책대안을 모색함으로써 지하철 적자 문제의 해결 방안을 제안하였다. 공공 데이터를 통해 통계분석을 하고, Linear Regression 분석을 통해 결과를 예측하였다. 예측한 결과에 노인의 소득수준을 반영하여 손실 비용이 어떻게 변화하는지 비교하였다.

Combining AutoML and XAI: Automating machine learning models and improving interpretability (AutoML 과 XAI 의 결합 : 기계학습 모델의 자동화와 해석력 향상을 위하여)

  • Min Hyeok Son;Nam Hun Kim;Hyeon Ji Lee;Do Yeon Kim
    • Annual Conference of KIPS
    • /
    • 2023.11a
    • /
    • pp.924-925
    • /
    • 2023
  • 본 연구는 최근 기계학습 모델의 복잡성 증가와 '블랙 박스'로 인식된 머신러닝 모델의 해석 문제에 주목하였다. 이를 해결하기 위해, AutoML 기술을 사용하여 효율적으로 최적의 모델을 탐색하고, XAI 기법을 도입하여 모델의 예측 과정에 대한 투명성을 확보하려 하였다. XAI 기법을 도입한 방식은 전통적인 방법에 비해 뛰어난 해석력을 제공하며, 사용자가 머신러닝 모델의 예측 근거와 그 타당성을 명확히 이해할 수 있음을 확인하였다.

Research on Personalized Course Recommendation Algorithm Based on Att-CIN-DNN under Online Education Cloud Platform

  • Xiaoqiang Liu;Feng Hou
    • Journal of Information Processing Systems
    • /
    • v.20 no.3
    • /
    • pp.360-374
    • /
    • 2024
  • A personalized course recommendation algorithm based on deep learning in an online education cloud platform is proposed to address the challenges associated with effective information extraction and insufficient feature extraction. First, the user potential preferences are obtained through the course summary, course review information, user course history, and other data. Second, by embedding, the word vector is turned into a low-dimensional and dense real-valued vector, which is then fed into the compressed interaction network-deep neural network model. Finally, considering that learners and different interactive courses play different roles in the final recommendation and prediction results, an attention mechanism is introduced. The accuracy, recall rate, and F1 value of the proposed method are 0.851, 0.856, and 0.853, respectively, when the length of the recommendation list K is 35. Consequently, the proposed strategy outperforms the comparison model in terms of recommending customized course resources.

Development of Intelligent OCR Technology to Utilize Document Image Data (문서 이미지 데이터 활용을 위한 지능형 OCR 기술 개발)

  • Kim, Sangjun;Yu, Donghui;Hwang, Soyoung;Kim, Minho
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2022.05a
    • /
    • pp.212-215
    • /
    • 2022
  • In the era of so-called digital transformation today, the need for the construction and utilization of big data in various fields has increased. Today, a lot of data is produced and stored in a digital device and media-friendly manner, but the production and storage of data for a long time in the past has been dominated by print books. Therefore, the need for Optical Character Recognition (OCR) technology to utilize the vast amount of print books accumulated for a long time as big data was also required in line with the need for big data. In this study, a system for digitizing the structure and content of a document object inside a scanned book image is proposed. The proposal system largely consists of the following three steps. 1) Recognition of area information by document objects (table, equation, picture, text body) in scanned book image. 2) OCR processing for each area of the text body-table-formula module according to recognized document object areas. 3) The processed document informations gather up and returned to the JSON format. The model proposed in this study uses an open-source project that additional learning and improvement. Intelligent OCR proposed as a system in this study showed commercial OCR software-level performance in processing four types of document objects(table, equation, image, text body).

  • PDF

Effects of Hypervisor on Distributed Big Data Processing in Virtualizated Cluster Environment (가상화 클러스터 환경에서 빅 데이터 분산 처리 성능에 하이퍼바이저가 미치는 영향)

  • Chung, Haejin;Nah, Yunmook
    • KIISE Transactions on Computing Practices
    • /
    • v.22 no.2
    • /
    • pp.89-94
    • /
    • 2016
  • Recently, cluster computing environments have been in a process of change toward virtualized cluster environments. The change of the cluster environment has great impact on the performance of large volume distributed processing. Therefore, many domestic and international IT companies have invested heavily in research on cluster environments. In this paper, we show how the hypervisor affects the performance of distributed processing of a large volume of data. We present a performance comparison of MapReduce processing in two virtualized cluster environments, one built using the Xen hypervisor and the other built using the container-based Docker. Our results show that Docker is faster than Xen.