• Title/Summary/Keyword: Big Data Processing Technology

Search Result 388, Processing Time 0.031 seconds

A Hybrid Mechanism of Particle Swarm Optimization and Differential Evolution Algorithms based on Spark

  • Fan, Debin;Lee, Jaewan
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권12호
    • /
    • pp.5972-5989
    • /
    • 2019
  • With the onset of the big data age, data is growing exponentially, and the issue of how to optimize large-scale data processing is especially significant. Large-scale global optimization (LSGO) is a research topic with great interest in academia and industry. Spark is a popular cloud computing framework that can cluster large-scale data, and it can effectively support the functions of iterative calculation through resilient distributed datasets (RDD). In this paper, we propose a hybrid mechanism of particle swarm optimization (PSO) and differential evolution (DE) algorithms based on Spark (SparkPSODE). The SparkPSODE algorithm is a parallel algorithm, in which the RDD and island models are employed. The island model is used to divide the global population into several subpopulations, which are applied to reduce the computational time by corresponding to RDD's partitions. To preserve population diversity and avoid premature convergence, the evolutionary strategy of DE is integrated into SparkPSODE. Finally, SparkPSODE is conducted on a set of benchmark problems on LSGO and show that, in comparison with several algorithms, the proposed SparkPSODE algorithm obtains better optimization performance through experimental results.

국방 빅데이터/인공지능 활성화를 위한 다중메타데이터 저장소 관리시스템(MRMM) 기술 연구 (A Research in Applying Big Data and Artificial Intelligence on Defense Metadata using Multi Repository Meta-Data Management (MRMM))

  • 신우택;이진희;김정우;신동선;이영상;황승호
    • 인터넷정보학회논문지
    • /
    • 제21권1호
    • /
    • pp.169-178
    • /
    • 2020
  • 국방부는 감소되는 부대 및 병력자원의 문제해결과 전투력 향상을 위해 4차 산업혁명 기술(빅데이터, AI)의 적극적인 도입을 추진하고 있다. 국방 정보시스템은 업무 영역 및 각군의 특수성에 맞춰 다양하게 개발되어 왔으며, 4차 산업혁명 기술을 적극 활용하기 위해서는 현재 폐쇄적으로 운용하고 있는 국방 데이터 관리체계의 개선이 필요하다. 그러나, 국방 빅데이터 및 인공지능 도입을 위해 전 정보시스템에 데이터 표준을 제정하여 활용하는 것은 보안문제, 각군 업무특성 및 대규모 체계의 표준화 어려움 등으로 제한사항이 있고, 현 국방 데이터 공유체계 제도적으로도 각 체계 상호간 연동 소요를 기반으로 체계간 연동합의를 통해 직접 연동을 통하여 데이터를 제한적으로 공유하고 있는 실정이다. 4차 산업혁명 기술을 적용한 스마트 국방을 구현하기 위해서는 국방 데이터를 공유하여 잘 활용할 수 있는 제도마련이 시급하고, 이를 기술적으로 뒷받침하기 위해 국방상호운용성 관리지침 규정에 따라 도메인 및 코드사전을 생성된 국방 전사 표준과 각 체계별 표준 매핑을 관리하고 표준간 연계를 통하여 데이터 상호 운용성 증진을 지원하는 국방 데이터의 체계적인 표준 관리를 지원하는 다중 데이터 저장소 관리(MRMM) 기술개발이 필요하다. 본 연구에서는 스마트 국방 구현을 위해 가장 기본이 되는 국방 데이터의 도메인 및 코드사전을 생성된 국방 전사 표준과 각 체계별 표준 매핑을 관리하고, 표준간 연계를 통하여 데이터 상호 운용성 증진을 지원하는 다중 데이터 저장소 관리 (MRMM) 기술을 제시하고, 단어의 유사도를 통해 MRMM의 실현 방향성을 구현하였다. MRMM을 바탕으로 전군 DB의 표준화 통합을 좀 더 간편하게 하여 실효성 있는 국방 빅데이터 및 인공지능 데이터 구현환경을 제공하여, 스마트 국방 구현을 위한 막대한 국방예산 절감과 전투력 향상을 위한 전력화 소요기간의 감소를 기대할 수 있다.

Rete 알고리즘의 병렬 및 분산 처리에 관한 기존 연구 분석 (An Analysis of Existing Studies on Parallel and Distributed Processing of the Rete Algorithm)

  • 김재훈
    • 한국정보기술학회논문지
    • /
    • 제17권7호
    • /
    • pp.31-45
    • /
    • 2019
  • 현재 지능적 서비스의 핵심 기술은 딥러닝 즉 신경망, 그리고 GPU 병렬 컴퓨팅 및 빅 데이터와 같은 병렬 분산 처리 기술이다. 하지만 미래의 전 세계적으로 공유된 온톨로지를 통한 지능적 서비스 및 지식 공유 서비스에서는 지식의 표현 및 추론을 위하여 신경망보다 더 나은 방법이 있다. 그것은 시맨틱 웹의 표준 규칙 언어인 RIF 혹은 SWRL의 IF-THEN의 지식 표현이며, 이러한 규칙을 rete 알고리즘을 이용하여 효율적으로 추론할 수 있다. 하지만 단일 컴퓨터에서 동작하는 rete 알고리즘의 처리 규칙 수가 100,000개가 될 경우 그 성능이 수 십 분으로 매우 안 좋아지며, 분명한 한계가 존재한다. 따라서 본 논문에서는 rete 알고리즘의 병렬 및 분산 처리에 대한 과거로부터 현재까지의 연구 내용을 정리 분석하며, 이를 통해 효율적인 rete 알고리즘의 구현을 위해 어떤 측면들이 고려되어야 하는지를 살펴본다.

A Hybrid Multi-Level Feature Selection Framework for prediction of Chronic Disease

  • G.S. Raghavendra;Shanthi Mahesh;M.V.P. Chandrasekhara Rao
    • International Journal of Computer Science & Network Security
    • /
    • 제23권12호
    • /
    • pp.101-106
    • /
    • 2023
  • Chronic illnesses are among the most common serious problems affecting human health. Early diagnosis of chronic diseases can assist to avoid or mitigate their consequences, potentially decreasing mortality rates. Using machine learning algorithms to identify risk factors is an exciting strategy. The issue with existing feature selection approaches is that each method provides a distinct set of properties that affect model correctness, and present methods cannot perform well on huge multidimensional datasets. We would like to introduce a novel model that contains a feature selection approach that selects optimal characteristics from big multidimensional data sets to provide reliable predictions of chronic illnesses without sacrificing data uniqueness.[1] To ensure the success of our proposed model, we employed balanced classes by employing hybrid balanced class sampling methods on the original dataset, as well as methods for data pre-processing and data transformation, to provide credible data for the training model. We ran and assessed our model on datasets with binary and multivalued classifications. We have used multiple datasets (Parkinson, arrythmia, breast cancer, kidney, diabetes). Suitable features are selected by using the Hybrid feature model consists of Lassocv, decision tree, random forest, gradient boosting,Adaboost, stochastic gradient descent and done voting of attributes which are common output from these methods.Accuracy of original dataset before applying framework is recorded and evaluated against reduced data set of attributes accuracy. The results are shown separately to provide comparisons. Based on the result analysis, we can conclude that our proposed model produced the highest accuracy on multi valued class datasets than on binary class attributes.[1]

제4차 산업시대의 개인정보 관리수준 진단지표체계 개선방안: 특정 IT기술연계 개인정보보호기준 적용을 중심으로 (The Improvement Plan for Indicator System of Personal Information Management Level Diagnosis in the Era of the 4th Industrial Revolution: Focusing on Application of Personal Information Protection Standards linked to specific IT technologies)

  • 신영진
    • 융합정보논문지
    • /
    • 제11권12호
    • /
    • pp.1-13
    • /
    • 2021
  • 개인정보보호위원회에서 공공기관을 대상으로 시행하고 있는 개인정보 관리수준 진단제도의 지표체계는 「개인정보 보호법」의 법적 준수사항을 점검하지만, 새로운 IT기술의 도입에 따르는 개인정보보호사항을 기준으로 적용하는 데 한계가 있었다. 따라서, 본 연구에서는 제4차 산업혁명의 핵심기술인 빅데이터, 클라우드, 사물인터넷, 인공지능을 특정IT기술의 도입에 따라, 개인정보보호가 강화될 수 있도록 별도의 지표체계가 운영될 수 있도록 지표체계의 개선방안을 제안하고자 한다. 이를 위해서 선정한 특정IT기술의 개인정보보호사항에 관한 국내외 문헌조사를 통해 지표체계의 구성요소를 도출하고, 공공기관의 개인정보 보호담당자 대상으로 한 설문조사 및 개인정보보호 전문가대상으로 FGI/Delphi분석을 통해 진단지표로 선정하였다. 이렇게 선정한 지표체계는 먼저, 모든 특정IT기술의 기획 및 설계단계에서부터 개인정보보호원칙(PbD)과 가명정보처리 및 비식별 조치에 관한 기준의 적용여부를 점검하는 공통지표를 선정하였다. 이외에 빅데이터에 관한 2개 점검항목, 클라우드에 관한 개인정보 처리방침 게재 사항 등 5개 점검항목, 사물인터넷관련 원칙적용, 로그기록 관리 등 5개 점검항목, 인공지능에 관한 원칙 적용 등 4개 점검항목을 선정하였다. 이처럼 본 연구는 개인정보 관리수준 진단제도의 발전을 위해 새로운 IT기술변화에 대응할 수 있도록 개인정보보호의 신속한 대응을 유도하는 진단제도가 되도록 제언하고자 하였다.

빅데이터 지식처리 인공지능 기술동향 (Technology Trends of AI for Big Data Knowledge Processing)

  • 이형직;류법모;임수종;장명길;김현기
    • 전자통신동향분석
    • /
    • 제29권4호
    • /
    • pp.30-38
    • /
    • 2014
  • 최근의 플랫폼 기술동향은 웹 기반 혹은 단순 의사소통이 가능한 모바일 플랫폼에서 빅데이터와 인공지능기술이 접목되면서 심층 질의응답이 가능한 차세대 지능형 지식처리 플랫폼으로의 진화가 진행 중이다. 선진국에서는 국가 차원 혹은 글로벌 기업의 주도하에 대형 장기 프로젝트가 진행 중이다. 국가 주도의 프로젝트로는 미국의 PAL, 유럽의 Human Brain, 일본의 Todai 프로젝트가 대표적인 예이며, 글로벌 기업의 경우는 IBM의 Watson, Google의 Knowledge Graph, Apple의 Sir가 대표적인 예이다. 본고에서는 차세대 지능형 플랫폼의 핵심기술인 인간과 기계의 지식소통을 위한 빅데이터 기반의 지식처리 인공지능 소프트웨어 기술의 개념과 국내외 기술 및 산업, 지식재산권 동향 등을 살펴보고 산업계 활용방안 및 발전방향에 대해 논하고자 한다.

  • PDF

산업용 모바일 융합단말 플랫폼 구조 설계 (Architecture Design of Smart Mobile Platform for Industry)

  • 박종원
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2011년도 추계학술대회
    • /
    • pp.765-768
    • /
    • 2011
  • 현재 스마트 모바일 기기들이 출시되어 융합성, 이동성, 편의성이 사용자들로부터 큰 호응을 받고 있다. 한편, 산업계에서도 처리하여야 할 정보가 점차 많아짐에 따라 복잡한 정보를 처리할 수 있는 모바일 기기가 요구되고 있다. 이에 본 논문에서는 이러한 요구사항들을 반영한 산업용 스마트 모바일 패드의 구조를 설계하고, 그 응용분야들에 대해 고찰해 본다.

  • PDF

스마트 IT 융합 플랫폼을 위한 지능형 센서 기술 동향 (Intelligent Sensor Technology Trend for Smart IT Convergence Platform)

  • 김혜진;진한빛;염우섭;김이경;박강호
    • 전자통신동향분석
    • /
    • 제34권5호
    • /
    • pp.14-25
    • /
    • 2019
  • As the Internet of Things, artificial intelligence and big data have received a lot of attention as key growth engines in the era of the fourth industrial revolution, data acquisition and utilization in mobile, automotive, robotics, manufacturing, agriculture, health care and national defense are becoming more important. Due to numerous data-based industrial changes, demand for sensor technologies is exploding, especially for intelligent sensor technologies that combine control, judgement, storage and communication functions with the sensors's own functions. Intelligent sensor technology can be defined as a convergence component technology that combines intelligent sensor units, intelligent algorithms, modules with signal processing circuits, and integrated plaform technologies. Intelligent sensor technology, which can be applied to variety of smart IT convergence services such as smart devices, smart homes, smart cars, smart factory, smart cities, and others, is evolving towards intelligent and convergence technologies that produce new high-value information through recognition, reasoning, and judgement based on artificial intelligence. As a result, development of intelligent sensor units is accelerating with strategies for miniaturization, low-power consumption and convergence, new form factor such as flexible and stretchable form, and integration of high-resolution sensor arrays. In the future, these intelligent sensor technologies will lead explosive sensor industries in the era of data-based artificial intelligence and will greatly contribute to enhancing nation's competitiveness in the global sensor market. In this report, we analyze and summarize the recent trends in intelligent sensor technologies, especially those for four core technologies.

Development of an intelligent skin condition diagnosis information system based on social media

  • Kim, Hyung-Hoon;Ohk, Seung-Ho
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권8호
    • /
    • pp.241-251
    • /
    • 2022
  • 화장품 및 뷰티산업에서 고객의 피부상태 진단과 관리는 중요한 필수기능이다. 소셜미디어 환경이 사회 전 분야에 확산되고 일반화되면서 피부 상태의 진단과 관리에 대한 다양하고 섬세한 고민과 요구 사항의 질문과 답변의 상호작용이 소셜미디어 커뮤니티에서 활발하게 다루어지고 있다. 그러나 소셜미디어 정보는 매우 다양하고 비정형적인 방대한 빅데이터이므로 적절한 피부상태 정보분석과 인공지능 기술을 접목한 지능화된 피부상태 진단 시스템이 필요하다. 본 논문에서는 소셜미디어의 텍스트 분석정보를 학습데이터로 가공하여 고객의 피부상태를 지능적으로 진단 및 관리하기 위한 피부상태진단시스템 SCDIS를 개발하였다. SCDIS에서는 딥러닝 기계학습 방법인 인공신경망 기술을 사용하여 자동적으로 피부상태 유형을 진단하는 인공신경망 모델 AnnTFIDF을 빌드업하여 사용하였다. 인공신경망 모델 AnnTFIDF의 성능은 테스트샘플 데이터를 사용하여 분석되었으며, 피부상태 유형 진단 예측 값의 정확성은 약 95%의 높은 성능을 나타내었다. 본 논문의 실험 및 성능분석결과를 통하여 SCDIS는 화장품 및 뷰티산업 분야의 피부상태 분석 및 진단 관리 과정에서 효율적으로 사용 가능한 지능화된 도구로 평가할 수 있다. 본 논문에서 제안된 시스템은 소셜미디어 기반의 새로운 환경에서 화장품 및 피부미용에 대한 사용자의 요구를 체계적으로 파악하고 진단하는 기초 기술로 사용 가능할 것이다. 그리고 이 연구는 새로운 기술 트렌드인 맞춤형 화장품제조와 소비자중심의 뷰티산업기술 수요를 해결하기 위한 기초 연구로 사용될 수 있을 것이다.

Underwater Acoustic Research Trends with Machine Learning: General Background

  • Yang, Haesang;Lee, Keunhwa;Choo, Youngmin;Kim, Kookhyun
    • 한국해양공학회지
    • /
    • 제34권2호
    • /
    • pp.147-154
    • /
    • 2020
  • Underwater acoustics that is the study of the phenomenon of underwater wave propagation and its interaction with boundaries, has mainly been applied to the fields of underwater communication, target detection, marine resources, marine environment, and underwater sound sources. Based on the scientific and engineering understanding of acoustic signals/data, recent studies combining traditional and data-driven machine learning methods have shown continuous progress. Machine learning, represented by deep learning, has shown unprecedented success in a variety of fields, owing to big data, graphical processor unit computing, and advances in algorithms. Although machine learning has not yet been implemented in every single field of underwater acoustics, it will be used more actively in the future in line with the ongoing development and overwhelming achievements of this method. To understand the research trends of machine learning applications in underwater acoustics, the general theoretical background of several related machine learning techniques is introduced in this paper.