• 제목/요약/키워드: Distributed Data Analysis

검색결과 2,340건 처리시간 0.027초

자료별 분류분석(DDA)에 의한 특징추출 (Datawise Discriminant Analysis For Feature Extraction)

  • 박명수;최진영
    • 한국지능시스템학회논문지
    • /
    • 제19권1호
    • /
    • pp.90-95
    • /
    • 2009
  • 본 논문은 선형차원감소(Linear Dimensionality Reduction)을 위해 널리 이용되고 있는 특징추출 알고리듬인 선형판별분석(Linear Discriminant Analysis)의 문제점을 해결할 수 있는 새로운 특징추출 알고리듬을 제안한다. 선형판별분석에 포함되는 평균-자료 간 거리 및 평균-평균 간의 거리에 기반한 분산행렬은 역행렬 연산, 계수의 제한 등으로 인하여 계산상의 문제와 추출되는 특징의 수가 제한되는 한계를 가지고 있다. 또한 자료의 집단이 단일 모드의 정규 분포로부터 얻어진 것으로 가정되며 그렇지 않은 경우에 대해서는 적절한 결과를 얻을 수 없다. 본 논문에서는 자료-자료 간의 거리에 기반하고 적절하게 가중치가 추가된 새로운 행렬을 정의하였으며. 이에 기반하여 특징을 추출하는 방법을 제안하였다. 그럼으로써 앞서 선형판별분석의 여러 문제를 해결하고자 시도하였다. 제안된 방법의 성능을 실험을 통해 확인하였다.

공간 통계 데이터의 시각화 기술 및 시스템 개발 (Visualization Technique of Spatial Statistical Data and System Implementation)

  • 백룡;홍광수;양승훈;김병규
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권12호
    • /
    • pp.849-854
    • /
    • 2013
  • 본 논문에서는 공간 데이터를 기반으로 한 도시의 다양한 통계 정보를 제안된 알고리즘을 통해서 시각화하고 시각화된 데이터를 지도와 사상(Mapping)하여 분석할 수 있게 할 뿐만 아니라 공간적 정보를 기반으로 의사 결정을 하는 경우 활용할 수 있는 문서를 사용자의 간단한 조작으로 프로그래밍 방식에 의해 작성해주는 시스템을 제안한다. 제안된 기법은 2차원 지도 데이터에서 특징데이터 값에 대해 색을 이용하여 표현하는 기법인 히트 맵 분석 (Heat Map Analysis)기법과 공간적 근접성을 정의할 때 이용되는 버퍼링 분석 (Buffering Analysis) 기법을 활용한다. 본 시스템을 통해서 공간적 정보를 시각화를 한다면 지역의 분포된 다양한 공간적 정보를 쉽게 파악할 수 있을 것이다. 또한 분석된 정보를 기반으로 제공되고 있는 문서 자동생성기능을 활용한다면 표현된 공간적 정보의 문서화에 필요한 많은 시간과 비용을 절감할 수 있을 것으로 기대된다.

RHadoop 기반 보건의료 빅데이터 분석의 성능 평가 (Performance Evaluation of Medical Big Data Analysis based on RHadoop)

  • 류우석
    • 한국전자통신학회논문지
    • /
    • 제13권1호
    • /
    • pp.207-212
    • /
    • 2018
  • 빅데이터 시대에 각광받고 있는 데이터 분석 도구인 R은 강력한 통계 분석 기능과 데이터 가시화 기능을 제공함으로 인해 그 사용자를 급속히 넓혀 가고 있다. 오픈소스 기반으로서의 다양한 기능 확장성이 R의 강점인데 반해 규모 확장성이 미흡함으로 인해 대용량 데이터 처리에서의 성능 제약이 발생한다. 이를 보완하기 위한 확장 패키지 중 하나인 RHadoop은 R로 작성된 코드에 대해 하둡 플랫폼 기반 병렬 분산 처리를 지원하므로 데이터 분석 성능을 높일 수 있다. 본 논문에서는 인터넷을 통해 공개되는 실제 보건의료 빅데이터를 이용한 데이터 분석에서 RHadoop을 활용할 때 얻을 수 있는 성능 개선을 평가함으로써 RHadoop의 유효성을 검증한다. 본 연구를 통해 R과 RHadoop에서 국민건강보험 진료내역정보를 각각 분석한 결과 8개의 데이터 노드로 구성된 RHadoop 클러스터가 R과 비교하여 최대 8배 이상 성능을 개선시킬 수 있음을 입증하였다.

GDPR 준수 가능한 블록체인 기반 접근제어 시스템 (GDPR Compliant Blockchain Based Access Control(GCBAC))

  • 임준호;천지영;노건태;정익래
    • 정보보호학회논문지
    • /
    • 제30권6호
    • /
    • pp.981-997
    • /
    • 2020
  • 블록체인 기술은 탈중앙화된(decentralized) 분산원장(distributed ledger)과 합의 기반 구조를 바탕으로 높은 보안 수준을 제공할 수 있다는 장점이 있다. 이와 같은 블록체인 기술의 활용도 증진을 위해서는 헬스 케어, 전자상거래 등 개인정보 처리가 필요한 분야에서의 활용 방안 모색이 필요하다. 이를 위해서는, 블록체인 기반 시스템에서도 유럽 연합(EU) 개인정보보호 규정(GDPR, General Data Protection Regulation)으로 대표되는 개인정보보호 관련 법규 및 규정을 준수할 수 있어야 한다. 그러나, 블록체인의 자체 특성상 기록된 자료에 대한 불변성과 탈중앙성 때문에 기존 개인정보보호 규정의 요구사항을 블록체인상에서 기술적으로 구현함에 어려움이 있다. 본 논문에서 우리는 카멜레온 해시(chameleon hash)와 속성 기반 암호화(Attribute Based Encryption, 이하 ABE)를 활용하여 GDPR에서 요구하는 개인정보 주체의 권리를 보장 가능한 다중 체인(multi-chain)기반 접근제어 시스템을 제시한다. 끝으로 우리의 시스템에서는 기밀성과 무결성을 유지한 가운데, 개인정보 처리가 가능함을 보안 분석을 통해 보인다.

다수모델을 이용한 객체지향적 분산처리 시스템의 디자인 방법 (Integrated Modeling of Distributed Object-Oriented Systems)

  • 이상범
    • 한국정보처리학회논문지
    • /
    • 제3권5호
    • /
    • pp.1103-1111
    • /
    • 1996
  • 하드웨어와 통신 기술의 발달로 가능하게 된 분산처리 시스템은 수행 방식이 비결 정적이고 복잡하기 때문에 소프테웨어의 디자인이 비분산처리 시스템에 비해 복잡하고 또한 까다롭다. 따라서 하드웨어에 비해 상대적으로 뒤져있는 분산처리 시스템 소프 트웨어 개발을 위한 디자인 방법에 관한 연구에 대한 필요성이 높아지고 있다. 한편 객체향 시스템과 분산처리 시스템은 상호 유사한 점이 있어, 분산처리 시스템 개발에 객체지향 기술의 적용은 자연스럽게 이루어질 수가 있다. 본고에서는 분산에서는 분산처리 시스템 설계를 위한 객체지향 기술의 적용에 대하여 소개하고 있다. 제안된 설계방법은 다양한 그래픽 모델, 즉, 자료구조도, 상태전이도 그리고 패트리 네트의 정보를 조합하여 객체와 행위 그리고 이들 간의 관계에 대한 정보를 추출하여 분산 처리 시스템에 적합한 명세서를 산출하고자 한다. 지식베이스를 정보저장소로 이용 하여정보의 저장, 검색 뿐만 아니라, 정보의 오류 연구를 검증할 수가 있다. 본 방법의 최종 결과인 객체모델은 디자인 명세서로서 분산처리프로그램 개발에 사용된다.

  • PDF

유 헬스케어에서 생체신호관리를 위한 분산형 게이트웨이에 관한 연구 (A Study on Distributed Gateway for The Bio-signal Management in U-Healthcare)

  • 이석희;우성희;류근택
    • 전자공학회논문지 IE
    • /
    • 제49권2호
    • /
    • pp.58-64
    • /
    • 2012
  • 본 논문에서는 유비쿼터스 헬스케어를 위한 분산형 게이트웨이 시스템을 제안 및 설계하였다. 게이트웨이를 이용하여 생체신호를 지그비 모듈에서 게이트웨이로 이 게이트웨이에서 데이터베이스 간의 원활한 정보 교환을 위한 프로토콜 변환 알고리즘을 설계 및 구현하였다. 분산형 게이트웨이 시스템은 생체 신호 획득센서, 지그비 모듈, 분산형 게이트웨이 그리고 데이터베이스로 구성되며 생체센서에 감지되면 지그비 모듈을 통해 게이트웨이로 전송된다. 분산형 게이트웨이에서는 전송받는 데이터를 분석하여, 환자를 모니터링하게 된다. 본 연구에서 제안한 방법의 타당성을 검토하고자 센서 네트워크, 분산형 게이트웨이 그리고 데이터베이스를 구현하여 시뮬레이션을 통하여 검증하였으며 기존의 방법에 비하여 우수한 성능을 보였다. 제안한 방법의 시스템은 향 후 독거노인 활동량 분석, 방범 시스템, 홈 네트워크 서비스 등. 다양한 분야에서 활용 가능하다.

비용절감 측면에서 클라우드, 빅데이터 서비스를 위한 대용량 데이터 처리 아키텍쳐 (Data Processing Architecture for Cloud and Big Data Services in Terms of Cost Saving)

  • 이병엽;박재열;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제15권5호
    • /
    • pp.570-581
    • /
    • 2015
  • 최근 많은 기관들로부터 클라우드 서비스, 빅 데이터가 향후 대세적인 IT 트렌드 및 확고한 기술로서 예견되고 있다. 또한 현재 IT를 선도하는 많은 벤더를 중심으로 클라우드, 빅데이터에 대한 실질적인 솔루션과 서비스를 제공하고 있다. 이러한 기술들은 기업의 비용절감 측면에서, 클라우드는 인터넷 기반의 다양한 기술들을 기반으로 비즈니스 모델에 대한 자원의 사용을 자유스럽게 선택할 수 있는 장점을 가지고 있어 능동적인 자원 확장을 위한 프로비져닝 기술과 가상화 기술들이 주요한 기술로 주목 받고 있다. 또한 빅데이터는 그동안 분석하지 못했던 새로운 비정형 데이터들에 대한 분석 환경을 제공함으로서 데이터 예측모델의 차원을 한층 높이고 있다. 하지만 클라우드 서비스, 빅데이터의 공통점은 대용량 데이터를 기반으로 서비스 또는 분석을 요하고 있어, 초기 발전 모델부터 대용량 데이터의 효율적인 운영 및 설계가 중요하게 대두 되고 있다. 따라서 본 논문에 클라우드, 빅데이터 서비스를 위한 대용량 데이터 기술 요건들을 토대로 데이터 처리 아키텍처를 정립하고자 한다. 특히, 클라우드 컴퓨팅을 위해 분산 파일 시스템이 갖추어야 할 사항들과 클라우드 컴퓨팅에서 활용 가능한 오픈소스 기반의 하둡 분산 파일 시스템, 메모리 데이터베이스 기술요건을 소개하고, 빅데이터, 클라우드의 대용량 데이터를 비용절감 측면에서 효율적인 압축기술 요건들을 제시한다.

Improvement of Variable Renewable Energy Penetration of Stand-Alone Microgrid Hosting Capacity by Using Energy-Storage-System Based on Power Sensitivity

  • CHOI, DongHee
    • 한국정보기술학회 영문논문지
    • /
    • 제10권2호
    • /
    • pp.91-101
    • /
    • 2020
  • Recently, the demand for high penetration of variable renewable energy (VRE) penetration in a power system is increased. In consequence, distribution systems including microgrids confront the increased installation of VRE-based distributed generation. Despite of the high demand of VRE-based distributed generation in a distribution system, the installation of photovoltaic (PV) system in a distribution system has been restricted by various problems. In other words, the hosting capacity for high VRE penetration in a distribution system is limited. This paper analyzes the improvements of hosting capacity VRE penetration of stand-alone microgrid (SAMG) with energy storage system (ESS) by considering virtual-slack (VS) control based on power sensitivity. With the pre-defined power sensitivity, the ESS operates as virtual slack in the SAMG by controlling its bus voltage and phase angle indirectly. Therefore, the ESS enables the increase of VRE penetration in the SAMG. The proposed VS control is realized by analyzing the ESS as a virtual slack in power flow analysis based on power sensitivity. Then its validity is demonstrated with the case study on the SAMG in South Korea with practical data.

아파치 엘라스틱서치 기반 로그스태시를 이용한 보안로그 분석시스템 (A Security Log Analysis System using Logstash based on Apache Elasticsearch)

  • 이봉환;양동민
    • 한국정보통신학회논문지
    • /
    • 제22권2호
    • /
    • pp.382-389
    • /
    • 2018
  • 최근 사이버 공격은 다양한 정보시스템에 심각한 피해를 주고 있다. 로그 데이터 분석은 이러한 문제를 해결하는 하나의 방법이다. 보안 로그 분석시스템은 로그 데이터 정보를 수집, 저장, 분석하여 보안 위험에 적절히 대처할 수 있게 한다. 본 논문에서는 보안 로그 분석을 위하여 분산 검색 엔진으로 사용되고 있는 Elasticsearch와 다양한 종류의 로그 데이터를 수집하고 가공 및 처리할 수 있게 하는 Logstash를 사용하여 보안 로그 분석시스템을 설계하고 구현하였다. 분석한 로그 데이터는 Kibana를 이용하여 로그 통계 및 검색 리포트를 생성하고 그 결과를 시각화할 수 있게 하였다. 구현한 검색엔진 기반 보안 로그 분석시스템과 기존의 Flume 로그 수집기, Flume HDFS 싱크 및 HBase를 사용하여 구현한 보안 로그 분석시스템의 성능을 비교 분석하였다. 실험 결과 Elasticsearch 기반의 로그 분석시스템을 사용할 경우 하둡 기반의 로그 분석시스템에 비하여 데이터베이스 쿼리 처리시간 및 로그 데이터 분석 시간을 현저하게 줄일 수 있음을 보였다.

A Prototype of Distributed Simulation for Facility Restoration Operation Analysis through Incorporation of Immediate Damage Assessment

  • Hwang, Sungjoo;Choi, MinJi;Starbuck, Richmond;Lee, SangHyun;Park, Moonseo
    • 국제학술발표논문집
    • /
    • The 6th International Conference on Construction Engineering and Project Management
    • /
    • pp.339-343
    • /
    • 2015
  • To rapidly recover ceased functionality of a facility after a catastrophic seismic event, critical decisions on facility repair works are made within a limited period of time. However, prolonged damage assessment of facilities, due to massive damage in the surrounding region and the complicated damage judgment procedures, may impede restoration planning. To assist reliable structural damage estimation without a deep knowledge and rapid interactive analysis among facility damage and restoration operations during the approximate restoration project planning phase, we developed a prototype of distributed facility restoration simulations through the use of high-level architecture (HLA) (IEEE 1516). The simulation prototype, in which three different simulations (including a seismic data retrieval technique, a structural response simulator, and a restoration simulation module) interact with each other, enables immediate damage estimation by promptly detecting earthquake intensity and the restoration operation analysis according to estimated damage. By conducting case simulations and experiments, research outcomes provide key insights into post-disaster restoration planning, including the extent to which facility damage varies according to disaster severity, facility location, and structures. Additional insights arise regarding the extent to which different facility damage patterns impact a project's performance, especially when facility damage is hard to estimate by observation. In particular, an understanding of required type and amount of repair activities (e.g., demolition works, structural reinforcement, frame installation, or finishing works) is expected to support project managers in approximate work scheduling or resource procurement plans.

  • PDF