• Title/Summary/Keyword: 분산 데이터 분석

Search Result 1,177, Processing Time 0.031 seconds

A Study on PV Inverter data processing (태양광 인버터 데이터 처리에 관한 연구)

  • Hong, Sung-woong;Kim, Phyoung-Jung;Kim, Byeongkwan
    • Annual Conference of KIPS
    • /
    • 2013.05a
    • /
    • pp.769-772
    • /
    • 2013
  • 최근 미국의 enphase사의 상용화를 시작으로 국내에서도 태양광 마이크로 인버터의 개발이 활성화 되고 있다. 이러한 동향은 전기를 분산발전함으로써 고장진단 및 발전성능향상에 크게 기여 할 수 있을 것으로 기대된다. 인버터 용량을 줄여 전력생산을 분산 처리하는 것은 음영으로 인한 발전량 감소, 발전량의 향상을 가져올 수는 있지만 분산 된 처리만큼 데이터의 처리 양을 급격히 증가시킬 수 있다. 본 연구에서는 인버터 제조사 별로 대용량 인버터와 마이크로 인버터사이의 통신프로토콜을 분석하여 패킷의 수를 측정하고 이에 따른 데이터에 대한 상관관계를 분석하였다.

A Hot-Data Replication Scheme Based on Data Access Patterns for Enhancing Processing Speed of MapReduce (맵리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법)

  • Son, Ingook;Ryu, Eunkyung;Park, Junho;Bok, Kyoungsoo;Yoo, Jaesoo
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2013.05a
    • /
    • pp.11-12
    • /
    • 2013
  • 최근 대규모 데이터의 처리와 관리를 위한 분산 저장 및 처리 시스템의 연구 및 활용이 중요해지고 있다. 대표적인 분산 저장 및 처리시스템으로써 하둡(Hadoop)이 널리 활용되고 있다. 하둡 분산 파일 시스템을 기반으로 수행되는 맵-리듀스에서 테스크 할당은 데이터의 로컬리티를 고려하여 최대한 가깝게 할당한다. 하지만 맵-리듀스에서의 데이터 분석 작업에서 작업 형태에 따라 빈번하게 요청되는 데이터가 존재한다. 이러한 경우, 해당 데이터의 낮은 로컬리티로 인해 수행시간 증가 및 데이터 전송의 지연의 문제점을 야기 시킨다. 본 논문에서는 맵-리듀스의 처리 속도 향상을 위한 데이터 접근 패턴에 따른 핫-데이터 복제 기법을 제안한다. 제안하는 기법에서는 데이터 접근 패턴에 따라 높은 접근 빈도를 보이는 핫-데이터에 대한 복제본 최적화 알고리즘을 활용하여 데이터 로컬리티를 향상시키고 결과적으로 작업 수행시간을 감소시킨다. 제안하는 기법은 기존 기법에 비해 모든 노드의 데이터 이동이 감소하여 접근빈도의 분포가 균형적인 것을 확인하였다. 성능평가 결과, 기존 기법에 비해 접근 빈도의 부하가 약 8% 감소하는 것을 확인하였다.

  • PDF

Big Data 분석을 위한 Machine Learning

  • Lee, Jae-Gu;Lee, Tae-Hun;Yun, Seong-Ro
    • Information and Communications Magazine
    • /
    • v.31 no.11
    • /
    • pp.14-26
    • /
    • 2014
  • 본고는 빅데이터 시대에 새로운 가치를 창출할 수 있는 정보 분석을 위한 기계학습을 설명하고자 한다. 기계학습의 일반적 정의와 특성, 그리고 빅데이터 특성에 의한 기계학습의 변화를 확인하고 특별히 다양한 변화 중에서 분산 및 병렬화를 통한 스케일러블 기계학습을 중점으로 주어진 빅데이터를 효율적으로 분석할 수 있는 다양한 플랫폼들과 프레임워크들을 설명한다. 더불어 실제 다양한 응용 활용을 제공하고 있는 Google API 같은 빅데이터 분석 기계학습 프로젝트들을 통해서 기계학습을 통한 빅데이터 분석에 대한 폭넓은 이해를 전달하고자 한다.

Cost Analysis Model of Data Consistency in Mobile Environment (이동컴퓨팅 환경에서의 데이터 일치성을 위한 비용 분석 모델)

  • 임승범;김재훈
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04a
    • /
    • pp.322-324
    • /
    • 2001
  • 분산 환경에서 여러 호스트들간의 자료를 공유하는 것은 네트워크에 부하를 줄이고 가용도를 높일 수 있지만 복제된 공유 자료들의 일치성을 유지하는 것이 필요하다. 전통적으로 분산된 공유자료의 일치성을 위해서 무효화방식(invalidate protocol), 갱신방식(update protocol) 그리고 이주방식(migratory protocol)등이 사용되었다. 분산 환경뿐만 아니라 이동컴퓨팅 환경에서도 분산된 호스트들간에 공유자료의 일치성을 유지하기 위해서 적절한 프로토콜을 선택하는 것은 중요하다. 본 논문에서는 이동 컴퓨팅 환경에 효과적으로 적용 할 수 있는 공유자료의 일치성 유지하기 위한 프로토콜을 제안하고 성능 분석을 하였다.

View Maintenance of Data Warehouse in Distributed Sources Environment (분산 소스 환경에서 데이터 웨어하우스의 뷰 유지)

  • 이현창
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10a
    • /
    • pp.265-267
    • /
    • 2001
  • 일반적으로 효율적인 질의.검색.분석을 수행하기 위해서 이질적이고 분산된 정보 소스들 부터 통합된 정보를 포함한 데이터 저장고를 데이터 웨어하우스라 일컬으며, 이를 웹기술과 접목한 기술을 웹 웨어하우징이라 한다. 본 연구에서는 웹 웨어하우징 기술의 모토가 될 수 있는 기술로서 분산되어 저장된 다양한 소스 데이터에 대해 실체 뷰로 간과되어지는 데이터 웨어하우스에 관한 유지 방법에 관한 연구이다. 본 연구의 성능 평가를 위해서 기존에 알려진 보상알고리즘, 모든 기본 릴레이션에서 키 애트리뷰트들을 포함해야만 하는 스트로브와 이를 완화시켜서 성능향상을 보이는 스윕 알고리즘들을 각각 특성별로 비교하며, 전송된 바이트 수와 갱신된 회수에 따른 성능 평가 및 갱신 유형에 따른 성능 평가를 수행하여 결과를 보인다.

  • PDF

Metadata Management Techniques in a Large Distributed File System Environment (대규모 분산 파일 시스템 환경의 메타 데이터 관리)

  • Cha, M.H.;Lee, S.M.;Kim, J.;Kim, Y.K.;Kim, M.J.
    • Electronics and Telecommunications Trends
    • /
    • v.22 no.3 s.105
    • /
    • pp.154-165
    • /
    • 2007
  • 메타 데이터와 데이터의 처리 경로를 독립시킨 분산 파일 시스템 구조는 입출력 성능향상 및 확장성 용이라는 측면에서 현재 주도적인 아키텍처로 사용되고 있다. 이러한 환경에서 클라이언트 및 데이터 서버의 수가 계속 확장되어 전체 시스템 규모가 페타(peta) 바이트급 이상 처리가 가능한 대규모로 진화될 경우 필연적으로 메타 데이터 서버에 병목 현상이 발생하게 된다. 본 고에서는 이러한 문제를 처리하기 위한 아키텍처로서 메타 데이터 서버들의 클러스터링을 고려하며, 이를 위해 제안된 다양한 기술들의 동작 원리 및 장단점 등을 분석하고 고찰해 보기로 한다.

Large-Scale Distributed Data Analysis based on Agent Group on the Grid Environment (그리드상에서 에이전트 그룹 기반의 대규모 데이터 분석 환경 개발)

  • Kim, Byungsang;Youn, Chan-Hyun
    • Annual Conference of KIPS
    • /
    • 2009.11a
    • /
    • pp.215-216
    • /
    • 2009
  • 본 논문에서는 그리드 환경에서 대규모의 분산 데이터 분석 환경을 제공하고자 한다. 기존의 접근방식으로서 자원 성능 기반의 사전 예약 기법인 Push 기법과 가용자원이 능동적으로 작업을 가져오는 Pull 방식을 조합하여 분산 효율과 실행 시간을 최소화 하는 기법을 제안하고자 한다.

A Study on the Performance Enhancement of Communication Mechanism for Distributed Intrusion Detection (분산 침입 탐지 통신 메커니즘의 성능 향상에 관한 연구)

  • 장정숙;전용희
    • Proceedings of the Korea Institutes of Information Security and Cryptology Conference
    • /
    • 2002.11a
    • /
    • pp.16-19
    • /
    • 2002
  • 분산 침입 탐지시스템은 감시되는 호스트 수에 비례하여 데이터 분석이 다수의 위치에서 수행되는 시스템이다. 따라서, 침입 탐지를 위하여 구성된 컴포넌트 사이의 효율적인 정보 분배가 중요한 문제이며, 통신 메커니즘은 신뢰성, 효율성, 안전성 그리고 확장성이 요구된다. 분산 침입 탐지 시스템의 통신 형태를 나타내는 통신모델 중에서, 높은 확장성 때문에 고려되고 있는 모델로 피어 대 피어 통신 모델이 있다. 이 모델은 특정한 형태의 관심전파와 데이터 전달 방법에 따라 다시 계층적 구조와 직접 연결로 분류할 수 있다. 본 논문에서는, 분산 침입탐지에서 침입 탐지정보를 전달하는 두 가지 방법에 대하여 분석하고, 통신 메커니즘의 성능을 향상시키는 방안을 제시하고자 한다.

  • PDF

Performance Analysis of Distributed Messaging System by Compression Method (압축 방식에 따른 분산 메시징 시스템 성능 분석)

  • Hwang, Yun-Young;Kim, Soo-Jin;Shin, Yong-Tae
    • Annual Conference of KIPS
    • /
    • 2021.11a
    • /
    • pp.524-527
    • /
    • 2021
  • 인터넷 서비스의 발전으로 프로젝트의 규모가 커짐에 따라 발생하는 문제를 해결하기 위해 프로젝트의 구조가 Monolith 구조에서 Micro Service 구조로 변하는 중이다. Micro Service 구조는 각각 독립된 데이터베이스를 가지기 때문에 각 서비스들 간에 데이터를 공유하고 관리하는 것에 어려움이 있다. Apache Kafka와 같은 분산 메시징 시스템은 여러 개로 분산된 서비스 간에 메시지를 전송 및 수신하여 데이터의 통신과 교환을 가능하게 한다. 본 논문에서는 분산 메시징 시스템에서 지원하는 압축 방식 별로 성능을 측정하고 분석하고자 한다.

Food recognition service using HSV data preprocessing function (데이터 전처리 기능을 활용한 음식 사진 인식 서비스 설계 및 구현)

  • Kim, Hakkyeom;Yoo, Yeonjoon;Shin, Daehyun;Oh, Juhyeon;Lee, Jin-a;Kim, Youngwoon
    • Annual Conference of KIPS
    • /
    • 2021.11a
    • /
    • pp.1215-1218
    • /
    • 2021
  • 한국을 방문하는 외국인들은 매년 증가하고 있고 방한 목적 중 식도락관광이 3위에 오를 만큼 세계에서 한국 음식은 위상이 높아지고 있다. 하지만, 한국에서의 알레르기 성분 표시는 법적 의무가 아니기 때문에 대부분의 한식당에서는 이를 표시하지 않고 있고 알레르기가 있는 외국인 관광객들은 한국 음식 섭취에 있어서 상당한 위험과 불편함을 부담하고 있다. 이에 본 논문에서는 머신러닝을 활용하여 사진 촬영만으로 쉽고 정확하게 알레르기 성분을 제공하고자 사물 이미지 데이터 전처리를 위한 HSV(Hue, Saturation, Value) 데이터 전처리 기법을 제안한다. 제안하는 기법은 이미지의 HSV의 평균 및 분산, 표준편차를 통해 불필요한 데이터를 제거한다. 성능평가에서는 비빔밥, 불고기, 제육볶음 등 사진 약 500장의 데이터 셋을 구성하여 HSV의 평균 및 분산을 통해 이미지를 제거하는 방식으로 구축한 데이터 셋을 TensorFlow를 통해 정확도와 학습시간을 측정한다. 측정결과, 제안하는 기법으로 구축한 데이터 셋은 최소 15%에서 최대 25% 높은 정확도와 최소 37.96%에서 최대 42.85% 높은 정도 낮은 학습시간을 보여주었다. 향후 HSV를 활용한 데이터 전처리 기법은 더 많은 데이터를 통해 더욱 구체적인 성능 분석이 필요하다. 또한, 실질적인 개발 및 구현을 통해 제안하는 데이터 전처리 기법의 더욱 현실적인 검증이 필요하다.