• Title/Summary/Keyword: 데이터그리드

Search Result 513, Processing Time 0.085 seconds

An Efficient MapReduce-based Skyline Query Processing Method with Two-level Grid Blocks (2-계층 그리드 블록을 이용한 효과적인 맵리듀스 기반 스카이라인 질의 처리 기법)

  • Ryu, Hyeongcheol;Jung, Sungwon
    • Journal of KIISE
    • /
    • v.44 no.6
    • /
    • pp.613-620
    • /
    • 2017
  • Skyline queries are used extensively to solve various problems, such as in decision-making, because they find data that meet a variety of user criteria. Recent research has focused on skyline queries by using the MapReduce framework for large database processing, mainly in terms of applying existing index structures to MapReduce. In a skyline, data closer to the origin dominate more area. However, the existing index structure does not reflect such characteristics of the skyline. In this paper, we propose a grid-block structure that groups grid cells to match the characteristics of a skyline, and a two-level grid-block structure that can be used even when there are no data close to the origin. We also propose an efficient skyline-query algorithm that uses the two-level grid-block structure.

Travel Time Prediction Algorithm for Trajectory data by using Rule-Based Classification on MapReduce (맵리듀스 환경에서 규칙 기반 분류화를 이용한 궤적 데이터 주행 시간 예측 알고리즘)

  • Kim, JaeWon;Lee, HyunJo;Chang, JaeWoo
    • Annual Conference of KIPS
    • /
    • 2014.11a
    • /
    • pp.798-801
    • /
    • 2014
  • 여행 정보 시스템(ATIS), 교통 관리 시스템 (ITS) 등 궤적 기반 서비스에서, 서비스 품질을 향상시키기 위해서는 주어진 궤적 질의에 대한 정확한 주행시간을 예측하는 것이 필수적이다. 이를 위한 대표적인 공간 데이터 분석 기법으로는 데이터 분류에서 높은 정확도를 보장하는 규칙 기반 분류화 기법이 존재한다. 그러나 기존 규칙 기반 분류화 기법은 단일 컴퓨터 환경만을 고려하기 때문에, 대용량 공간 데이터 처리에 적합하지 않은 문제점이 존재한다. 이를 해결하기 위해, 본 연구에서는 맵리듀스 환경에서 규칙 기반 분류화를 이용한 궤적 데이터 주행 시간 예측 알고리즘을 개발하고자 한다. 제안하는 알고리즘은 첫째, 맵리듀스를 이용하여 대용량 공간 데이터를 병렬적으로 분석함으로써, 활용도 높은 궤적 데이터 규칙을 생성한다. 이를 통해 대용량 공간 데이터 기반의 규칙 생성 시간을 감소시킨다. 둘째, 그리드 구조 기반의 지도 데이터 분할을 통해, 사용자 질의처리 시 탐색 성능을 향상시킨다. 즉, 주행 시간 예측을 위한 규칙 그룹을 탐색 시 질의를 포함하는 그리드 셀만을 탐색하기 때문에, 질의처리 성능이 향상된다. 마지막으로 맵리듀스 구조에 적합한 질의처리 알고리즘을 설계하여, 효율적인 병렬 질의처리를 지원한다. 이를 위해 맵 함수에서는 선정된 그리드 셀에 대해, 질의에 포함된 도로 구간에서의 주행 시간을 병렬적으로 측정한다. 아울러 리듀스 함수에서는 출발 시간 및 구간별 주행 시간을 바탕으로 맵 함수의 결과를 병합함으로써, 최종 결과를 생성한다. 이를 통해 공간 빅데이터 분석을 통한 주행 시간 예측 기법의 처리 시간 및 결과 정확도를 향상시킨다.

The Design and Implementation of GSA(Grid System Account) for an Effective Analyzation of Enterprise Grid Computing system (Enterprise Grid Computing 시스템의 효율적 분석을 위한 GSA 시스템의 설계와 구현)

  • Chung, Moon-Ki
    • Annual Conference of KIPS
    • /
    • 2007.05a
    • /
    • pp.540-543
    • /
    • 2007
  • 최근의 그리드 컴퓨팅 시스템 환경은 단일 환경에서 작게는 2~4CPU, 많게는 수백 CPU 이상의 시스템으로 구축되고 있고, 더욱이 지역적으로도 멀리 떨어져 있다. 따라서 이를 운용하는 기업에서는 시스템의 사용 현황을 신속하게 분석할 필요가 있다. 그러나 이렇게 혼재된 이 기종 및 컴퓨팅 환경하에서의 각 지역별 시스템 사용현황을 효과적으로 분석 한다는 것은 매우 어려운 일이다. 기존에 사용되어 온 그리드 컴퓨팅 시스템 환경에서의 사용율 관리 방법들은 Queueing 시스템이 가지고 있는 Accounting 분석 명령어로 text 형태의 Accounting raw data 의 결과를 추출하여 가공 처리하므로 데이터 증가 시 반응 속도가 현격하게 느려지는 상황이 발생한다. 또한 원격지 그리드 컴퓨팅 시스템 군의 사용율 분석은 데이터 분석 시 매번 원격지접근 절차를 사용하여 그리드 컴퓨팅 시스템 군에 접근한 후 해당 로컬 시스템 분석을 해야 하고 각 원격지시스템군별로 추출 된 데이터를 통합 관리해야 하는 문제점을 가지고 있다. 따라서 이러한 문제점을 해결하고자 하는 것이 본 논문에서 제안하는 3-tier 구조의 GSA(Grid System Account)이다. 제안한 GSA 는 각 원격지 별 데이터를 객체화하여 Database 에 저장 함으로써 데이터 분석 시 효과적으로 처리할 수 있으며, 다수의 원격지 그리드 컴퓨팅 시스템 군에 대한 복합적인 분석이 필요할 때 효율적으로 대처할 수 있다. 본 논문에서는 GSA 의 설계방법을 제안하고 구현하여 실 성능을 시험함으로써 보다 효율적인 그리드 컴퓨팅 시스템의 사용율 분석 관리가 가능함을 보였다.포는 감수성을 보이지 않았다. 따라서 위의 결과로부터 SLT-I에 감수성을 보이지 않은 Raw264.7세포를 대상으로 Gb3 발현 정도와 SLT-I의 세포독성의 관계를 규명하고자 Gb3의 발현을 증가시킨 후 SLT-I의 세포독성을 재차 평가하였다. 이 결과 $TNF-{\alpha}$의 처리에 의하여 6 hrs에 Gb3의 발현이 정점(43.5%)에 이르렀으며 36 hrs에 정상 수준(25.0%)으로 환원되었다. 그러나, Gb3의 발현이 증가함에도 불구하고 SLT-I의 세포독성에는 변화가 관찰되지 않았다. 따라서, SLT-I에 의한 세포독성은 세포의 종류에 따라서 다르며 또한, Gb3의 발현정도에만 의존적이지는 않을 것으로 생각된다. 이와 같은 결과는 E. coli 0157의 감염증 병인 연구에 있어 SLT-I과 Gb3의 발현의 상관관계에 대한 보다 심도 있는 연구가 필요함을 시사한다.만 분할률, 배반포 형성률 및 배반포의 세포수를 증가시키는 것으로 사료된다.수의 유출입 지점에 온도센서를 부착하여 냉각수의 온도를 측정하고 냉각수의 공급량과 대기의 온도 등을 측정하여 대사열의 발생을 추정할 수 있었다. 동시에 이를 이용하여 유가배양시 기질을 공급하는 공정변수로 사용하였다 [8]. 생물학적인 폐수처리장치인 활성 슬러지법에서 미생물의 활성을 측정하는 방법은 아직 그다지 개발되어있지 않다. 본 연구에서는 슬러지의 주 구성원이 미생물인 점에 착안하여 침전시 슬러지층과 상등액의 온도차를 측정하여 대사열량의 발생량을 측정하고 슬러지의 활성을 측정할 수 있는 방법을 개발하였다.enin과 Rhaponticin의 작용(作用)에 의(依)한 것이며, 이

Microgrid Operation Method Using Short-range Wireless Communication (근거리 무선통신(Zigbee)을 이용한 마이크로 그리드 운영기법)

  • Choe, Won-Jun;Chung, Il-Yop;Won, Dong-Jun
    • Proceedings of the KIEE Conference
    • /
    • 2011.07a
    • /
    • pp.410-411
    • /
    • 2011
  • 본 논문에서는 태양광 전원, 배터리, 마이크로터빈, 스마트 홈 등 다양한 목적과 특성을 가진 요소로 구성된 마이크로그리드를 효율적으로 제어, 관리하기 위한 분산 지능형 제어원리를 제안한다. 기존의 중앙집중식 제어원리는 중앙에서 전체 시스템에 대한 정보를 취득하여 운영에 대한 의사결정을 독점하는 구조였다면 제안하는 원리는 마이크로그리드의 구성요소가 각각 지능형 에이전트를 기반으로 스스로 데이터를 취득하고 이웃 에이전트와의 대화와 협조를 통해 분산제어를 수행하는 방식이다. 각 에이전트 사이는 근거리 무선통신 방식인 Zigbee를 이용하였고 마이크로그리드를 실시간으로 해석하기 위하여 MATLAB 기반의 실시간 시뮬레이터를 이용하였다. 실시간 마이크로그리드 시뮬레이션 모델과 에이전트 역할을 하는 마이크로 컨트롤러를 연계하여 Hardware-in-the-loop 기반의 데모시스템을 구축하였고 제안하는 원리에 대해 검증하였다.

  • PDF

Research of Smart Grid Project Benefits Analysis (스마트 그리드 확산사업 편익분석 연구)

  • Hyun, Sung-Sik;Kim, Jin-Ho;Kim, Sung-Soo;Chun, Yeong-Han
    • Proceedings of the KIEE Conference
    • /
    • 2015.07a
    • /
    • pp.467-468
    • /
    • 2015
  • 양방향 전력정보 교환을 통하여 합리적 에너지 소비를 유도하고, 고품질의 에너지 및 다양한 부가서비스를 제공하며, 산업간 융 복합을 통한 새로운 사업모델을 창출하고자 스마트그리드 확산사업이 진행되고 있다. 또한, 스마트그리드 확산사업을 통해 에너지 사용절감, 전력피크완화, 온실가스 배출 감소 등의 목표가 대두되고 있으며, 스마트그리드 확산사업으로 인해 사회적 후생이 얼마나 증가하는지에 대한 편익분석이 필요하다. 본 논문에서는 스마트그리드 확산사업 편익의 구성요소를 파악하여, 실제 사례에 대한 데이터를 분석해 보았다.

  • PDF

Developing a NT Computing Grid PSE Portal Server (NT 컴퓨팅 그리드 PSE 포탈 서버 구축)

  • 허정민;김윤희
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10c
    • /
    • pp.592-594
    • /
    • 2004
  • 그리드(Grid)[1] 환경은 분산되어 있는 고성능 컴퓨팅 자원과 방대한 데이터를 네트워크로 상호 연동하여 지역적으로 분산되어있다는 제약을 받지 않고 효과적으로 활용할 수 있는 환경으로 최근에 많은 연구가 이루어지고 있다. 이러한 그리드 기술은 고성능 및 대용량의 계산 능력을 필요로 하는 과학 및 공학 응용 연구와, 상호 협력 작업을 가능하게 하는 협업 환경을 가능하게 해준다. 따라서 그리드 기술을 기반으로 분산된 자원을 사용자가 쉴게 사용할 수 있도록 해주는 문제해결환경(PSE Problem Solving Environment)에 대한 개발이 요구되고 있다. 이 논문은 현존하는 PSE의 기능을 분석하고, NT응용에서 사용 할 수 있는 포탈을 구축하고 활용하는 과정에서 실제 그리드 환경을 제공하는 서버측의 내용을 기술하였다.

  • PDF

A Study on Threat Identification Using Attack Tree for Personal Information in Smart Grid (스마트그리드 환경에서 Attack Tree를 이용한 개인정보 위협 식별에 관한 연구)

  • Baek, Man-Ki;Cho, Chae-Ho;Won, Yoo-Jae
    • Annual Conference of KIPS
    • /
    • 2016.04a
    • /
    • pp.339-342
    • /
    • 2016
  • 스마트그리드는 기존 전력망의 비효율적인 운영, 이산화탄소 과다 배출, 전력피크의 문제를 해결하기 위한 방법으로 주목받고 있다. 하지만, 기존의 ICT가 도입되고 구조가 복잡해짐에 따라 개인정보를 침해 할 수 있는 가능성이 증가하게 되었다. 본 논문에서는 스마트그리드 내에서 개인정보를 다루는 기기, 시스템, 데이터와 같은 자산을 식별하여 공격자 입장에서의 공격 목표를 설정한 뒤, Attack Tree 방법을 통하여 세부적인 위협을 식별하였다. 분석 결과, 스마트그리드 환경은 기존의 ICT 기술이 접목되기 때문에 스마트그리드 구조상 발생할 수 있는 위협뿐 만 아니라 기존의 기술들에서 발생할 수 있는 위협도 함께 존재했다.

A High Performance Job Scheduling Policy for Computational Grid (계산 그리드를 위한 고성능 작업 스케줄링 정책)

  • Jo, Ji-Hun;Kim, Jun-Sang;Lee, Won-Joo;Jeon, Chang-Ho
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.06b
    • /
    • pp.493-496
    • /
    • 2007
  • 그리드 컴퓨팅은 방대한 데이터 저장 공간과 고성능 연산능력을 요구하는 작업에 적합하다. 동적계획법(dynamic programming)은 방대한 크기의 동적 테이블(dynamic table)을 구성하여 최적해(optimal solution)을 찾기 때문에 그리드에서 수행하기에 적합한 작업이다. 본 논문에서는 동적 테이블을 구성하고 분산 배치하는 할당 정책을 제안한다. 그리고 동적계획법 기반의 어플리케이션을 그리드에서 효율적으로 수행할 수 있는 그리드 시스템 구조를 제안한다.

  • PDF

Grid Portal based Authentication and Authorization System (그리드 포탈 기반의 인증시스템 모델)

  • Hwang, Dae-Bok;Heo, Dae-Yong;Hwang, Sun-Tae
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10a
    • /
    • pp.542-546
    • /
    • 2006
  • 그리드[1, 2]는 많은 응용분야에서 보다 효율적인 실험을 위한 컴퓨팅 자원들을 제공한다. 응용연구자들은 지리적으로 분산되어 있는 각 자원들과 서비스를 사용하기에 앞서 사용자 인증과 자원의 사용권한에 대한 인증과정을 거쳐야 한다. 아이디와 패스워드를 사용한 전통적 인증방식은 데이터의 공유와 통합을 전제로 하는 그리드환경에 적용하기에는 평범한 보안수준을 제공한다. 따라서 그리드 환경에 적합한 보안 수준을 제공하는 인증방식이 필요하다 또한 기존의 아이디와 패스워드 인증방식에 익숙한 사용자들을 위해 편리한 인터페이스가 요구된다. 이러한 요구사항을 해결하기 위해 본 논문에서는 인증서를 활용한 그리드 포탈 기반의 인증시스템 모델을 제안하고자 한다.

  • PDF

Design of Unified Multi-Search Service Model based on Grid-IR Architecture (Grid-IR 아키텍처 기반의 통합 멀티 검색 서비스 모델 설계)

  • Hwang, Sung-bin;Kim, Hyuk-ho;Lee, Pil-Woo;Jung, Yong-Hwan;Kim, Yang-Woo
    • Annual Conference of KIPS
    • /
    • 2008.05a
    • /
    • pp.613-616
    • /
    • 2008
  • 그리드는 분산된 이기종 자원을 활용하는 컴퓨팅 패러다임으로 초기 그리드 자원을 활용하기 위한 표준으로 OGSA(Open Grid Service Architecture)가 제안되었다. 글로버스 툴킷3은 사용자가 OGSA에 표준에 맞게 그리드를 구성할 수 있는 기능을 제공했다. 하지만 그 이후 웹 서비스 표준의 발전에 따라 그에 맞는 새로운 표준인 WSRF(Web Service Resource Framework)가 정의 되었고, 현재 WSRF 표준에 따라서 GT4가 개발되어 발표된 상황이다. 이에 본 논문에서는 기존의 OGSA 표준에 맞게 구축된 그리드 정보검색 서비스들을 WSRF 표준에 맞도록 새로운 표준 인터페이스를 정립하고, OGSA-DAI(Data Access & Integration) 컴포넌트를 통한 데이터 관리 기능을 추가함으로써 새로운 그리드 정보검색 서비스 프로토타입을 정의하고자 한다.