• Title/Summary/Keyword: 데이터 관리기법

Search Result 2,340, Processing Time 0.032 seconds

Data Replication and Migration Scheme for Load Balancing in Distributed Memory Environments (분산 인-메모리 환경에서 부하 분산을 위한 데이터 복제와 이주 기법)

  • Choi, Kitae;Yoon, Sangwon;Park, Jaeyeol;Lim, Jongtae;Bok, Kyoungsoo;Yoo, Jaesoo
    • KIISE Transactions on Computing Practices
    • /
    • v.22 no.1
    • /
    • pp.44-49
    • /
    • 2016
  • Recently, data has been growing dramatically along with the growth of social media and digital devices. A distributed memory processing system has been used to efficiently process large amounts of data. However, if a load is concentrated in a certain node in distributed environments, a node performance significantly degrades. In this paper, we propose a load balancing scheme to distribute load in a distributed memory environment. The proposed scheme replicates hot data to multiple nodes for managing a node's load and migrates the data by considering the load of the nodes when nodes are added or removed. The client reduces the number of accesses to the central server by directly accessing the data node through the metadata information of the hot data. In order to show the superiority of the proposed scheme, we compare it with the existing load balancing scheme through performance evaluation.

Implementation and Performance Analysis of An Optimal Energy Management System Using Data Inference and Cloud Hosting Scheme (데이터추론 및 클라우드 호스팅 기법을 활용한 최적 에너지 관리시스템 구현 및 성능분석)

  • Kim, Kyung-Shin;Kang, Moon-Sik
    • Journal of the Institute of Electronics and Information Engineers
    • /
    • v.53 no.10
    • /
    • pp.51-57
    • /
    • 2016
  • In this paper, we propose an optimal energy management system using the data inference scheme and the cloud hosting technique in order to improve the efficiency of the energy management. We have been interested in the issue that the energy-saving and efficient management techniques are very useful for reducing the production and supply of energy. The energy management system refers to the control and management system in order to enable the efficient use of energy and also to maintain a comfortable and functional working environment effectively with the help of a computer. The proposed system controls a variety of equipment for energy management, and also gets the data for the inference from the changes in energy consumption environment, which is implemented to enable efficient energy management by adapting and controlling the changes optimally in the working environment. In order to evaluate the performance of the implemented system, some experiments have been performed under consideration of the monthly electric power consumption on the server that the inference engine is operating for the target facilities. Finally, the results show that the proposed system has a good performance.

Development of Real-time Rainfall Sensor Rainfall Estimation Technique using Optima Rainfall Intensity Technique (Optima Rainfall Intensity 기법을 이용한 실시간 강우센서 강우 산정기법 개발)

  • Lee, Byung Hun;Hwang, Sung Jin;Kim, Byung Sik
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2019.05a
    • /
    • pp.429-429
    • /
    • 2019
  • 최근 들어 이상기후 등 다양한 환경적 요인으로 인해 국지적이고 집중적인 호우가 빈발하고 있으며 도로상의 교통체증과 도로재해가 사회적으로 큰 문제가 되고 있다. 이러한 문제를 해결하기 위해서는 실시간, 단기간 이동성 강우정보 기술과 도로 기상정보를 활용할 수 있는 방법에 대한 연구가 필요하다. 본 연구는 차량의 AW(AutoWiping) 기능을 위해 장착된 강우센서를 이용하여 강우정보를 생산하는 기술을 개발하고자 하였다. 강우센서는 총 4개의 채널로 이루어져있고, 초당 250개의 광신호 데이터를 수집하며, 1시간이면 약 360만 개의 데이터가 생산되게 된다. 5단계의 인공강우를 재현하여 실내 인공강우실험을 실시하고 이를 통해 강우센서 데이터와 강우량과의 상관성을 W-S-R관계식으로 정의하였다. 실내실험데이터와 비교하여 외부환경 및 데이터 생성조건이 다른 실외 데이터의 누적값을 계산하기 위해 Threshold Map 방식을 개발하였다. 강우센서에서 생산되는 대량의 데이터를 이용하여 실시간으로 정확한 강우정보를 생산하기 위해 빅 데이터 처리기법을 사용하여 계산된 실내 데이터의 Threshold를 강우강도 및 채널에 따라 평균값을 계산하고 $4{\times}5$ Threshold Map(4 = 채널, 5 = 강우정보 사상)을 생성하였고 강우센서 기반의 강우정보 생산에 적합한 빅데이터 처리기법을 선정하기 위하여 빅데이터 처리기법 중 Gradient Descent와 Optima Rainfall Intensity을 적용하여 분석하고 결과를 지상 관측강우와 비교검증을 하였다. 이 결과 Optima Rainfall Intensity의 적합도를 검증하였고 실시간으로 관측한 8개 강우사상을 대상으로 강우센서 강우를 생산하였다.

  • PDF

Asymmetric Index Management Scheme for High-capacity Compressed Databases (대용량 압축 데이터베이스를 위한 비대칭 색인 관리 기법)

  • Byun, Si-Woo;Jang, Seok-Woo
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.17 no.7
    • /
    • pp.293-300
    • /
    • 2016
  • Traditional databases exploit a record-based model, where the attributes of a record are placed contiguously in a slow hard disk to achieve high performance. On the other hand, for read-intensive data analysis systems, the column-based compressed database has become a proper model because of its superior read performance. Currently, flash memory SSD is largely recognized as the preferred storage media for high-speed analysis systems. This paper introduces a compressed column-storage model and proposes a new index and its data management scheme for a high-capacity data warehouse system. The proposed index management scheme is based on the asymmetric index duplication and achieves superior search performance using the master index and compact index, particularly for large read-mostly databases. In addition, the data management scheme contributes to the read performance and high reliability by compressing the related columns and replicating them in two mirrored SSD. Based on the results of the performance evaluation under the high workload conditions, the data management scheme outperforms the traditional scheme in terms of the search throughput and response time.

Performance Analysis of Distributed Parallel Processing Schemes for Large Data in Cloud Computing (클라우드 컴퓨팅에서의 대규모 데이터를 위한 분산 병렬 처리 기법의 성능분석)

  • Hong, Seung-Tae;Chang, Jae-Woo
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2010.09a
    • /
    • pp.111-118
    • /
    • 2010
  • 최근 IT 분야에서 인터넷을 기반으로 IT 자원들을 서비스 형태로 제공하는 클라우드 컴퓨팅에 대한 연구가 활발히 진행되고 있다. 한편, 효율적인 클라우드 컴퓨팅을 제공하기 위해서는, 막대한 양의 데이터를 수많은 서버들에 분산 처장하고 관리하기 위한 분산 데이터 처장 기법 빛 분산 병렬 처리 기법에 대한 연구가 필수적이다. 이를 위해 본 논문에서는 대표적인 분산 병렬 처리 기법에 대해 살펴보고, 이를 비교 분석한다. 마지막으로 Hadoop 기반 클러스터를 구축하고 이를 통해서 대규모 데이터를 위한 분산 병렬 처리 기법에 대한 성능평가를 수행한다.

  • PDF

Recovery Technique for Fail to Read of Semi-Passive Sensor Tag Data (반능동형 센서 태그 데이터의 읽기 실패 시 회복 기법)

  • Kim, Soohan;Ryu, Wooseok;Hong, Bonghee
    • Annual Conference of KIPS
    • /
    • 2009.04a
    • /
    • pp.745-749
    • /
    • 2009
  • RFID 기술을 사용하는 환경에서는 태그와 리더간에 Radio Frequency 를 이용한 무선 통신을 하기 때문에 서로간의 데이터 손실 없이 성공적인 통신을 항상 보장하기는 어렵다. 태그가 리더 영역 내에 있다 하더라도 주변 다른 전자제품의 전파 방해나 장애물의 영향으로 인해 센서 태그로부터 센싱 데이터를 읽는 도중에 데이터 손실이 발생 할 수 있다. 이러한 센서 데이터는 콜드 체인과 같은 물류환경에서 상품을 관리하기 위하여 중요하게 사용되기 때문에 센싱 데이터를 전송하는 도중에 손실된 데이터를 복구해야 한다. 본 논문에서는 반능동형 센서 태그로부터 센싱 데이터 값을 손실 하였을 때 완전한 결과 데이터로 복구하기 위한 회복 기법을 제안한다. 이를 지원하기 위해 결과 데이터 복구 기법과 Packet Size 제어 기법을 사용한다. 이 기법들은 회복 기법이 성공적인 데이터의 읽기 연산을 보장하고, 읽기 처리 속도를 빠르게 하는데 중요한 역할을 한다.

Customer Segmentation in the Insurance Industry: Present and Future

  • Yeom, Gyeong-Min;Yu, Byeong-Jun;Lee, Jae-Hwan
    • 한국벤처창업학회:학술대회논문집
    • /
    • 2022.04a
    • /
    • pp.153-155
    • /
    • 2022
  • 고객을 세분화하여 맞춤화된 서비스를 제공하는 것은 고객 관계 관리에 있어 중요하다. 빅데이터 분석 기법과 기계 학습 등을 활용한 분석 기법의 발전은 더욱 세밀한 고객 세분화를 가능케 했다. 하지만 새로운 분석 기법을 기업에서 효과적으로 적용하는 것은 여러 어려움이 존재한다. 본 연구는 특히 국내 보험 산업에서 데이터 분석 기법을 활용해 더욱 향상된 고객 세분화를 수행할 수 있는 방법에 대해 논의한다. 이를 위하여 실제 보험 설계사와의 심층 인터뷰를 통해 국내 보험 회사의 현상을 파악하고, 이를 기반으로 보험 산업에서 활용할 수 있는 가이드라인을 제시하고자 한다.

  • PDF

Load balancing method of overload prediction for guaranteeing the data completeness in data stream (데이터 스트림 환경에서 데이터 완전도 보장을 위한 과부하 예측 부하 분산 기법)

  • Kim, Young-Ki;Shin, Soong-Sun;Baek, Sung-Ha;Lee, Dong-Wook;Kim, Gyoung-Bae;Bae, Hae-Young
    • Journal of Korea Multimedia Society
    • /
    • v.12 no.9
    • /
    • pp.1242-1251
    • /
    • 2009
  • A DSMS(Data Stream Management System) in ubiquitous environment processes huge data that input from a number of sensor. The existed system is used with a load shedding method that is eliminated with a part of huge data stream when it doesn't process the huge data stream. The Load shedding method has to filter a part of input data. This is because, data completeness or reliability is decreased. In this paper, we proposed the overload prediction load balancing to maintain data completeness when the system has an overload. The proposed method predicts the overload time. and than it is decreased with data loss when achieves the prediction overload time. The performance evaluation shows that the proposed method performs better than the existed method.

  • PDF

Effective Synchronization of Replicated Data in Information Appliance Environment (정보가전 환경에서 중복된 데이터의 효과적인 동기화)

  • Kang, Yeong-Ho;Jang, Woo-Seog;Noh, Gary;Jung, Byung-Dae;Son, Sung-Yong;Kim, Sang-Wook
    • Annual Conference of KIPS
    • /
    • 2002.11c
    • /
    • pp.1795-1798
    • /
    • 2002
  • 정보가전 환경은 정보가전들 간의 홈 네트워크론 기반으로 한 상호 정보 교환을 통하여 사용자에게 보다 진보적인 홈 서비스를 제공한다. 정보가전 환경에서는 서로 다른 두 정보가전 내에 동일한 데이터가 중복되는 상황이 발생 가능하므로, 이러한 중복된 데이터의 일관성을 유지시켜 주기 위한 동기화 기능의 지원이 요구된다. 본 논문에서는 정보가전 환경에서 중복된 데이터의 일관성을 유지시키기 위한 효과적인 동기화 기법을 제안하였다. 제안하는 동기화 기법은 네트워크 전송량과 데이터 저장공간을 최소화함으로써 통합 데이터 관리 아키텍춰에서 좋은 성능을 발휘할 수 있다는 것이 큰 장점이다. 또한, 이 동기화 기법은 중앙집중방식의 통합 데이터 관리가 불가능한 현재의 환경과 이것이 가능하게 될 미래의 환경에 모두 적용할 수 있다.

  • PDF