• 제목/요약/키워드: distributed data storage

검색결과 297건 처리시간 0.029초

홀로그래픽 디지털 정보 저장장치에서의 이차원 인터리빙 구조 (Two-Dimensional Interleaving Structure of Holographic Digital Data Storage)

  • 김민승;한승훈;양병춘;이병호
    • 대한전자공학회논문지SD
    • /
    • 제38권10호
    • /
    • pp.721-727
    • /
    • 2001
  • 본 논문에서 우리는 홀로그래픽 디지털 정보 저장 장치를 위한 2차원 인터리빙 구조를 제안한다. 이 저장장치에서는 다량의 디지털이진 정보를 2차원 정보 영상(1000×1000 bits) 안에 실어서 기록 및 재생, 처리하게 된다. 따라서, 저장 장치에서 발생하는 연집 오류(burst error) 또한 2차원의 형태를 띄게 되며, 이를 극복하기 위해 정보 영상 안에서 효율적인 2차원 인터리빙을 해야 할 필요가 있다. 연집 오류의 형태와 위치가 불규칙적임을 감안하여 각 부호어의 bit들을 2차원 상으로 흩뜨리면, 각 부호어의 bit들은 정삼각 격자 구조를 이루며 분포해야 한다. 이러한 정삼각 격자 형태의 인터리빙을 구현하기 위한 요소와 알고리즘을 제안한다.

  • PDF

Service Architecture Models For Fog Computing: A Remedy for Latency Issues in Data Access from Clouds

  • Khalid, Adnan;Shahbaz, Muhammad
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권5호
    • /
    • pp.2310-2345
    • /
    • 2017
  • With the emergence of the Internet of Things (IoT) the world is projecting towards a scenario where every object in the world (including humans) acts as a sender and receiver of data and if we were to see that concept mature we would soon be talking of billions more users of the cloud networks. The cloud technology is a very apt alternative to permanent storage when it comes to bulk storage and reporting. It has however shown weaknesses concerning real-time data accessibility and processing. The bandwidth availability of the cloud networks is limited and combined with the highly centralized storage structure and geographical vastness of the network in terms of distance from the end user the cloud just does not seem like a friendly environment for real-time IOT data. This paper aims at highlighting the importance of Flavio Bonomi's idea of Fog Computing which has been glamorized and marketed by Cisco but has not yet been given a proper service architecture that would explain how it would be used in terms of various service models i-e IaaS, PaaS and SaaS, of the Cloud. The main contribution of the paper would be models for IaaS, PaaS and SaaS for Fog environments. The paper would conclude by highlighting the importance of the presented models and giving a consolidated overview of how they would work. It would also calculate the respective latencies for fog and cloud to prove that our models would work. We have used CloudSim and iFogSim to show the effectiveness of the paradigm shift from traditional cloud architecture to our Fog architecture.

KREONET 기반의 스토리지 클라우드 서비스 모델 설계 및 성능평가 (Design and performance evaluation of a storage cloud service model over KREONET)

  • 홍원택;정진욱
    • 한국융합학회논문지
    • /
    • 제8권7호
    • /
    • pp.29-37
    • /
    • 2017
  • 연구망은 상용망과 비교하여 유연한 네트워크 엔지니어링 및 설계 등의 강점을 갖는다. 본 논문은 이러한 연구망의 특성에 기반하여 일반 망 사용자들과 분산된 지역의 첨단 망 사용자들을 동시에 지원하는 스토리지 클라우드 서비스 모델을 제안한다. 첨단 백본 망에 연결된 다수 지역을 적용하기 위해 오픈스택 Swift 서비스의 복수 프락시 컨트롤러를 활용하여 제안 서비스 모델을 프로토타이핑 한다. 망 지연 및 전송 데이터 크기의 영향과 관련한 실험에서 10ms 범위 내의 망 지연이 발생하는 첨단 백본 망에서는 데이터 크기가 상대적으로 큰 데이터가 작은 데이터보다 선호되는 것을 볼 수 있었고, 이것은 큰 데이터에서의 처리 감소율이 작은 데이터에 비해 상대적으로 작은 것에 기인한다. 이러한 실험 결과는 제안 모델이 중앙 지역에서 서비스의 접근 빈도가 잦은 일반 사용자들뿐만 아니라 간헐적으로 대용량 데이터를 전송하기 위해 서비스에 접근하는 첨단 망 사용자들에게도 적합하다는 것을 보여준다.

화산암 지역 고심도 암반대수층 수리지질특성 평가 (Evaluation of Hydrogeological Characteristics of Deep-Depth Rock Aquifer in Volcanic Rock Area)

  • 이항복;박찬;최준형;천대성;박의섭
    • 터널과지하공간
    • /
    • 제34권3호
    • /
    • pp.231-247
    • /
    • 2024
  • 고심도 암반대수층이 운영시설의 주요 대상이 되는 고준위 방사성폐기물 처분 분야에서 수리특성 정보들은 관련 처분 부지 선택, 처분 시설 상세 설계, 최적 시공 방안 도출 그리고 운영 시 안정성 평가에 있어 가장 중요한 핵심 요소로 작용한다. 국내에는 좁은 면적에 여러 암종이 혼재되어 분포하고 있기 때문에 다양한 암종별 암반대수층의 수리지질특성을 분석하고 이를 데이터베이스화 하는 사전 작업들이 중요하다. 본 논문에서는 고심도 화산암반대수층의 현장 수리특성 중 가장 대표적인 수리전도도 자료를 획득하고 이를 분석 평가하였다. 현장 자료 획득을 위해 자체적으로 개발된 고성능 수리시험 장치를 활용하였고, 표준화된 시험법 및 조사절차를 적용하였다. 수리특성 자료분석 과정에서는 심도별로 수리상수인 수리전도도 값을 구하였으며, 시험 구간에 위치한 투수성 암반 절리를 통한 지하수 흐름 양상에 관해서도 평가하였다. 본 논문에서 제안된 일련의 자료 획득 방법, 절차와 분석 결과들은 국내 고심도 암반대수층의 수리특성 자료 데이터베이스 구축에 활용됨과 더불어 향후 다양한 지역별 암종별 수리특성연구에 적용될 기술적 노하우를 향상시키는 역할도 할 것으로 기대된다.

유니버샬 데이터 압축의 최근의 연구동향 (Recent Trends of Universal Data Compression)

  • 박지환;진용옥
    • 한국통신학회논문지
    • /
    • 제16권10호
    • /
    • pp.901-913
    • /
    • 1991
  • 텍스트 데이터 중심의 컴퓨터 통신의 활성화와 멀티 미디어의 등장에 따른 영상 데이터의 추급은 대용량의 기억공간과 전송시간을 요구하게 되어 데이터 압축의 중요성이 더욱 크게 되었다. 정보원의 사전 지식을 전체로 하지 않고도 효율적인 압축을 달성하는 유니버샬 부호는 동일 알고리즘으로 다양한 데이터에 적용할수 있는 만능성을 갖는 적응성이 뛰어난 방식으로 최근 주목되고 있다. 이 논문에서는 유니버샬 부호의 기본원리와 분류를 통한 실현 알고\ulcorner\ulcorner\ulcorner六\ulcorner대하여 알아보고 그 응용을 중심으로 한 최근의 연구활동에 관하여 기술한다.

  • PDF

Smart Sensor Management System Supporting Service Plug-In in MQTT-Based IIoT Applications

  • Lee, Young-Ran;Kim, Sung-Ki
    • Journal of Multimedia Information System
    • /
    • 제9권3호
    • /
    • pp.209-218
    • /
    • 2022
  • Industrial IoT applications, including smart factories, require two problem-solving to build data monitoring systems required by services from distributed IoT sensors (smart sensors). One is to overcome proprietary protocols, data formats, and hardware differences and to uniquely identify and connect IoT sensors, and the other is to overcome the problem of changing the server-side data storage structure and sensor data transmission format according to the addition or change of service or IoT sensors. The IEEE 1451.4 standard-based or IPMI specification-based smart sensor technology supports the development of plug-and-play sensors that solve the first problem. However, there is a lack of research that requires a second problem-solving, which requires support for the plug-in of IoT sensors into remote services. To propose a solution for the integration of these two problem-solving, we present a IoT sensor platform, a service system architecture, and a service plugin protocol for the MQTT-based IIoT application environment.

분산 객체지향 데이타베이스에서 분산 설계 및 구현 (Design and Implementation of Distribution in Distributed Object-Oriented Databases)

  • 이순미;박혜숙;하얀
    • 정보처리학회논문지B
    • /
    • 제11B권5호
    • /
    • pp.611-618
    • /
    • 2004
  • 본 논문에서는 인터넷상의 대용량 자료에서 원하는 정보를 검색하기 위한 지원 기능으로서 분산 객체지향 데이타베이스에서 클래스를 분할하여 여러 사이트에 분산시키는 기법에 관하여 설계 및 구현하였다 제안된 분산 기법은 클래스의 분할 과정과 할당 과정으로 구성된다. 클래스의 분할 과정에서는 메소드, 계승 및 복합 객체와 같은 객체지항 데이터베이스의 특성을 반영하여 클래스를 분할하였으며 할당 과정에서는 저장, 질의 처리 및 전송비용을 고려하여 할당수식을 정의하였으며 이를 유전자 알고리즘을 이용하여 구현하였다.

딥러닝 기반의 다중 클라우드 환경에서 빅 데이터의 안전성을 보장하기 위한 비대칭 데이터 저장 관리 기법 (Asymmetric data storage management scheme to ensure the safety of big data in multi-cloud environments based on deep learning)

  • 정윤수
    • 디지털융복합연구
    • /
    • 제19권3호
    • /
    • pp.211-216
    • /
    • 2021
  • 분산 클라우드 환경에서는 다양한 이기종 장치의 정보들이 꾸준하게 증가하고 있다. 이 같은 이유는 고속의 네트워크의 속도와 대용량의 멀티미디어 데이터가 사용되고 있기 때문이다. 그러나, 이기종의 장치에서 송·수신되는 빅데이터의 정보 오류를 최소화하기 위한 방법은 여전히 연구가 진행되고 있다. 본 논문에서는 클라우드 환경에서 송·수신되는 정보들에 의해 발생되는 네트워크의 대역폭과 데이터 오류 최소화를 위한 딥러닝 기반의 비대칭적 저장 관리기법을 제안한다. 제안 기법은 각각의 디바이스에서 생성되는 빅 데이터정보를 비대칭적으로 해시 처리한 후 로드 밸런스를 최적화하기 위해서 딥러닝 기술을 적용하고 있다. 제안 기법은 각 디바이스에서 수집된 빅 데이터의 오류를 허용하는 동시에 빅 데이터의 연계 정보를 n개의 클러스터 그룹으로 그룹핑함으로써 빅 데이터의 연결성을 확보한 것이 특징이다. 특히, 제안 기법은 빅 데이터간의 유사 값을 시드로 추출한 손실 함수를 사용하였기 때문에 비대칭적으로 빅 데이터를 저장 관리 할때의 정보 오류를 최소화하였다.

데이터 지역성 및 질의 수행 경로를 고려한 분산 SPARQL 질의 처리 기법 (A Distributed SPARQL Query Processing Scheme Considering Data Locality and Query Execution Path)

  • 김병훈;김대윤;고건식;노연우;임종태;복경수;이병엽;유재수
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권5호
    • /
    • pp.275-283
    • /
    • 2017
  • 시맨틱 웹 서비스의 증가로 인해 RDF 데이터가 대용량화되고 있다. 대용량 RDF 데이터를 효율적으로 활용하기 위하여 다양한 분산 저장 및 질의 처리기법들이 연구되고 있다. 본 논문에서는 대용량 RDF 데이터의 데이터 지역성 및 질의 수행 경로를 고려한 분산 SPARQL 질의 처리 기법을 제안한다. 제안하는 기법은 질의 처리 시의 조인 비용 및 통신비용을 감소시키기 위해 분산 저장된 RDF 데이터의 지역성 및 질의 수행 경로를 고려한다. 분산 환경에서 SPARQL 질의를 처리할 때 데이터 지역성을 고려하여 WHERE절을 기준으로 해당 질의를 여러 개의 서브 질의로 분할한다. 제안하는 기법은 분할된 서브 질의들을 인덱스를 통해 연관 노드들끼리 그룹화 하여 처리함으로써 데이터 통신비용을 감소시킬 수 있다. 또한 그룹 화된 서브 질의 처리 시 불필요한 조인 및 대기 시간을 감소시키기 위해 데이터 파싱 비용, 노드별 데이터 통신량 및 대기 시간 등을 고려한 효율적인 질의 수행 경로를 생성한다. 다양한 성능평가를 통해 제안하는 기법이 기존 기법보다 우수함을 보인다.

분포형 광섬유 센서 자료 적용을 위한 기계학습 기반 P, S파 위상 발췌 알고리즘 개발 (Machine Learning-based Phase Picking Algorithm of P and S Waves for Distributed Acoustic Sensing Data)

  • 최용규;송영석;설순지;변중무
    • 지구물리와물리탐사
    • /
    • 제25권4호
    • /
    • pp.177-188
    • /
    • 2022
  • 최근 이산화탄소 지중저장 모니터링 기술 중 하나인 미소진동 모니터링 기술에 대한 관심이 증가하면서 과거에 주로 사용되었던 지오폰이나 지진계가 아닌 분포형 광섬유 센서(distributed acoustic sensing, DAS)의 적용도 증가하고 있다. 특히 DAS를 이용하여 모니터링을 수행하면 시×공간적으로 거의 연속된 자료가 기록되게 되어 자료의 양이 방대해지게 되고 빠르고 정확한 자료 처리가 중요하게 된다. 자료처리 중 이벤트 탐지 및 위상 발췌는 가장 기초적인 과정으로 모든 자료에 대해 필수적으로 수행되어야 한다. 이 논문에서는 기계학습 기반의 P, S파 위상 발췌 알고리즘을 개발하여 전통적인 위상 발췌 방법의 한계를 보완하고, 전이학습 방법을 이용하여 신호 대 잡음비가 낮은 단일 성분 자료만 존재하는 DAS 자료에도 적용이 가능하도록 하였다. 사용된 기계학습 모델은 위상 발췌에 뛰어난 성능을 보이는 합성곱 신경망 기반의 EQTransformer를 ResUNet의 특성을 포함하도록 수정하여 구성하였다. 훈련자료는 전세계적으로 기록된 지진파형 자료인 STEAD자료를 이용하였고 학습 자료에 포함되지 않은 특성들에 대해서도 좋은 성능을 보이도록 기본 자료를 다양하게 변형시킨 자료도 학습에 사용하였다. 개발된 알고리즘은 학습자료와 다른 특성을 갖는 K-net 및 KiK-net 자료에 의해 성능이 검증되었다. 또한, 전이 학습을 통해 DAS 자료의 특성에 맞게 변형시킨 후 포항 장기분지에서 측정된 DAS자료에 적용시켜 그 성능을 검증하였다.