• 제목/요약/키워드: 클라우드 기반 파일 시스템

검색결과 59건 처리시간 0.03초

하둡 환경에 적합한 데이터 저장 및 복원 기법에 관한 연구 (A Study on Data Storage and Recovery in Hadoop Environment)

  • 김수현;이임영
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제2권12호
    • /
    • pp.569-576
    • /
    • 2013
  • 최근 많은 관심을 받고 있는 클라우드 컴퓨팅이 해결해야할 가장 큰 문제는 바로 보안이다. 일반적인 클라우드 컴퓨팅 환경에서는 사용자의 데이터 보호를 위해 수많은 분산서버를 이용하여 데이터를 저장한다. 하지만 분산서버에 저장된 데이터를 암호화 과정을 거치지 않고 그대로 저장하게 된다면, 마스터 서버에 저장된 분산파일 위치를 추적하여 그대로 유출이 되는 문제가 발생할 수 있다. 이러한 문제를 방지하기 위해 비밀키를 이용하여 분산된 데이터를 암호화해야할 필요성이 존재한다. 그러나 대용량 데이터의 경우 수십, 수백 개의 조각으로 나누어지게 되는데 분산서버마다 각각의 비밀키를 이용하게 된다면, 관리의 어려움이 존재할 뿐 아니라 분산 서버에 대한 정당한 인증, 암복호화 과정을 수없이 거치게 되어 막대한 오버헤드가 발생하게 된다. 따라서 본 논문에서는 이와 같은 문제점을 해결하기 위해 Hadoop 환경에 적합한 XOR 및 RAID기반의 효율적인 분산 저장 및 복구 기법을 제안하였다.

오픈소스 SPICE 기반의 모바일 클라우드 컴퓨팅 클라이언트 UI/UX 개발 (Development of Mobile Cloud Computing Client UI/UX based on Open Source SPICE)

  • 조승완;오훈;심규성;심규현;이종명;안병구
    • 전자공학회논문지
    • /
    • 제53권8호
    • /
    • pp.85-92
    • /
    • 2016
  • 모바일 클라우드 컴퓨팅은 단순히 클라우드 개념이 모바일로 확장된 것이 아니라, 스마트폰을 포함한 모든 이동형 디바이스에서 클라우드 기술을 사용하여 원하는 서비스를 시간과 공간의 제약 없이 사용할 수 있는 기술을 의미한다. 현재 클라우드 컴퓨팅 관련된 다양한 연구가 진행 중이지만, 실제 사용자가 사용하는 인터페이스에 대한 연구가 미비하다. 본 논문의 특징 및 기여도는 다음과 같다. 첫째, 기존의 SPICE에서 제공되던 인터페이스들과 달리 UX를 고려한 UI를 개발한다. 둘째, 모바일 클라우드 컴퓨팅 클라이언트에서 키보드를 사용할 때 두 버튼이상을 동시에 누르는 인터페이스를 한 번의 인터페이스로 통합한다. 셋째, 모바일 클라우드 컴퓨팅 클라이언트에 적합한 마우스인터페이스를 개발한다. 넷째, 모바일 클라우드 컴퓨팅 클라이언트에서 모서리부분은 버튼/파일/폴더 클릭 시 어려움을 해결한다. 마지막으로, 모바일 클라우드 컴퓨팅 클라이언트에서 마우스 스크롤기능이 모바일의 음향버튼을 이용하여 조작하던 것을 터치스크린 내 인터페이스를 생성하여 조작이 가능하도록 한다. 개발된 시스템의 성능평가는 다음과 같은 결과들을 보여 주었다. 모바일 환경에서 사용자가 마우스 인터페이스의 크기가 커지고 고정되어서 입력하기 편하게 되었다. 그리고 키보드의 복합키를 단축키의 형태로 제공하여 3-6단계의 입력이 1단계의 입력으로 간단해져서, 사용자가 복합키와 마우스입력이 간단해졌다.

분산 파일시스템의 소거 코딩 구현 및 성능 비교 (Implementation and Performance Measuring of Erasure Coding of Distributed File System)

  • 김재열;김영철;김동오;김홍연;김영균;서대화
    • 한국통신학회논문지
    • /
    • 제41권11호
    • /
    • pp.1515-1527
    • /
    • 2016
  • 최근의 빅데이터, 머신러닝, 클라우드 컴퓨팅 분야의 성장에 따라 대용량의 비정형 데이터를 저장할 수 있는 스토리지의 중요성은 날로 커지고 있다. 이에 따라 MAHA-FS, GlusterFS, Ceph 등의 개방형 하드웨어 기반의 분산 파일시스템 기술이 많은 주목을 받고 있다. 이러한 저비용 분산 파일시스템들은 데이터의 내결함성을 보장하기 위하여 초기에 복제 방식을 사용하였으나, 스토리지의 용량이 커질수록 복제 방식이 가지는 스토리지 공간의 저효율성이 점차 부각되면서 이를 보완하려는 방향으로 연구가 진행되고 있다. 본 논문은 복제방식을 대체하여 스토리지 공간 효율성을 향상시킬 수 있는 소거코딩 기법을 MAHA-FS 분산 파일시스템에 적용하여 스토리지의 효율성을 높이고, 소거코딩 지원에 따라 발생하는 데이터 일관성 문제를 해결하는 효율적인 방식으로 VDelta 기법을 제안하고 적용하였다. 본 논문은 MAHA-FS와 GlusterFS의 소거코딩의 구조적 차이점을 기술하고 두 파일시스템의 성능을 비교하여 MAHA-FS의 소거코딩 성능이 GlusterFS에 비해 우수함을 확인하였다.

TeGCN:씬파일러 신용평가를 위한 트랜스포머 임베딩 기반 그래프 신경망 구조 개발 (TeGCN:Transformer-embedded Graph Neural Network for Thin-filer default prediction)

  • 김성수;배준호;이주현;정희주;김희웅
    • 지능정보연구
    • /
    • 제29권3호
    • /
    • pp.419-437
    • /
    • 2023
  • 국내 씬파일러(Thin Filer)의 수가 1200만명을 넘어서며, 금융 업계에서 씬파일러의 신용을 정확히 평가하여 우량고객을 선별해 대출을 공급하는 시도가 많아지고 있다. 특히, 차주의 신용정보에 존재하는 비선형성을 반영하여 채무불이행을 예측하기 위해서 다양한 머신러닝 알고리즘을 활용한 연구가 진행되고 있다. 그 중 그래프 신경망 구조(Graph Neural Network)는 일반적인 신용정보 외에 대출자 간의 네트워크 정보를 반영할 수 있다는 점에서 데이터가 부족한 씬파일러의 채무 불이행 예측에서 주목할 만하다. 그러나, 그래프 신경망을 활용한 기존의 연구들은 신용정보에 존재하는 다양한 범주형 변수를 적절히 처리하지 못했다는 한계가 있었다. 이에 본 연구는 범주형 변수의 맥락적 정보를 추출할 수 있는 트랜스포머 메커니즘(Transformer mechanism)과 대출자 간 네트워크 정보를 반영할 수 있는 그래프 합성곱 신경망(Graph Convolutional Network)를 결합하여 효과적으로 씬파일러의 채무 불이행 예측이 가능한 TeGCN (Transformer embedded Graph Convolutional Network)를 제안한다. TeGCN는 일반 대출자 데이터셋과 씬파일러 데이터셋에 대하여 모두 베이스 라인 모델 대비 높은 성능을 보였으며, 특히 씬파일러 채무 불이행 예측에 우수한 성능을 달성했다. 본 연구는 범주형 변수가 많은 신용정보와 데이터가 부족한 씬파일러의 특성에 적합한 모델 구조를 결합하여 높은 채무 불이행 예측 성능을 달성했다는 시사점이 있다. 이는 씬파일러의 금융소외문제를 해결하고 금융업계에서 씬파일러를 대상으로 추가적인 수익을 창출하는데 기여할 수 있을 것이다.

안전한 클라우드 비즈니스를 위한 접근권한 분산관리 (Distributed Access Privilege Management for Secure Cloud Business)

  • 송유진;도정민
    • 정보처리학회논문지C
    • /
    • 제18C권6호
    • /
    • pp.369-378
    • /
    • 2011
  • 최근 비즈니스 환경에서 공유되는 데이터의 기밀성과 유연성있는(fine-grained) 접근제어를 보장하기 위해서 KP-ABE(Key Policy-Attribute Based Encryption)와 PRE(Proxy Re-Encryption)를 활용한 시스템 모델이 제안되었다. 그러나 기존 방식은 클라우드 서버에 집중된 복호권한 때문에 데이터 기밀성을 침해하게 된다. 또한, 접근권한 관리에 대한 개념을 고려하지 않았으므로 악의적인 내부사용자의 공격에 취약하다. 이러한 문제를 해결하기 위해서 기존방식의 프로토콜 모델에서 권한 관리자 그룹을 두어 클라우드 서버에 저장되는 데이터 파일(data file)을 분산 저장하여 데이터 기밀성을 보장하고 AONT 기반의 XOR 임계치 비밀분산을 활용하여 접근권한 관리 모델을 구성하였다. 또한 XOR 쉐어를 활용하여 권한의 가중치를 부여할 수 있는 방법을 구체화했다. 4장에서 기존방식과 제안방식과의 비교 분석과 기능적 활용에 대해서 서술하여 제안방식의 차별화를 부각시켰다.

대용량 소셜 데이터의 의미 분석을 위한 MapReduce 기반의 분석 모듈 설계 및 구현 (Design and Implementation of an Analysis module based on MapReduce for Large-scalable Social Data)

  • 이혁주;김명진;이한구;윤효근
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(B)
    • /
    • pp.357-360
    • /
    • 2011
  • 최근 인터넷과 통신기술, 특히 모바일과 관련된 기술의 급속한 발전으로 소셜 커뮤니케이션 수단으로 대표되는 SNS(Social Networking Service)가 중요한 이슈로 부각되어지고 있다. SNS 서비스 제공시 중요하게 고려되어져야 할 사항은 정확하고 의미 있는 데이터를 통해서 사용자가 원하고 관심 있는 분야의 정보를 어떻게 제공할 것인가에 초점이 맞춰져 있어야 한다. 그러나 최근 폭발적으로 증가되어지고 있는 소셜 데이터 때문에 사용자는 의미 분석이 정확하게 이루어지지 않은 신뢰성이 결여된 소셜 커뮤니케이션 서비스를 제공받고 있다. 이러한 소셜데이터 분석의 문제점을 해결하기 위해서 본 논문에서는 소셜 네트워크 서비스에 필요한 데이터를 수집하고, 클라우드 컴퓨팅 환경에서 수집된 대용량 SNS 데이터의 의미를 분석 할 수 있는 MapReduce 기반의 분석 모듈의 구조를 제안하였다. 제안한 모듈은 의미 분석에 필요한 소셜 데이터를 수집하는 수집 기능과 수집된 소셜데이터의 의미 분석을 수행하는 분석 기능을 포함하고 있다. 수집 기능은 SNS에서 생성되는 텍스트 형태의 데이터를 수집하고 MapReduce를 통해서 데이터를 분석하기 쉽게 적절한 크기로 생성된 파일을 분할한다. 수집된 소셜 데이터의 의미 분석은 기존 TF-IDF 방식에 개선된 Weighted-MINMAX 적용한 알고리즘을 통해서 구현하였다. 개선된 알고리즘은 단어의 중요도를 평가하고, 중요도가 높은 단어로 구성된 의미정보 제공 서비스를 지원한다. 시스템의 성능 평가를 위해서 노드별 데이터 처리시간과 추출 키워드의 정확도를 측정하였다.

클라우딩 기반에서 클라이언트와 서버간 협상을 위한 자가 조직 저장매체의 DDMPF(Distributed Data Management Protocol using FAT) 설계 (A DDMPF(Distributed Data Management Protocol using FAT) Design of Self-organized Storage for Negotiation among a Client and Servers based on Clouding)

  • 이병관;정은희;양승해
    • 한국멀티미디어학회논문지
    • /
    • 제15권8호
    • /
    • pp.1048-1058
    • /
    • 2012
  • 본 논문은 클라우딩 환경에서 클라이언트와 저장 서버, 검증 서버로 구성하여 자가 조직 저장 매체의 데이터 손실을 방지하고, 보안을 유지하기 위한 DDMPF( Distributed Data Management Protocol using FAT)을 제안한다. DDMPF는 클라우드 컴퓨팅 환경에서 자가 조직 저장 서버를 구축하고, 데이터를 분할하여 저장 서버에 분산 저장함으로써 기존의 클라우딩 저장 매체의 중앙 집중화 문제와 저장 서버 문제로 인한 데이터 손실 문제를 해결하였고, 파일할당테이블을 이용해 분산 저장된 데이터 관리의 효율성도 향상시켰다. 그리고 DDMPF는 저장 서버의 데이터 무결성을 검증 서버가 검증함으로써 데이터의 신뢰성을 향상시키고, 클라이언트의 비밀키와 EC-DH 알고리즘을 이용하여 생성된 시스템 마스터 키로 이중 암호화하여 전송함으로써 보안을 강화시켰다. 또한, 자가 조직 저장 매체를 구성할 때, 검증서버의 개수를 제한하고, 검증요청메시지에 대한 TS(Time Stamp)을 설정함으로써 플러딩 공격 탐지하였고, 검증을 요청할 때마다 새롭게 생성된 nonce 값을 이용하여 재전송 공격을 탐지하도록 하였다.

스마트팩토리를 위한 운영빅데이터 분석 플랫폼 (Operational Big Data Analytics platform for Smart Factory)

  • 배혜림;박상혁;최유림;주병준;리스카;풀샤시;푸트라;타오픽;이상화;원석래
    • 한국빅데이터학회지
    • /
    • 제1권2호
    • /
    • pp.9-19
    • /
    • 2016
  • ICT 융합에 대한 관심이 높아진 가운데 독일의 Industry 4.0을 시작으로 제조업과 ICT 융합에 대한 연구가 활발하게 진행되고 있다. 이를 통해 전통적인 제조업의 제조단가를 낮추고 극적인 품질향상을 기대할 수 있게 되었다. 최근 정부의 제조업 3.0 전략 등에 힘입어 국내에서도 제조업에 대한 고도화가 진행되고 있으며, 이러한 추세에 발맞추어 제조업 운영에서 발생하는 빅데이터에 대한 주문맞춤형 분석 플랫폼을 개발하고 이를 통해 제조 현장의 경쟁력을 높이고자 한다. 주문맞춤형 분석 플랫폼은 확장성을 고려하여 스프링 프레임워크를 기반으로 웹에서 실행되도록 설계되었으며, 제조업 현장에서 발생하는 다량의 데이터를 빠르게 처리하기 위하여 스파크와 하둡 파일 시스템을 이용한다. 실시간으로 스트리밍 된 데이터를 프로세스 마이닝 기반 알고리즘을 통해 처리하고 공장의 현황을 분석하여 제조업 현장의 문제를 파악하고 신속한 의사결정을 지원할 수 있다.

  • PDF

도로 주행환경 분석을 위한 빅데이터 플랫폼 구축 정보기술 인프라 개발 (Development of Information Technology Infrastructures through Construction of Big Data Platform for Road Driving Environment Analysis)

  • 정인택;정규수
    • 한국산학기술학회논문지
    • /
    • 제19권3호
    • /
    • pp.669-678
    • /
    • 2018
  • 본 연구는 차량센싱데이터, 공공데이터 등 다종의 빅데이터를 활용하여 주행환경 분석 플랫폼 구축을 위한 정보기술 인프라를 개발하였다. 정보기술 인프라는 H/W 기술과 S/W 기술로 구분할 수 있다. 먼저, H/W 기술은 빅데이터 분산 처리를 위한 병렬처리 구조의 소형 플랫폼 서버를 개발하였다. 해당 서버는 1대의 마스터 노드와 9대의 슬래이브 노드로 구성하였으며, H/W 결함에 따른 데이터 유실을 막기 위하여 클러스터 기반 H/W 구성으로 설계하였다. 다음으로 S/W 기술은 빅데이터 수집 및 저장, 가공 및 분석, 정보시각화를 위한 각각의 프로그램을 개발하였다. 수집 S/W의 경우, 실시간 데이터는 카프카와 플럼으로 비실시간 데이터는 스쿱을 이용하여 수집 인터페이스를 개발하였다. 저장 S/W는 데이터의 활용 용도에 따라 하둡 분산파일시스템과 카산드라 DB로 구분하여 저장하는 인터페이스를 개발하였다. 가공 S/W는 그리드 인덱스 기법을 적용하여 수집데이터의 공간 단위 매칭과 시간간격 보간 및 집계를 위한 프로그램을 개발하였다. 분석 S/W는 개발 알고리즘의 탐재 및 평가, 장래 주행환경 예측모형 개발을 위하여 제플린 노트북 기반의 분석 도구를 개발하였다. 마지막으로 정보시각화 S/W는 다양한 주행환경 정보제공 및 시각화를 위하여 지오서버 기반의 웹 GIS 엔진 프로그램을 개발하였다. 성능평가는 개발서버의 메모리 용량과 코어개수에 따른 연산 테스트를 수행하였으며, 타 기관의 클라우드 컴퓨팅과도 연산성능을 비교하였다. 그 결과, 개발 서버에 대한 최적의 익스큐터 개수, 메모리 용량과 코어 개수를 도출하였으며, 개발 서버는 타 시스템 보다 연산성능이 우수한 것으로 나타났다.