• 제목/요약/키워드: 서버 클러스터

검색결과 325건 처리시간 0.023초

중소기업을 위한 하둡 클러스터의 프로토타입과 분석 소프트웨어의 통합된 검증 (Integrated Verification of Hadoop Cluster Prototypes and Analysis Software for SMB)

  • 차병래;김남호;이성호;지유강;김종원
    • 한국항행학회논문지
    • /
    • 제18권2호
    • /
    • pp.191-199
    • /
    • 2014
  • 최근 IT 분야의 화두인 클라우드 컴퓨팅과 빅데이터 패러다임을 중소기업(Small and Medium Business: SMB) 차원에서 용이하게 활용하도록 지원하는 시도가 증가하고 있다. 이러한 노력의 일환으로, 본 논문에서는 프라이빗 클라우드 인프라 환경을 대상으로 하둡(Hadoop) 클러스터를 시험적으로 구축하는 프로토타입을 설계하고 구현한다. 프로토타입 구현은 싱글보드, PC, 그리고 서버를 이용하여 각각 수행하고, 그 성능을 테스트한다. 또한, ASA (American Standard Association) Dataset을 이용한 빅데이터 분석을 통해서 구축된 하둡 프로토타입을 활용하는 분석 소프트웨어 시스템의 성능을 통합적으로 검증한 결과를 제시한다. 이를 위해, R, 파이썬, D3, 자바와 같은 오픈소스를 이용하여 분석 소프트웨어 시스템을 구현하고, 테스트를 수행한다.

과학적 가시화 어플리케이션을 위한 VR Juggler 기반 가상현실 인터페이스 개발 (Development of a VR Juggler-based Virtual Reality Interface for Scientific Visualization Application)

  • 구기범;황규현;허영주
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권10호
    • /
    • pp.488-496
    • /
    • 2016
  • 이 논문에서는 대용량 해석 데이터 가시화 시스템을 위한 가상현실(VR) 인터페이스의 세부적인 개발내용에 대해 설명한다. 여기서 소개하는 VR 인터페이스는 오픈소스 VR 프레임워크인 VR Juggler에 기반을 두고 있다. VR Juggler는 여러 장점에도 불구하고, 이벤트 드리븐 방식을 지원하지 않으며 클러스터 환경에서 실행될 때 노드 사이의 동기화가 제한적으로 지원되는 등 한계를 보여주기도 한다. 이 논문에서는 이벤트 처리, 애니메이션 재생이나 외부 서버와의 통신 시 클러스터 노드 간 동기화 및 데이터 공유와 같이 VR Juggler를 이용해서 어플리케이션을 개발할 때 발생하는 문제의 해결방안을 실제 개발사례와 함께 제시한다. 그리고 가상현실 입력장치의 단점을 보완한 스마트 디바이스 기반 인터페이스에 대해서도 소개하며, 외부 사용자를 대상으로 진행한 사용성 평가결과를 통해 VR 인터페이스와 스마트 디바이스 인터페이스의 유용성을 검증한다.

NGSOne: 클라우드 기반의 유전체(NGS) 데이터 분석 툴 (NGSOne: Cloud-based NGS data analysis tool)

  • 권창혁;김원호;장정화;안재균
    • Journal of Platform Technology
    • /
    • 제6권4호
    • /
    • pp.87-95
    • /
    • 2018
  • 개인 전장 유전체 분석 가격의 하락으로 많은 국가들이 10만명에서 100만명까지의 대량 전장 유전체 분석과 엑솜 시퀀싱을 진행하고 있다. 하지만 많은 대형 프로젝트에서 대량의 데이터를 처리할 수 있는 프로그램이나 시스템의 부족으로 많은 비용이 클러스터 구축 및 시스템 구매 비용으로 소비되고 있다. 본 연구에서는 자체 서버나 클러스터 환경을 구축하지 않고도 동시에 수백 개 이상의 전장 유전체 및 엑솜에 대한 단일 염기 다형성(Single Nucleotide Polymorphism; SNP) 분석을 수행할 수 있고, 생물학자들도 쉽게 설치하여 운영할 수 있는 클라이언트 프로그램인 NGSOne을 개발하였다. 대표적인 SNP 분석 도구인 DRAGEN, BWA/GATK 및 Isaac/Strelka2를 선택하여 분석할 수 있고, 3개 툴에서 실행 시간 및 에러의 개수 면에서는 DRAGEN이 가장 좋은 성능을 보였다. 또한 NGSOne은 SNP 분석뿐만 아니라 다양한 분석 도구의 자동적인 실행을 위한 확장이 가능하다.

수평 분할 방식을 이용한 병렬 셀-기반 필터링 기법의 설계 및 성능 평가 (Design and Performance Analysis of a Parallel Cell-Based Filtering Scheme using Horizontally-Partitioned Technique)

  • 장재우;김영창
    • 정보처리학회논문지D
    • /
    • 제10D권3호
    • /
    • pp.459-470
    • /
    • 2003
  • 데이터웨어하우징의 애트리뷰트 벡터나 멀티미디어 데이터베이스의 특징 벡터는 모두 고차원 데이터를 이루고 있기 때문에, 이러한 고차원 데이터를 효율적으로 검색하기 위해서는 고차원 색인 기법이 요구된다. 이를 위하여 다수의 고차원 색인 기법들이 제안되었는데, 제안된 대부분의 색인 기법들이 차원의 수가 증가할수록 검색 성능이 급격히 저하되는 ‘차원 저주(dimensional curse)’ 문제를 지니고 있다. 셀-기반 필터링(Cell-Based Filtering : CBF) 기법은 이러한 차원 저주 문제를 해결하기 위해 제안되었다. 그러나 CBF 기법은 데이터의 양이 증가할수록 선형적으로 검색 성능이 감소하며, 이를 극복하기 위해 병렬 처리 기법을 사용하는 것이 필요하다. 본 논문에서는 데이터 디클러스터링(declustering) 방법으로 수평 분할 방식을 사용한 병렬 CBF 기법을 제안한다. 아울러 제안한 병렬 CBF 기법의 성능을 최대화하기 위하여, 병렬 CBF 기법을 다수의 서버로 구성된 Shared Nothing(SN) 구조의 클러스터 아키텍쳐 하에서 구축한다. 또한 SN 구조의 클러스터 아키텍쳐에 적합한 데이타 삽입 알고리즘, 범위질의 처리 알고리즘, k-최근접 질의 처리 알고리즘을 제시한다. 마지막으로 제안하는 병렬 CBF 기법이 기존 CBF 기법과 비교하여 서버 개수에 비례하여 우수한 검색 성능을 달성함을 보인다.

대용량 분산파일시스템을 위한 비공유 메타데이타 관리 기법 (A Non-Shared Metadata Management Scheme for Large Distributed File Systems)

  • 윤종현;박용훈;이석재;장수민;유재수;김홍연;김영균
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제36권4호
    • /
    • pp.259-273
    • /
    • 2009
  • 최근 많은 연구가 진행 중인 대부분의 클러스터 기반 분산파일시스템은 파일에 대한 읽기, 쓰기 작업으로부터 메타데이타의 처리를 분리했다는 특징을 가지고 있다. 즉 파일시스템에 기록된 파일에 대한 권한 정보, 파일의 실제 데이타가 저장된 저장소의 위치 정보, 파일시스템의 네임스페이스 유지 등 메타데이타와 관련된 정보 및 이를 처리하는 기능을 별도의 메타데이타 서버가 관리한다. 하지만 기존 시스템의 메타데이타 관리기법들은 데이타의 분산 관리 및 입출력 성능만 중점을 두고 설계되어 있어 파일시스템 확장에 따른 메타데이타 입출력 성능 및 확장성에서 한계를 나타내고 있는 상황이다. 따라서 본 논문에서는 클러스터 기반 분산파일시스템에서 보다 나은 성능과 확장성을 제공하는 수 있는 비공유 메타데이타 관리 기법을 제안한다. 먼저 본 논문에서는 새로운 메타데이터 분할 기법으로 사전식 분할 기법을 제안한다. 다음으로 제안하는 메타데이타 분할 기법을 지원하기 위한 부하 분산 기법을 제시한다. 본 논문에서 제안하는 메타데이타 관리 기법은 기존 메타데이타 관리기법과 비교하여 확장성 및 부하 분산에서 우수함을 보인다.

공간 데이터 웨어하우스에서 부분 색인을 이용한 효율적인 색인 재구축 기법 (Efficient Index Reconstruction Methods using a Partial Index in a Spatial Data Warehouse)

  • 곽동욱;정영철;유병섭;김재홍;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제7권3호
    • /
    • pp.119-130
    • /
    • 2005
  • 공간 데이터 웨어하우스는 공간정보를 주제 중심적이고 통합적이며 시간성을 가지는 비 휘발성 자료로 저장하여 의사결정을 효율적으로 지원하는 시스템이다. 이 시스템은 구축기와 공간 데이터 웨어하우스 서버로 구성되어 있다. 공간 데이터 웨어하우스 서버는 구축기에서 전송된 데이터를 적재하기 위해 사용자 서비스를 정지하고, 사용자의 빠른 응답시간을 위해 적재된 데이터로 색인을 구축한다. 색인 구축을 위한 기존 기법에는 벌크 삽입 기법과 색인 전송 기법이 있다. 벌크 삽입 기법은 색인을 구축하기 위한 클러스터링 비용이 크며 검색 성능도 떨어진다. 색인 전송 기법은 주기적인 소스 데이터의 변경을 지원하지 않는 문제점이 있다. 본 논문에서는 공간 데이터 웨어하우스에서의 부분 색인을 이용한 효율적인 색인 재구축 기법을 제안한다. 제안 기법은 부분 색인을 직접 전송, 기록하며 물리적 위치 정보를 예상하여 기록할 수 있는 효율적인 색인 재구축 기법이다. 구축기에서 추출된 데이터를 공간의 근접도가 아닌 색인의 구조에 맞게 클러스터링하며, 생성된 각 클러스터를 부분 색인으로 구성하여 페이지 단위로 전송한다. 공간 데이터 웨어하우스 서버에서는 전송된 부분 색인을 저장하기 위해 물리적으로 연속된 공간을 예약하고 예약된 공간에 부분 색인을 기록한다. 기록된 부분 색인을 공간 데이터 웨어하우스 서버의 기 구축된 색인에 삽입함으로써 색인 재구축을 위한 검색, 분할, 재조정 비용이 최소화된다.

  • PDF

계층적 캐시 기법을 이용한 대용량 웹 검색 질의 처리 시스템의 구현 (Implementation of a Large-scale Web Query Processing System Using the Multi-level Cache Scheme)

  • 임성채
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권7호
    • /
    • pp.669-679
    • /
    • 2008
  • 웹을 이용한 정보 공개 및 검색이 확대됨에 따라 웹 검색 엔진도 지속적인 주목을 받고 있다. 이에 따라 웹 검색 엔진의 다양한 기술적 문제를 해결하고자 하는 연구가 있었음에도 웹 검색 엔진의 질의 처리 시스템에 대한 기술적 내용은 잘 다뤄지지 않았다. 질의 처리 시스템의 경우 소프트웨어 아키텍처나 운영 기법을 고안하기 어렵기 때문에 본 논문에서는 구현된 상용 시스템을 바탕으로 관련 기술을 소개하고자 한다. 구현된 질의 처리 시스템은 6,500 만개 웹 문서를 색인하여 일 500만개 이상의 사용자 질의 요청을 수행하는 큰 규모의 시스템이다. 구현한 시스템은 질의 처리 결과를 재사용하기 위해 계층적 캐시 기법을 적용했으며, 저장된 캐시 데이타는 4계층으로 구성된 데이타 저장소에 분산 저장되는 것이 특징이다. 계층적 캐시 기법을 통해 질의 처리 용량을 400% 정도로 향상 시킬 수 있었으며 이를 통해 서버 구축비용을 70% 정도 절감할 수 있었다.

지구환경 데이터를 위한 멀티플랫폼 가시화 시스템 (Multi-platform Visualization System for Earth Environment Data)

  • 정석철;정서원;김종용;박상훈
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제21권3호
    • /
    • pp.36-45
    • /
    • 2015
  • 대용량 볼륨 데이터로부터 연속적인 고화질 영상을 생성하는 것은 공학이나 자연과학 분야에서 중요한 연구주제이다. 최신 가시화 기법을 이용해 고해상도데이터의 시각적 영상 정보를 효과적으로 보여줌으로써 데이터에 내재된 유용한 정보의 분석을 돕는 소프트웨어의 필요성이 증대되고 있다. 본 논문에서는 관측, 예측을 통해 구축된 지구환경 데이터를 효과적으로 분석, 표출하기 위해 클라이언트-서버기반의멀티플랫폼가시화시스템을설계했다.클러스터로구성된가시화서버는병렬/분산 처리를 통해 데이터를 클라이언트에게 전달하고, 클라이언트는 다양한 플랫폼에서 구동되도록 개발되었다. 개발된 클라이언트는 멀티 터치, 센서를 통해 직관적인 구동이 가능하고, 영상기반조명 기법의 적용으로 사실적인 렌더링을 지원한다.

대규모 IoT 컴퓨팅 환경에서 동적 클러스터링 기반 효율적 관리 기법 (A Method for Dynamic Clustering-based Efficient Management in Large-Scale IoT Environment)

  • 김대영;라현정
    • 인터넷정보학회논문지
    • /
    • 제15권6호
    • /
    • pp.85-97
    • /
    • 2014
  • IoT 디바이스는 사용자의 주변에 설치되어 네트워크를 통해 다양한 정보를 수집하고, 디바이스간 협업으로 교통 정보를 제공하거나 날씨 정보를 제공하는 등 삶의 질을 향상시키는데 목적이 있다. 현재 여러 연구소나 기업체에서 다양한 IoT 디바이스들이 개발중에 있어 디바이스의 수가 급격하게 증가하고 있다. 그런데, 이러한 경향에도 불구하고 IoT 디바이스들을 관리하고 연결하는 IoT 컴퓨팅과 관련된 연구는 아직 초기 단계에 있다. IoT 컴퓨팅 환경 내에 대량의 IoT 디바이스가 동시에 존재하게 되는데, 이때 이들 디바이스들을 모니터링 하거나 제어를 위한 관리 노드로서 서버가 필요하다. 그렇지만, 어떤 관리 서버를 어디에 몇 대를 배치해야 하는지 알기 어렵다. 이러한 문제를 해결하기 위해서, 본 논문에서는 대량의 디바이스들을 논리적으로 근접한 디바이스들은 하나의 클러스터로 관리하는 기법을 제안한다. 제안된 동적 클러스터링 기법을 IoT 컴퓨팅 환경에 적용하게 되면 대량의 IoT 디바이스들을 최적의 상태로 클러스터링 함으로써, 디바이스 관리에 대한 오버헤드를 줄이면서 효율적으로 품질 관리를 할 수 있게 된다.

CERES: 백본망 로그 기반 대화형 웹 분석 시스템 (CERES: A Log-based, Interactive Web Analytics System for Backbone Networks)

  • 서일현;정연돈
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권10호
    • /
    • pp.651-657
    • /
    • 2015
  • 웹 응용 프로그램의 급격한 증가와 함께 웹 트래픽이 증가하고 있다. 웹에 대한 요청과 그 응답에 대한 기록인 웹 로그 또한 폭발적으로 증가하고 있다. 웹 로그로부터 가치 있는 정보를 취득하기 위해서는 매우 큰 용량의 데이터를 효과적이고 다양한 방법으로 다룰 수 있는 시스템이 필요하다. 본 논문에서는 백본망 로그 기반 대화형 웹 분석 시스템인 CERES를 소개한다. 기존의 웹 분석 시스템들과 달리, CERES는 하나의 웹 서버에 대한 분석이 아닌 백본망에서 생성되는 모든 웹 로그의 분석을 목적으로 한다. CERES는 하둡 분산 파일 시스템 (HDFS)을 저장소로 하는 서버 클러스터에 배포되며, 대용량의 로그에 기반한 분석을 분산 처리를 통해 지원한다. CERES는 백본망에서 생성된 웹 로그 데이터를 관계형 데이터로 변환하고, 사용자는 변환된 관계형 데이터에 대해 SQL을 이용하여 질의를 요청할 수 있다. 내부적으로 CERES는 웹 로그의 통계적 분석에 대한 질의를 효과적으로 처리하기 위해 데이터 큐브를 활용한다. 또한, CERES는 다양한 통계적 분석을 지원하기 위해 대화형 SQL 질의 인터페이스를 포함한 세 가지 형태의 웹 인터페이스를 제공하며 사용자는 이를 통해 쉽게 질의를 요청할 수 있고 그 결과를 시각적으로 확인할 수 있다.