• 제목/요약/키워드: 서버 클러스터

검색결과 325건 처리시간 0.024초

하둡 클러스터의 대역폭을 고려한 압축 데이터 전송 및 저장 기법 (Data Transmitting and Storing Scheme based on Bandwidth in Hadoop Cluster)

  • 김용민;김희진;김영관;홍지만
    • 스마트미디어저널
    • /
    • 제8권4호
    • /
    • pp.46-52
    • /
    • 2019
  • 산업 현장과 공공 기관에서 생성 및 수집되는 데이터의 크기가 빠르게 증가하고 있다. 기존의 데이터 처리 서버는 스케일업 방식으로 성능을 높여 증가하는 데이터를 처리하였다. 그러나 데이터의 생성 속도가 폭증하는 빅데이터 시대에는 기존 방식의 서버로는 데이터 처리에 한계가 있다. 이러한 한계를 극복하기 위해 스케일 아웃 방식으로 데이터를 분산 처리하는 분산 클러스터 컴퓨팅 시스템이 등장하게 되었다. 그러나 분산 클러스터 컴퓨팅 시스템은 데이터를 분산 처리하기 때문에 네트워크 대역폭을 비효율적으로 사용할 경우 클러스터 전체의 성능을 하락시킬 수 있다. 본 논문에서는 네트워크 대역폭을 고려하여 하둡 클러스터에서 데이터 전송 시 데이터를 압축 전송하는 기법을 제안한다. 제안 기법은 네트워크 대역폭과 압축 알고리즘의 특징을 고려하여 최적의 압축 전송 기법을 선정 후 전송한다. 실험 결과는 제안 기법을 사용할 경우 데이터 전송 시간과 크기를 감소시킨 것을 보여준다.

무선 인터넷 프록시 서버 환경에서 자체 학습 기반의 적응적 클러스터렁 (A Self-Learning based Adaptive Clustering in a Wireless Internet Proxy Server Environment)

  • 곽후근;정규식
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제33권7호
    • /
    • pp.399-412
    • /
    • 2006
  • 서버들이 서로 다른 데이타를 저장하고 있는 협동성 캐슁을 사용하는 클러스터링 기반의 무선 인터넷 프록시 서버에서는 Hot-Spot 혹은 임의의 입력 요청 패턴이 발생하면 일부 서버만 과부하가 되어 전체적인 성능이 떨어지는 문제점을 가진다. 본 논문에서는 기존 클러스터링이 가지는 Hot-Spot 및 임의의 입력 요청 패턴을 반영하지 못하는 문제점을 해결하기 위해 새로운 자체 학습 기반의 적응적 클러스터링 기법을 제안한다. 제안된 방법에서는 요청을 처리하는 일부 서버들이 과부하가 되면 해당 요청을 다른 서버들로 재 분산한다. 이러한 재 분산은 자체 학습 알고리즘에 의해 수행되고, 다양한 입력 패턴 혹은 서로 다른 성능의 서버들을 가지는 클러스터에도 적용이 가능하다 제안된 방법들은 16대의 컴퓨터와 부하 분산기를 가지고 클러스터링 환경에서 실험되었고, 실험 결과는 기존 방법들에 비해 54.62% 성능이 향상되었음을 보여준다.

웹 서버 시스템에서의 자원 정보를 이용한 효율적인 부하분산 기법 (Efficient Load Balancing Scheme using Resource Information in Web Server System)

  • 장태무;명원식;한준탁
    • 정보처리학회논문지A
    • /
    • 제12A권2호
    • /
    • pp.151-160
    • /
    • 2005
  • 웹을 사용하는 사람들의 기하급수적으로 증가하면서 확장이 용이하며 신뢰도가 높은 웹 서버가 절실히 요구된다. 사용자의 급증은 과중한 전송량과 시스템의 부하문제를 야기 시켰으며 이를 해결하기 위한 방안으로 클러스터 시스템이 연구되고 있다. 기존의 클러스터 시스템에서는 웹 서버 간 부하가 균등하더라도 멀티미디어나 CGI 둥으로 요청 데이터 크기가 크면 특정 웹 서버의 부하와 응답 시간이 증가되는 경향이 있다. 본 논문에서는 웹 서버들이 각각 다른 컨텐츠를 갖고 CPU, 메모리 및 디스크 사용율 등의 웹 서버의 자원 정보를 이용하여 효율적으로 부하를 분산하는 기법을 제안한다. 각각 서로 다른 컨텐츠를 가지고 있는 엘 서버들은 컨텐츠들에 대한 수정, 삭제, 추가 둥 자원 정보 변경으로 인하여 깨어질 수도 있는 자원 정보 일관성을 유지하기 위해 네트워크 파일 시스템에 연결되어 운영된다. 컨텐츠를 나누어 저장함으로써 생길 수 있는 각 컨텐츠 그룹 간의 부하의 불균형의 문제는 웹 서버에 대한 재설정으로 해결하였다. 성능 실험을 통해 기존의 RR방식과 LC방식보다 제안한 기법이 최대 $50\%$의 처리율과 응답시간 향상을 보여주었다.

ATM망에서 다중 멀티캐스팅 서버를 이용한 IP 멀티캐스팅 방안 (IP Multicasting Scheme in ATM Networks)

  • 변태영;장성식;한기준
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제26권9호
    • /
    • pp.1145-1157
    • /
    • 1999
  • 본 논문에서는 RFC 2022에서 제안한 MARS 모델을 기반으로 하여 단일 대규모 클러스터를 가지는 ATM 망에서 다중의 멀티캐스팅 서버(MCS)를 이용한 멀티캐스팅 방안을 제안하고 그 성능을 평가하였다. 클러스터 내의 한 ATM 호스트가 특정 IP 멀티캐스트 그룹에 가입할 경우 ATM 호스트의 위치와 이미 존재하는 멀티캐스팅 서버들 사이의 전송 지연을 고려하여 가능한 한 종단간 전송 지연을 최소화하는 멀티캐스팅 서버를 선택하는 방안을 기술하였다. 이 방안은 최단거리 경로 알고리즘(shortest path algorithm)에 기반하여 최적의 MCS를 선정하고 송수신자 사이의 최소 지연을 가지는 멀티캐스트 트리를 구성한다. 다양한 망 위상에서 MCS의 분포 패턴을 다르게 할 경우에도 이 방안은 멀티캐스트 트리의 평균 전달 지연을 줄이는 것을 시뮬레이션을 통하여 확인하였다.Abstract In this paper, we proposed a scheme to support multiple MCSs over a single and large cluster in ATM networks, evaluated its performance by simulation. When an ATM host requests joining into a specific multicast group, the MARS designate a proper MCS among the multiple MCSs for the group member to minimize the average path delay between the sender and the group members. This scheme constructs a multicast tree through 2-phase partial multicast tree construction based upon the shortest path algorithm.We reduced the average path delay in multicast tree using our scheme under various cluster topologies and MCS distribution scenarios.

고가용성 클러스터 웹 서버의 로드밸런스에 대한 고장진단기법 연구 (A Study on Diagnosis Methods for a High Available Clustering Web Server)

  • 이상문;고성준;강신준;곽태영;김학배
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2000년도 하계학술대회 논문집 D
    • /
    • pp.2962-2964
    • /
    • 2000
  • 최근 웹의 사용이 일반화되면서 인터넷의 사용자가 급속히 증가하고 있어서. 기존의 단일 웹서버 방식에서는 막대한 접속 트래픽의 수용과 유연한 시스템 확장 등의 문제점이 예상되고 있다. 이와 함께 business-critical한 작업의 경우, 웹서버의 안정성 및 가용성 문제가 가장 중요한 문제로 지적되고 있어서 이러한 문제를 해결할 수 있는 웹전용 서버를 개발이 절대적으로 필요하다. 본 연구에서는 이를 위해. 급격한 트래픽 변화의 수용 및 웹서버의 확장성이 용이한 가상머신 개념과 고신뢰성의 시스템 운영을 위한 고장포용(fault-tolerant)기법을 적용하여 클러스터링 웹전용 서버를 구축하고, 특히 클러스터 웹서버의 부하를 분배해주는 로드밸런서의 고가용성 보장을 위해 heartbeat, fake, mon등의 기법을 이용하여 백업(backup)을 구현한다. 또한 구현된 시스템의 고성능 및 고가용성을 극대화하고. 시스템의 고장시 데이터 손실의 최소화와 이의 복구를 위해 고장 검출 및 진단 기법에 대한 방안을 제시한다.

  • PDF

Active/Active 클러스터 시스템의 가용도 모델 (An Availability Model for Active/Active Cluster Systems)

  • 박기진;김성수
    • 정보처리학회논문지C
    • /
    • 제8C권2호
    • /
    • pp.173-181
    • /
    • 2001
  • 하드웨어 기술의 발전으로 인해 컴퓨터 하드웨어의 결함 발생률은 상수 값이거나 점차 작아지는 경향이 있다. 반면에 하드웨어에 탑재된 소프트웨어의 복잡성 및 크기는 이전에는 상상할 수 없을 정도로 방대해져가고 있기 때문에, 소프트웨어의 결함 발생으로 인한 컴퓨터 시스템의 장애 발생 가능성은 점차 더 높아지고 있다. 본 논문에서는 Active/Active 클러스터 시스템의 가용도 개선을 위해서 소프트웨어적인 결함 발생을 미연에 방지할 수 있는 능동적 결함허용 기법인 소프트웨어 재활(rejuvenation) 방법에 대하여 연구하였다. 소프트웨어 재활 과정 및 여분서버로 작업전이(switchover) 과정을 semi-Markov 프로세스로 모델링 한 후, 수학적 분석을 통해 구한 Active/Active 클러스터 시스템의 bud형 상태 확률을 이용하여, 다양한 운영 조건하의 가용도 및 손실비용을 계산하였으며, 이를 통하여 소프트웨어 재활을 통한 Active/Active 클러스터 시스템의 가용도 개선 가능성을 확인하였다.

  • PDF

클라우드 컴퓨팅기반 개인 맞춤형 가상머신 임대 서비스 구현 (Cloud Computing-based Personalized Virtual Machine Lease Service)

  • 황인찬;최경근;이봉환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.125-126
    • /
    • 2009
  • 본 논문에서는 클라우드 컴퓨팅 기반의 가상머신 임대 서비스 구현을 위해 OpenNebula 기반의 클라우드 클러스터를 구축하였다. 클라우드 클러스터는 1대의 Front-End와 4대의 클러스터 노드로 구성하고 클러스터 노드에는 Xen을 통하여 서버 가상화를 실현한다. 사용자는 개인 맞춤형 가상머신 요구사항 템플릿을 작성한 뒤 Front-End를 통하여 클라우드 클러스터에 가상 머신 임대 서비스를 요청한다. 본 실험에서 총18개의 가상머신을 임대하는 서비스를 실행하여 생성된 가상 머신의 동작 및 네트워크 서비스를 구현하였다.