• Title/Summary/Keyword: 데이터 처리량

Search Result 2,581, Processing Time 0.038 seconds

클라우드 기반 대규모 데미터 처리 및 관리 기술 (Big Data Processing and Management Service on Cloud)

  • 이미영
    • 전자통신동향분석
    • /
    • 제24권4호
    • /
    • pp.41-54
    • /
    • 2009
  • 인터넷 서비스 데이터량의 지속적인 증가로 대량의 원시 데이터로부터 정보를 가공 처리하는 과정, 체계화된 정보의 저장 관리 및 유용한 정보를 추출하기 위한 분석 등에 분산 컴퓨팅 기술을 적용하는 움직임이 활발히 진행되고 있다. 기존의 RDBMS 기술, MPI 분산 처리 기술 등은 대규모 데이터 처리 환경에 적용하기에는 운영 환경, 기능/성능면에서 확장성 혹은 고비용 문제가 따른다. 그러므로 저가의 서버들로 구성된 대규모 클러스터 환경을 기반으로 분산 컴퓨팅 기술을 적용한 새로운 시스템들이 대규모 데이터 처리를 요하는 인터넷 서비스 응용에 이용되고 있다. 이를 기반으로 바이오인포매틱스, 과학 시뮬레이션, 비즈니스 인텔리전스 등 다른 응용 영역으로 확대하여 클라우드 서비스로 제공하려는 비즈니스 모델이 제시되고 있다. 본 논문에서는 이와 같은 분산 컴퓨팅 기술을 적용한 대규모 데이터 저장 관리 및 처리 기술 동향을 조사하고 클라우드 기반 서비스로의 발전 방향을 서술한다.

관계 데이터를 XML로 변환하는 단순한 방법 (A Simple Method for Publishing Relational Data in XML)

  • 이동진;신병주;진민
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2003년도 춘계학술발표대회논문집
    • /
    • pp.608-612
    • /
    • 2003
  • XML 데이터 사용이 급속도로 증가함에 따라 대용량의 XML 데이터를 저장 관리하는 기술이 요구되고 있다. XML과 관계 데이터베이스의 구조적 불일치로 인해, 관계 데이터베이스에 저장된 XML 데이터에 대한 질의를 처리하여 XML 문서를 생성하기 위해서는 별도의 처리과정이 요구된다. 본 논문은 패스테이블에 표현된 스키마 구조 정보를 이용하여 XQuery 질의에서 요구하는 데이터를 위한 SQL 문을 만들고, 질의 결과 XML에 대한 구조 정보를 추출하여 SQL에 의해 출력된 결과를 XML 문서로 생성해 주는 단순한 방법을 제안한다.

  • PDF

국제물류 통합 플랫폼 서비스를 위한 데이터웨어하우스 스키마 설계 (Design of Data Warehouse Schema for International Logistics Platform Services)

  • 이선영;이종연
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.318-321
    • /
    • 2008
  • 국제물류 EPCglobal Network 프레임워크에서 대용량 운송 데이터베이스의 누적과 경영 전략의 의사결정에 필요한 지식 탐사를 위해 데이터 웨어하우스 시스템 도입이 요구된다. 따라서 본 연구에서는 국제물류 통합 플랫폼을 지원하는 데이터 웨어하우스를 설계하기 위해 현재 데이터베이스 시스템을 분석하고 다차원 데이터 모델인 사실 별자리 스키마 구조를 이용한다. 또한 설계된 데이터웨어하우스를 통해 의사결정을 지원할 수 있는 지식탐사를 위한 질의들의 예를 보여준다.

ATSC-DASE 기반 고성능 셋톱박스의 설계 (Design of a High Performance Set-Top Box Based on ATSC-DASE)

  • 방건;양진영;최진수;김진웅
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2001년도 정기총회 및 학술대회
    • /
    • pp.35-38
    • /
    • 2001
  • 최근 급속하게 발전하고 있는 컴퓨터, 인터넷 분야의 디지털 기술과 함께 방송 환경도 기존의 아날로그 방식에서 디지털 방식으로 바뀌어 가고 있다. 최근 이러한 디지털 방송 환경의 도입으로 A/V 프로그램의 고화질 서비스 제공과 더불어 다양한 멀티미디어 콘텐츠를 방송망을 통해 전송할 수 있는 데이터방송 기술에 대한 관심이 고조되고 있다. 현재 실시간 운영체제(Real Time O/S)를 이용한 독립형 데이터방송 셋톱박스들의 성능은 Java 나 XML을 기반으로 저작된 콘텐츠들을 처리할 수 있으나 MPEG-4와 같은 객체 기반의 멀티미디어 콘텐츠를 처리하기에는 연산 능력의 한계를 가지고 있다. 그러나 앞으로 데이터방송 서비스의 발전 방향은 시청자가 직접 방송 내용에 대해 활발하게 상호 작용을 할 수 있는 대화형 방송 서비스로 발전할 것이다. 이러한 대화형 방송에서 사용되는 콘텐츠는 복잡하고 계산량이 많이 요구되며 이를 처리하기 위해서 셋톱박스는 높은 연산량을 가진 다양한 멀티미디어 기능을 처리할 수 있어야 한다. 따라서 본 논문에서는 디지털 지상파 데이터방송시 ATSC-DASE 기반의 콘텐츠와 MPEG-4 콘텐츠를 수신하고 처리할 수 있는 PC 기반의 고성능 셋톱박스에 대한 설계 방안을 제안한다.

  • PDF

센서 네트워크 클러스터링 기법의 에너지 효율적인 다중 데이터 지원 방법 연구 (A Study of an Energy Efficient Method of Clustering Scheme for Supporting Multiple Data in Sensor Networks)

  • 최동민;정일용
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.101-103
    • /
    • 2012
  • 센서 네트워크 클러스터링 기법은 네트워크의 수명연장에 효율적인 방법이다. 이에 많은 연구에서 효율적인 클러스터링 기법을 제안해 왔으며 지금도 진행 중에 있다. 그러나 기존에 제시된 연구 결과는 센서 노드가 수집하는 데이터가 단일 데이터가 아닌 다중 데이터일 경우, 즉 센서 노드에 여러 개의 센서가 장착되어 있을 경우 데이터 수집 및 전송에 있어 단일 데이터에 비해 비효율적으로 동작 할 수 있다. 이에 본 논문은 다중 센서로부터 수집되는 데이터의 효율적인 전송을 지원하는 클러스터링 기법 개발을 위해 고려해야 할 사항에 대해 연구하였다. 연구 결과, 우리는 센서가 수집하는 데이터의 관심도, 데이터 변화량, 데이터의 내부적인 처리방법, 센서 노드의 배치 밀도 및 데이터 수집 장치의 감지범위가 다중 데이터 센서 네트워크의 클러스터링 기법 설계에 고려되어야 함을 보였다.

전력감시제어설비의 프로토콜 변경에 따른 데이터처리 품질측정 (Quality Measurement of Data Processing by a Protocol Change of Power SCADA System)

  • 이용두;최성만;유철중;장옥배
    • 정보처리학회논문지D
    • /
    • 제12D권7호
    • /
    • pp.1031-1038
    • /
    • 2005
  • 본 논문에서는 시스템 사용현황을 파악할 수 있는 데이터를 최대수용 트래픽양과 실제 트래픽량으로 구분해서 측정하며 프로토콜 변경에 따른 트래픽량 변화와 사고발생시의 과부하 조건에서의 트래픽을 분석할 것이다. 이로 인해 전력감시제어설비의 안전성을 극대화할 수 있는 계기를 미련하고자 한다 또한, 현재 유통되고 있는 트래픽이 어느 정도인지를 알고 그 증가율 추세를 파악하여 앞으로 예상되는 트래픽량을 미리 예측하여 필요한 대역폭을 미리 확보하는 자료로 활용하고, 네트워크 정보분석을 통한 한정된 네트워크 자원의 효율적인 배치로 안정된 전력감시페어시스템의 운용을 가능하게 함으로써 신뢰성을 향상시킬 수 있다.

클라이언트/서버 공간 데이터베이스에서 실체화된 뷰를 이용한 공간질의 처리 (Spatial Query Processing using Materialized Views in Client/Server Spatial Databases)

  • 문상호
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2002년도 추계학술발표논문집
    • /
    • pp.593-596
    • /
    • 2002
  • 일반적으로 공간질의 처리는 복잡한 대용량 공간데이타를 대상으로 수행하기 때문에 많은 비용과 시간이 필요하다. 특히, 클라이언트/서버 공간 데이터베이스 환경에서는 클라이언트가 자주 이용하는 질의를 반복하여 처리하는 경우에 서버의 부하가 증가되며 질의 응답시간도 길어지게 된다. 따라서 클라이언트/서버 공간 데이타베이스에서 클라이언트측의 공간질의를 효율적으로 처리하기 위해서는 데이터 캐싱 등의 기법이 필요하다. 이를 위하여 본 논문에서는 클라이언트에서 자주 이용되는 공간질의를 뷰로 정의하고 클라이언트에서 실체화하는 방법을 이용하여 데이터 캐싱을 처리한다. 그리고 클라이언트에 실체화된 뷰를 최대한으로 이용하기 위하여 질의 수정 기법을 적용한 공간질의 처리 방법을 제시한다.

  • PDF

MQTT 기반 유아 신체활동 에듀테크 플랫폼 구현 (MQTT-based physical activity edutech for infants Platform Implementation)

  • 허지혜;김규린;박우정;신대현;김범중
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.937-939
    • /
    • 2022
  • 최근 에듀테크 산업은 코로나 19와 4차 산업사회의 발달로 교육의 디지털 트랜스포메이션이 진행되고 있다. 그러나 기존 에듀테크 기술들은 코로나 19로 인해 예기치 못한 환경에서의 교육 불균형과 영유아들의 언어적, 신체적 발달에 대한 방향을 제시하고 있지 못하다. 이에 본 논문에서는 MQTT 기반 유아 신체활동 에듀테크 플랫폼을 제안한다. 제안하는 플랫폼의 적용된 기술은 MQTT와 아두이노 센서를 활용하여 학습 동기를 유발하고 자발적인 참여를 유도한다. 성능평가는 제안하는 플랫폼의 주요 기능인 센서 데이터 처리 정확도를 분석하기 위해 QoS(Quality of Service)레벨별 데이터 처리율과 초당 처리량을 분석한다. 부하 테스트 성능평가를 통해 QoS2 레벨이 요청된 데이터 처리를 모두 정상적으로 완료하여 제안하는 플랫폼의 데이터의 신뢰성을 보장하기 위해 QoS 레벨 2를 적용하고자 한다.

EES 프레임워크를 위한 하이브리드 생산설비 데이터 습득 시스템(HEDAS)의 설계 및 구현 (Design and Implementation of a Hybrid Equipment Data Acquisition System(HEDAS) for Equipment Engineering System(EES) Framework)

  • 김경배
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권2호
    • /
    • pp.167-176
    • /
    • 2012
  • 본 논문은 장비엔지니어링 시스템(EES) 프레임워크에서 반도체와 광전자 제조장비를 위한 새로운 하이브리드 생산설비데이터 습득 시스템을 설계하고 구현한다. 장비엔지니어링 분야에서 장비로부터 수집되는 데이터 량이 급격히 증가하고 있다. 제안된 HEDAS(Hybrid Equipment Data Acquisition System)는 EES 프레임워크에서 발생하는 대용량의 실시간 데이터를 효율적으로 처리한다. 또한, 제안된 시스템은 실시간 EES 응용 뿐만 아니라 비실시간 EES 응용을 지원할 수 있다. 실시간 EES 응용을 위해서 HEDAS는 메모리 기반의 연속질의와 필터링 기술을 이용하여 고속의 실시간 처리를 수행한다. HEADS는 비 실시간 장비 데이터를 HEADS 기반의 데이터베이스 또는 기존의 데이터베이스에 선택적으로 저장할 수 있다. 특히, 급격하게 증가하는 장비 데이터에 대해 디스크 저장 비용을 절감하기 위해 타임스템프 기반의 압축 인덱싱과 질의처리 기법을 제공한다. HEDAS는 EES 프레임워크에서 대용량의 실시간 및 비 실시간 장비 데이터를 수집하여 다양한 EES 응용에 수집된 데이터를 전송할 수 있는 효율적인 시스템이다.

클라우드 컴퓨팅을 위한 분산 파일 시스템에서의 파일 병합 기법 (Merging Files on Distribute File Systems for Cloud Computing)

  • 이동우;김정한;엄영익
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.109-110
    • /
    • 2009
  • 최근 IT산업의 화두인 클라우드 컴퓨팅에서, HDFS는 널리 사용되고 있는 분산 파일 시스템이다. HDFS는 분산된 데이터의 저장과 검색의 장점이 있는 반면, 대용량 파일처리를 목적으로 설계되었기 때문에 실시간 파일처리와 저용량 데이터 처리에 비효율적이다. 본 논문에서는 이러한 문제를 해결하기 위해 HDFS의 파일 처리 과정을 개선하여 저용량 파일 처리를 향상시키는 방법을 제안한다. 본 기법은 데이터 블록에 저용량 파일들을 병합함으로써 데이터 처리의 효율성을 높이는 결과를 보였다.