• 제목/요약/키워드: 데이터그리드

검색결과 513건 처리시간 0.028초

반도체 공정에서 인 메모리 데이터 그리드를 이용한 고속의 빅데이터 처리 시스템 구현 (Implementation of High Speed Big Data Processing System using In Memory Data Grid in Semiconductor Process)

  • 박종범;이방원;김성중
    • 한국ITS학회 논문지
    • /
    • 제15권5호
    • /
    • pp.125-133
    • /
    • 2016
  • 최근 하드웨어와 소프웨어의 발전으로 데이터의 처리 용량과 처리 속도도 급속하게 증가하고 있다. 이로 인한 데이터 사용량은 기하급수적으로 증가하고 있으며, 이미 컴퓨터가 처리해야하는 자료는 초당 5천 트랜잭션을 넘었다. 이처럼 빅데이터가 중요한 이유는 실시간 때문이며, 이는 어떠한 상황에서도 모든 데이터를 분석하여 정확한 데이터를 적시에 얻을 수 있기 때문이다. 또한, 빅데이터를 활용한 스마트 공장을 만들면 개발 및 생산비용, 품질관리 비용 감소효과가 있을 것으로 예상하고 많은 연구가 수행되고 있다. 본 논문에서는 많은 데이터들이 발생하는 반도체 공정에서 고속의 빅데이터 처리를 위한 인-메모리 데이터 그리드를 이용한 시스템을 구현하였으며, 실험을 통해 향상된 성능을 입증하였다. 구현한 시스템은 반도체 뿐 만 아니라 빅데이터를 사용하는 모든 부분에서 응용 가능 할 것으로 판단된다.

그리드 데이터베이스에서 계층 구조를 이용한 동적 재조직 기법 (A Dynamic Reorganization Method using the Hierarchical Structure in the Grid Database)

  • 천종현;장용일;조숙경;이순조;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제8권1호
    • /
    • pp.93-106
    • /
    • 2006
  • 그리드 데이터베이스는 그리드 컴퓨팅 환경에서 분산된 데이터의 효율적 처리와 사용을 위한 데이터 베이스 관리 시스템이다. 공간 데이터는 일반적인 데이터에 비해 지역적 특성에 따른 이용도가 높으며, 대용량의 저장 공간을 필요로 하는 특징을 포함한다. 그리드 데이터베이스는 이러한 공간 데이터의 관리를 위한 최적의 시스템으로 적용 가능하다. 그러나, 기존의 분산 데이터베이스 시스템과는 달리 지역적 자율성을 보장하기 때문에 단일 관리자에 대한 적용이 불가능하거나 비효율적인 시스템 구성이 이루어질 가능성이 있다. 또한 동적으로 변화되는 환경에 유동적인 대응을 위해서는 효율적인 재조직 연산이 필요하다. 본 논문에서는 그리드 데이터베이스에서 계층 구조를 이용한 동적 재조직 기법을 제안한다. 제안 기법은 재조직 수행 시 데이터베이스들의 정보를 논리적으로 취합하는 오가나이저를 생성한다. 또한, 오가나이저를 계층적 구조로 구성을 함으로써 단계적인 정보 전파 및 재조직 연산 수행을 지원하게 된다. 이를 통해 지역적인 재조직 연산의 지원 및 효율적 균형 조정이 가능해진다. 부가적으로 불필요한 재조직 연산의 제거가 가능하다. 성능평가를 통해 제안 기법이 재조직 수행 후에 전체적인 처리량을 향상시킴을 보인다.

  • PDF

웹서비스 기반의 Grid-PACS 상호운용성 프레임워크 (Interoperability Framework between GRID and PACS based on Web Services)

  • 이봉환;조현숙
    • 한국정보통신학회논문지
    • /
    • 제14권8호
    • /
    • pp.1799-1808
    • /
    • 2010
  • 최근 증가하는 협업 연구는 원격 의료 데이터 공유 및 외부 기관의 데이터 접근을 요구하고 있다. 본 논문에서는 융통성 있고 효율적인 의료 데이터 관리를 위해 웹서비스를 이용하여 그리드와 PACS 간의 상호운용성 프레임워크를 제안하고 구현하였다. DICOM 표준은 PACS와 이미지 데이터베이스 사이에 의료 이미지 데이터의 교환과 전송을 정의한다. 그러나 병원들 간 의료 데이터 교환은 신뢰할 수 있는 기관들 사이에서만 제공된다. 더군다나 DICOM은 의료 데이터 관리 기능을 제공하지 않고 그리드 미들웨어는 DICOM 데이터에 접근 가능한 표준 툴킷을 제공하고 있지 않고 있다. 본 논문에서는 이러한 문제를 해결하기 위하여 PACS 간의 연동과 의료 데이터 관리를 가능하게 하는 웹 서비스기반의 그리드 서비스 중계자(Web Services-based Grid Service Mediator, WGSM)를 개발하였다. WGSM은 압축 중계자, GridFTP 중계자, RFT 중계자, MyProxy 중계자, MDS 중계자, RLS 중계자 등으로 구성된다. 제안한 웹서비스 기반의 프레임워크는 협업 환경에서 PACS 간 사용자 인증 및 안전한 데이터 접근을 제공한다. 특히, WGSM은 일반 사용자들이 그리드 미들웨어에 대한 어떠한 지식이 없어도 간단하고 효율적인 방법으로 원격 PACS를 접근할 수 있게 한다.

데이터 그리드를 이용한 초고전압 투과전자현미경 데이터베이스 시스템 (High Voltage Electron Microscopy DataBase System Using Data Grid)

  • 안영헌;권희석;김윤중
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (A)
    • /
    • pp.583-585
    • /
    • 2005
  • 바이오 및 재료 분야 등 NT(Nano Technology), BT(Bio Technology)에 관련된 연구를 보다 더 수월하게 하기 위해 본원에 설치되어 있는 초고전압 투과전자현미경(High Voltage Electron Microscopy - 이하 HVEM)을 이용한다. HVEM을 통해 획득한 이미지의 정보는 매우 방대하여 하나의 시료를 관찰하는데 있어서 수백 메가 이상의 용량을 차지하고, 연구를 수행하는데 있어서 데이터를 여러 형태로 관찰 분석하기 때문에 수월한 지원을 위해 체계적으로 관리할 수 있는 데이터베이스 시스템이 필요하다. 그러나 일반적인 범용 데이터베이스로는 이러한 대규모의 데이터를 저장할 수 없다. 따라서 본 논문에서는 이러한 용량 데이터를 체계적으로 관리할 수 있도록, 데이터 그리드와 연구 데이터의 정보를 갖는 metadata 테이블을 통해 서로 먼 거리에 있는 연구원들이 데이터를 접근하고 대규모 저장 공간을 갖는 데이터베이스 시스템을 제안한다.

  • PDF

그리드 네트워크 자원 관리기를 위한 네트워크 자원과 네트워크 서비스 인터페이스의 정의 (Definition of Network Resource and Network Service Interface for Grid Network Resource Manager)

  • 김해현;차영욱;한장수;김춘희;공정욱;석우진
    • 정보처리학회논문지C
    • /
    • 제16C권4호
    • /
    • pp.511-520
    • /
    • 2009
  • 그리드는 지리적으로 분산된 다양한 컴퓨팅 자원을 초고속 네트워크로 연결하여 고속 연산과 대용량 데이터의 처리를 가능하게 하는 기술이다. 서비스 품질이 보장되는 그리드 환경의 작업 수행을 위해서 컴퓨팅 자원뿐만 아니라 네트워크 자원의 관리와 제어가 요구된다. 본 논문에서는 그리드 네트워크 경로 및 자원의 생성과 예약을 지원하기 위하여 그리드 네트워크 자원의 정보 모델과 그리드 네트워크 서비스 인터페이스를 정의하였다. 그리드 네트워크 서비스 인터페이스에는 기존 GLIF의 자원 생성 및 예약 관련 메시지 이외에 그리드 네트워크 경로와 통보 메시지를 추가로 정의하였다. 또한, 두 단계 자원 예약 메커니즘을 지원하기 위하여 관련 상태와 메시지를 정의하였다. 그리드 네트워크 자원의 정보 모델과 그리드 네트워크 서비스 인터페이스를 이용하여 네트워크 자원 관리 시스템을 설계 및 구현하였으며, GMPLS 기반의 제어및 전달망을 갖는 그리드 환경에서 자원의 예약과 할당 및 해제를 실험하였다.

X-ray 영상에서 그리드 아티팩트 개선을 위한 동적 분할 기반 DCT 기법 (A Dynamically Segmented DCT Technique for Grid Artifact Suppression in X-ray Images)

  • 김형규;정중은;이지현;박준혁;서지수;김호준
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권4호
    • /
    • pp.171-178
    • /
    • 2019
  • 방사선 진단에서 산란선 보정 그리드의 사용은 굴절되는 신호에 의한 영상의 왜곡을 방지할 수 있는 장점이 있는 반면, X-ray 영상에서 그리드 아티팩트를 발생시키는 부작용을 수반한다. 본 논문에서는 이산코사인변환(DCT: discrete cosine transform)을 사용하여, 그리드 라인을 개선하는 기법을 제안한다. X-ray 영상에서 그리드 라인은 피사체의 형태와 영상의 영역에 따라 서로 다른 특성을 보인다. 이러한 점을 해결하기 위하여 동적 분할 구조를 기반으로 DCT 변환을 적용하고, 개별 분할별로 적합한 필터전달함수를 설계하였다. 세부적으로 주파수 영역 데이터에 대하여 그리드 라인의 대역을 검출하는 알고리즘을 제안하였으며, 필터전달함수로 Kaiser 윈도우와 Butterworth 필터를 조합한 형태의 밴드스톱필터(BSF: band stop filter)를 구현하였다. 또한 블로킹 현상을 개선하기 위하여 다중구조의 영상으로부터 픽셀값을 결정하는 방법론을 제시하였다. 총 140개의 실제 X-ray 영상을 사용한 실험결과로부터 제안된 이론의 타당성을 실험적으로 평가하였다.

그리드 데이터베이스에서 링 기반 연결 구조를 이용한 부하 분산 기법 (A Load Balancing Method Using Ring Network Structure in the Grid Database)

  • 장용일;신숭선;박순영;배해영
    • 한국멀티미디어학회논문지
    • /
    • 제9권9호
    • /
    • pp.1107-1117
    • /
    • 2006
  • 본 논문에서는 복제 데이터 간 링 기반 연결 구조를 이용한 부하 분산 기법을 제안한다. 그리드 데이터베이스에서는 일반적으로 각 노드의 데이터가 처리 성능과 가용성 향상을 위해 서로 다른 위치에 복제되어 저장되고, 사용자 질의는 목적 데이터를 포함하는 노드로 전송된 후 처리된다. 그러나 이러한 환경에서는 작업부하의 불균형으로 인한 성능 저하가 나타날 수 있다. 기존 연구는 노드의 수가 많고 사용자 질의가 유동적으로 변하는 그리드 데이터베이스에는 적용하기 힘들다. 제안 기법은 각각의 동일 복제본이 포함된 노드들을 하나의 링 구조로 연결한다. 노드의 작업 부하가 한계를 넘게 되면, 이후 입력되는 질의의 목적 데이터에 따라 다음 연결 노드로 질의를 전송한다. 그리고 이 노드는 작업 부하가 적어질 때까지 새로운 질의를 입력받지 않는다. 이후, 이전 노드로 메시지를 전송하여 이 노드로 질의가 전달되지 않도록 연결 구조를 변경한다. 제안 기법은 성능평가를 통해 기존 방식에 비해 다수의 노드를 포함하면서 구조가 동적으로 변화하는 환경에서 기존 기법보다 우수한 성능을 보인다.

  • PDF

SBR-k(Sized-based replacement-k) : 데이터 그리드 환경에서 파일 교체 (SBR-k(Sized-base replacement-k) : File Replacement in Data Grid Environments)

  • 박홍진
    • 한국콘텐츠학회논문지
    • /
    • 제8권11호
    • /
    • pp.57-64
    • /
    • 2008
  • 데이터 그리드는 대용량의 데이터 어플리케이션 처리를 위해 지리적으로 분산되어 있는 저장 자원을 제공한다. 대용량을 처리해야 하는 데이터 그리드 환경에서는 기존 웹 캐싱 정책이나 가상 메모리 캐쉬 교체 정책과는 다른 파일 교체 정책이 필요하다. LRU(Least Recently Used)나 LCB-K(Least Cost Beneficial based on K), EBR(Economic-based cache replacement), LVCT(Least Value-based on Caching Time) 같은 기존의 파일 교체 전략은 파일 교체를 위해 추가적인 자원이 필요하거나 미래를 예측해야한다. 본 논문은 이를 해결하기 위해 파일의 크기에 기반하여 파일 교체를 수행하는 SBR-k(Sized-based replacement-k)을 제안한다. 제안된 정책은 불확실한 미래 예측의 부담을 줄이고, 요청된 파일에 대응되는 교체 파일의 개수가 적게 하이 위해 파일 크기를 고려하였다. 성능평가 결과 캐쉬 크기가 작은 경우에 적중률이 비슷하나 캐쉬 크기가 크면 본 논문에서 제시한 정책이 우수함을 보였다.

그리드서비스와 포털간의 대칭키 기반 사용자 단일인증에 관한 연구 (Symmetric key based user authentication between Grid Service and Portal)

  • 황대복;허대영;황선태
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권3호
    • /
    • pp.19-26
    • /
    • 2007
  • 최근 포털 시스템이 그리드환경의 사용자 인터페이스로 많이 이용되고 있다. 전통적인 포털 시스템은 아이디와 패스워드를 사용자 인증방식으로 사용하는 반면 그리드 시스템은 공개키와 개인키로 이루어진 대칭키를 기반으로 사용자 인증을 수행한다. 이와 관련하여 포털 시스템의 사용자 계정과 그리드 시스템의 대칭키를 중심으로 포털과 그리드시스템의 통합에 대한 많은 연구가 진행중이다. 특히 GAMA와 PURSE 처럼 아이디, 패스워드 방식에 익숙한 사용자의 편의성에 초점을 둔 연구가 활발하다. 그러나 그리드 환경은 네트워크를 통한 연결을 전제로 하기 때문에 공유되는 데이터와 자원의 보호가 중요하다. 따라서 본 논문에서는 UI 계층에서 대칭키를 사용하여 포털 시스템과 그리드 시스템의 인증 방식을 단일화함으로써 그리드의 사용자 환경에서도 보안 수준을 향상시키는 방안을 제안하고자 한다.

  • PDF

데이타 그리드 컴퓨팅 환경에서 디스크 캐쉬 교체 연구 (A Study on Disk Cache Replacement for Data Grids Computing Environment)

  • 박홍진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 춘계학술발표대회
    • /
    • pp.1167-1170
    • /
    • 2006
  • 웹 인프라와 P2P 기술 개념을 기반으로 연구되고 있는 데이터 그리드 컴퓨팅 환경에서 중요한 문제 중 하나는 거대한 데이터 자료 접근에 관한 이슈이다. 요청된 자원 공간을 확보하기위해 저장되어 있는 자원을 선택하는 '캐쉬 교체 정책' 연구는 많이 연구되어 왔으나, 상항을 미리 예측하거나 스택과 같은 추가적인 자원이 필요하다. 본 논문은 기존 연구의 문제점을 해결하고 요청된 파일에 대응되는 파일의 개수가 되도록 적게 하기위해 파일 크기를 고려한 캐쉬 교체 정책을 제안하고 있다.

  • PDF