• 제목/요약/키워드: 대용량의 점데이터

검색결과 130건 처리시간 0.031초

계산과학공학 플랫폼을 위한 실행-이력 기반의 시뮬레이션 데이터 관리 프레임워크 설계 및 구현 (Design and Implementation of an Execution-Provenance Based Simulation Data Management Framework for Computational Science Engineering Simulation Platform)

  • 마진;이식;조금원;서영균
    • 인터넷정보학회논문지
    • /
    • 제19권1호
    • /
    • pp.77-86
    • /
    • 2018
  • 지난 수년간 KISTI는 EDISON이라는 온라인 시뮬레이션 실행 플랫폼을 통해 사용자들이 다양한 계산과학공학 분야에서 제공된 사이언스 애플리케이션에 대한 시뮬레이션을 수행할 수 있는 서비스를 제공하고 있다. 일반적으로 이러한 시뮬레이션은 대규모 계산을 수반하므로 대용량의 출력 데이터를 생산해 낸다. 온라인 플랫폼에서 이러한 시뮬레이션을 수행 할 때 발생하는 중요한 문제 중 하나는 많은 사용자가 동일한 (또는 거의 변하지 않는) 입력 매개 변수 또는 파일을 사용하여 시뮬레이션 요청 (또는 작업)을 플랫폼에 동시에 제출함으로써 플랫폼에 상당한 부담을 준다는 점이다. 다시 말해, 동일한 컴퓨팅 작업으로 인해 중복 컴퓨팅 및 스토리지 리소스가 빠른 속도로 소모된다는 점이다. 이와 같은 동일한 시뮬레이션 요청으로 인한 과도한 자원 사용 문제를 극복하기 위해, 본 논문은 실행 메타 데이터, 즉 프로비넌스를 기반으로 시뮬레이션 데이터를 효율적으로 관리하기 위한 IceSheet라는 새로운 프레임 워크를 제안한다. IceSheet 프레임워크는 시뮬레이션 실행과 관련된 프로비넌스를 수집하여 저장한다. 수집된 프로비넌스 정보는 중복 시뮬레이션 요청을 제외할 뿐만 아니라 오픈소스 검색 엔진인 ElasticSearch를 통해 기존 시뮬레이션 결과를 검색하는 데도 사용된다. 특히 본 논문은 IceSheet 프레임워크에서 저장된 시뮬레이션 결과를 검색하고 재사용할 수 있는 핵심 구성 요소에 대해 자세히 설명한다. 우리는 온라인 시뮬레이션 실행 플랫폼과 함께 연동하는 검색 엔진을 기반으로 제안된 프레임워크의 프로토타입을 구현하였다. 플랫폼에서 수집된 실제 시뮬레이션 실행 프로비넌스를 기반으로 제안된 프레임워크의 성능 평가를 수행하였다. 플랫폼과 완벽히 연동된 IceSheet 프레임워크는 사용자로 하여금 선택된 시뮬레이션 소프트웨어에 대해 과거에 입력된 매개 변수 값을 빠르게 검색하고 동일한 입력 매개 변수 값이 존재하는 경우 기존의 결과를 곧바로 반환할 수 있도록 할 것으로 기대된다. 따라서 제안된 프레임워크를 통해 이전에 실행된 시뮬레이션과 동일한 요청에 대해 중복 자원 소모를 없애고 실행 시간을 크게 단축시키는 데 도움이 될 것으로 기대한다.

분석 CRM 실무자의 자연어 질의 처리를 위한 기업 데이터베이스 구성요소 인덱싱 방법론 (A PageRank based Data Indexing Method for Designing Natural Language Interface to CRM Databases)

  • 박성혁;황경서;이동원
    • CRM연구
    • /
    • 제2권2호
    • /
    • pp.53-70
    • /
    • 2009
  • 분석 CRM 영역에서는 고객 데이터 분석을 통하여 고객 행동과 관련된 통찰력을 얻는 것이 중요하다. 이러한 분석 과정에서, 사용자 스스로 기업 데이터베이스에서 대용량 고객 이력 데이터를 조회하고 추출하기 위해서는 SQL 을 사용하여 자유롭게 질의구문을 작성할 수 있어야 한다. 그런데 일반 사용자들이 이러한 업무를 수행하고자 할 때, 기업 데이터베이스 구성 요소에 대한 전문적인 지식이 부족하기 때문에 정보 탐색에 있어서 어려움을 겪는다. 이를 해결하기 위한 방안으로 본 연구에서는 사용자가 제공하는 자연어 수준의 질의를 분석하고, 데이터베이스를 구성하는 값을 중심으로 올바른 질의 결과를 제공하기 위한 데이터베이스 구성요소 인덱싱 방법론을 제안한다. 구체적으로 기업 데이터베이스를 구성하는 세 가지 요소인 관계, 속성, 값에 대한 정보를 읽어 들여 요약 정보에 대한 인덱스를 구성한 다음 사용자의 자연어 질의에서 분석된 의미 단위 별로 데이터베이스 요약 정보와 연결해주는 TableRank 기법을 소개한다. 실험용 데이터베이스를 대상으로 테스트를 수행한 결과, 사용자의 자연어 질의 결과가 데이터베이스를 구성하는 값 정보와 연결되는 것이 관찰되었다. 논문의 후반부에서는 자연어 질의를 자동적으로 처리하기 위한 선행 모듈 개발의 시사점을 정리하고, 향후 기업 데이터베이스 자동 검색 시스템으로 발전하기 위한 방안에 대해서도 설명한다.

  • PDF

A Study on Efficient Executions of MPI Parallel Programs in Memory-Centric Computer Architecture

  • Lee, Je-Man;Lee, Seung-Chul;Shin, Dongha
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권1호
    • /
    • pp.1-11
    • /
    • 2020
  • 본 논문에서는 프로세서 중심 컴퓨터 구조에서 개발된 MPI 병렬 프로그램을 수정하지 않고 메모리 중심 컴퓨터 구조에서 더 효율적으로 수행시키는 기술을 제안한다. 본 연구에서 제안하는 기술은 메모리 중심 컴퓨터 구조가 가지는 빠른 대용량 공유 메모리 특징을 이용하여 MPI 표준 라이브러리 함수가 수행하는 네트워크 통신을 통한 느린 데이터 전달을 공유 메모리를 통한 빠른 데이터 전달로 대체하여 효율성을 얻는다. 본 연구에서 제안한 기술은 두 개의 프로그램에 구현되었다. 첫 번째 프로그램은 MC-MPI-LIB라고 불리는 수정된 MPI 라이브러리인데 이는 기존 MPI 표준 라이브러리 함수의 의미를 유지하면서 메모리 중심 컴퓨터 구조에서 더 효율적으로 수행한다. 두 번째 프로그램은 MC-MPI-SIM이라고 불리는 시뮬레이션 프로그램인데 이는 프로세서 중심 컴퓨터 구조 상에서 메모리 중심 컴퓨터 구조의 수행을 시뮬레이션한다. 본 논문에서 제안한 기술은 도커 가상화 상에서 구현된 분산 시스템 환경에서 개발하고 시험하였다. 다수의 MPI 병렬 프로그램을 이용하여 제안한 기술의 성능을 측정한 결과 메모리 중심 컴퓨터 구조에서 더 높은 성능으로 수행 가능함을 보였으며, 특히 통신 오버헤드 비율이 높은 MPI 병렬 프로그램의 경우 매우 높은 성능으로 수행 가능하다는 점을 확인하였다.

플레쉬 메모리 카드를 이용한 홀터 심전계의 설계 (Design of a Holter Monitoring System with Flash Memory Card)

  • 송근국;이경중
    • 대한의용생체공학회:의공학회지
    • /
    • 제19권3호
    • /
    • pp.251-260
    • /
    • 1998
  • 홀터 심전계는 심장 이상으로 인한 급사 위험이 있는 환자를 위한 비관혈인 진단 장비이다. 본 연구에서는 일상생활 중에 심전도 데이터를 획득할 수 있도록 원칩 마이크로프로세서와 대용량메모리인 플레쉬 메모리(flash memory) 카드를 이용하여 2채널의 홀터 심전계를 설계하였다. 시스템 하드웨어는 크게 원칩 마이크로프로세서(68HC11E9)의 아날로그 심전도 처리회로, 플레쉬 메모리 카드로 구성하였다. 아날로그 심전도 처리회로는 250,500,1000의 이득을 갖는 증폭기와 0.05-100Hz의 대역폭을 갖는 대역통과 필터, 호흡으로 인한 기저선의 이동을 제거하기 위한 auto-balancing 회로와 포화-보정회로를 사용하였다. 심전도 신호는 240샘플/초 샘플링하여 A/D 변환하였다. 심전도는 필터링 및 전처리 과정을 통하여 특징점인 Q-R-T파를 검출하고, 이를 근거로 템플리트 생성, ST레벨, 심박수, QT간격 측정과 부정맥을 검출하였다. 또한 장시간동안의 심전도 데이터와 측정된 진단파라미터를 저장하기 위해 실시간 압축 알고리즘인 MFan과 delta modulation 방법을 이용하여 데이터를 압축, 저장하였다. 20M 바이트 용량의 플레쉬 메모리 카드에 기록된 데이터는 PC의 DOS나 Windows 환경의 ambulatory monitoring 분석시스템과 쉽게 인터페이스가 가능하도록 FFS(Flash File System)의 호환 가능한 SBF(Symetric Block format)포맷으로 저장하여 분석시스템에서 데이터 처리 및 관리할 수 있게 하였다.

  • PDF

Mash-up 기술을 이용한 4D Wall-Map 구성체계 (A Study on the 4D Traffic Condition Board based on a Mash-up Technology)

  • 김주환;양승묵;남두희
    • 한국ITS학회 논문지
    • /
    • 제8권3호
    • /
    • pp.27-33
    • /
    • 2009
  • 기존의 교통상황판운영에 사용하는 지도는 2D를 기본으로 하는 전자지도를 중심으로 표준노드링크의 속성을 반영하는 형태이다. 2D형태의 교통전자지도는 그래픽형식에 운영자에게 실시간으로 교통상황을 직관적으로 판단하는데 도움을 제공하였으나 2D형식이라는 한계가 존재할 수밖에 없었다. 점차적으로 IT기술의 고도화, 하드웨어, 통신기술의 발달 등으로 과거에 다룰수 없었던 대용량데이터처리가 원활해지고, 다양한 도로이용자의 고급화된 교통수요에 대응하기 위해서는 점차적으로 교통관리자나 운영자들이 교통정보관련 장비들이나 운영시나리오에 대해 다각적으로 분석을 할 수 있는 방안이 강구되어야 한다. 기존의 교통상황판은 점, 선, 면 형식의 2D전자지도를 기반으로 그 위에 교통소통상황 등의 부가정보를 표현하였으나, 본 연구에서는 구글어스의 API를 활용하도록 한다. 구글어스는 고해상도의 위성사진과 이를 이용한 3D화면을 표출서비스를 제공하며, 이를 기반으로 교통소통정보, 버스노선 및 정류장 제보, 3D 객체 표현 등의 콘텐츠와 야후 POI(야후 거기)를 Mash-Up하여 보다 현실적인 교통상황정보를 제공하고자 한다.

  • PDF

하천 만곡부를 고려한 GIS 기반 침수지역 레이어 구축 (The Construction of GIS-based Flood Risk Area Layer Considering River Bight)

  • 이근상;유병혁;박진혁;이을래
    • 한국지리정보학회지
    • /
    • 제12권1호
    • /
    • pp.1-11
    • /
    • 2009
  • 홍수시 댐 방류에 따른 하류하천의 침수지역을 신속하게 가시화하는 것은 댐관리 업무에 매우 중요하다. 하천구간별로 모의된 홍수위를 기반으로 침수지역을 효과적으로 표출하기 위해서는 하천의 만곡부에서 나타나는 중복영역을 제거해야 된다. 본 연구에서는 홍수분석모형 (COSFIM)과 FLDWAV 모델을 연계하여 하천 만곡부를 고려한 침수지역 가시화를 위해 배수강제 알고리듬을 적용하였다. 배수강제 알고리듬은 자동유역추출시 지형상의 함몰점을 제거함으로서 수문학적 처리연구 등에 장점을 주는 보간법의 일종이다. 본 연구에서는 남강댐 하류구간을 대상으로 하천만곡부를 고려한 침수지역 레이어 제작기법을 제시하였으며, 이러한 프로세스를 자동으로 수행하기 위해 Arcobject 컴포넌트 기반의 시스템을 개발하였다. 침수지역레이어 자동추출시스템은 시간측면에서 대용량 데이터를 기반으로 수행되는 홍수범람가시화 업무를 효과적으로 절감시킬 수 있었다. 또한 침수지역 레이어는 IKONOS 위성영상과의 연계를 통해 홍수 재해관련 업무에 실감정보를 제공할 수 있었다.

  • PDF

명암도 응집성 강화 및 분류를 통한 3차원 뇌 영상 구조적 분할 (Structural Segmentation for 3-D Brain Image by Intensity Coherence Enhancement and Classification)

  • 김민정;이정민;김명희
    • 정보처리학회논문지A
    • /
    • 제13A권5호
    • /
    • pp.465-472
    • /
    • 2006
  • 최근 대용량 의료영상 데이터로부터 인체 기관 또는 질환 부위 추출을 위한 영상 분할 기법이 매우 다양하게 제안되고 있으나, 뇌와 같이 다중 구조를 가지면서 구조간 경계 구분이 어려운 영상의 구조적 분할에는 한계를 가진다. 이를 위해 주로 복셀을 유한 개의 군집으로 분류하는 군집화 (clustering) 기법이 이용되나 이는 개별 복셀 단위의 연산을 수행함으로 인해 잡음의 영향을 받는 제한점이 있다. 그러므로 잡음의 영상을 최소화하고 영상 경계를 강화시키는 향상기법을 적용함으로써 보다 견고한 구조적 분할을 수행할 수 있다. 본 연구에스는 뇌 자기공명영상에 대하여 백질(white matter), 회백질(gray matter), 뇌척수액(cerebrospinal fluid)의 내부 구조를 효율적으로 추출하기 위한 필터링 기반 군집화에 의한 구조적 분할 기법을 제안한다. 우선 구조간 경계를 강화하고 구조 내 잡음을 약화시키기 위해 응집성 향상 확산 필터링(coherence enhancing diffusiion filtering)을 적용한다. 또한 이 과정을 통해 강화된 영상에 퍼지 c-means 군집화 기법을 적용하여 각 복셀이 속하는 구조에 해당하는 군집의 인덱스를 할당함으로써 구조적 분할을 수행한다. 제안된 구조적 분할기법은 기존의 가우시안 또는 일반적인 비등방성 확산 필터링과 군집화 기법을 적용한 기법에 비해 전문가의 수동분할 결과와의 일치 비율에 의한 분할 정확도를 향상시킴을 보였다. 또한 경계 부분에 있어서의 세밀한 분할을 통해 재생산 가긍하고 사용자 수동후 처리를 최소화할 수 있는 결과를 제시함으로써 형태적 뇌 이상 진단을 위한 효율적인 보조 수단을 제공한다.

고해상도 농업 기후 자료 처리를 위한 클라우드와 온프레미스 비교 분석 (Comparative Analysis on Cloud and On-Premises Environments for High-Resolution Agricultural Climate Data Processing)

  • 박주현;안문일;강위수;심교문;박은우
    • 한국농림기상학회지
    • /
    • 제21권4호
    • /
    • pp.347-357
    • /
    • 2019
  • GIS 기반의 농업 기후 자료의 처리 및 분석 체계의 유용성은 클라우드, 온프레미스, 하이브리드 구조와 같은 컴퓨팅 인프라의 신뢰성, 가용성에 영향을 받는다. 현재는 정보 기술 산업에서 클라우드 컴퓨팅의 시대라고 할 수 있을 만큼 클라우드와 관련된 기술이 확산되어 있으나, 장기간의 운영 경험으로 누적된 다양한 참조 사례를 볼 때 온프레미스 기술이 클라우드 기술 보다 유리한 경우도 있다. 또한 클라우드 환경의 경우 초기 비용이 온프레미스와 비교하여 저렴하지만 사용 방법에 따라 매우 높은 비용이 부과될 가능성이 있다. 따라서 각 시스템의 특성에 맞는 적절한 구성법이 고려될 필요가 있다. 본 연구에서는 농업 기후 자료 처리 및 분석 체계에 이용가능한 일반적인 컴퓨팅 플랫폼 4개를 소개하고 대량의 자료 처리 및 저장의 특성을 갖는 응용 시스템을 적용하여 각 플랫폼의 장단점을 비교 분석하였다. 현재로서는 대량의 농업 기상 및 기후 데이터를 필요로 하는 시스템은 비용상의 이유로 퍼블릭 클라우드로의 이주가 불가능함을 확인하였다. 향후 참조될 가능성이 높지 않은 대용량 자료를 클라우드 상에 유지해야 하는 점이 주요 원인이다. 따라서 가장 높은 비용의 저장 및 백업 부분을 클라우드 대신 온프레미스에서 운용하고, 자료의 분석 및 처리 그리고 표출 부분과 같이 유연성이 요구되는 부분은 클라우드에서 운용하는 것이 합리적이다.

선박패스(V-Pass) 자료를 활용한 어업활동 지도 제작 연구 - 남해동부해역을 중심으로 - (A Study on the Mapping of Fishing Activity using V-Pass Data - Focusing on the Southeast Sea of Korea -)

  • 한재림;김태훈;최은영;최현우
    • 한국지리정보학회지
    • /
    • 제24권1호
    • /
    • pp.112-125
    • /
    • 2021
  • 해양공간계획은 해양을 체계적이고 합리적으로 관리하기 위해 9가지 용도구역으로 지정한다. 그 중 하나가 어업활동의 보호와 육성을 비롯한 수산물의 지속 가능한 생산을 위해 필요한 어업활동 보호구역이다. 본 연구는 V-Pass 자료를 활용하여 어업활동 지도를 제작하고 어업활동 밀집 공간을 도출함으로써 어업활동보호구역 지정에 필요한 요소 중 하나인 어업활동 공간을 정량적으로 파악하고자 한다. 이를 위해 V-Pass 자료를 정적 정보와 동적 정보가 결합된 데이터셋 구축, 어선 속도 계산, 어업활동 지점 추출, 비어업활동 공간 내의 자료 제거와 같은 전처리를 수행하였다. 최종적으로 선별된 V-Pass 점 자료를 이용하여 커널밀도추정으로 어업활동 지도를 제작하고 어업활동이 밀집된 공간을 분석하였다. 또한 어선의 업종과 계절에 따라 어업활동의 공간분포는 차이가 있음을 확인하였다. 본 연구를 통해 수행한 대용량 V-Pass 자료의 전처리 기법과 어업활동의 공간밀도 분석 방법은 향후 어업활동에 대한 공간특성평가 연구에 기여할 것으로 기대된다.

토픽모델링을 활용한 도시림의 문화서비스 수요 특성 분석 (A Study on the Demand for Cultural Ecosystem Services in Urban Forests Using Topic Modeling)

  • 김지영;손용훈
    • 한국조경학회지
    • /
    • 제50권4호
    • /
    • pp.37-52
    • /
    • 2022
  • 본 연구의 목적은 북한산국립공원에 대한 네이버 블로그 포스트 및 LDA 토픽모델링을 활용하여 이용자 인식 및 경험 가치에 기반한 도시림의 문화서비스 수요 특성을 분석하고 공간적 평가 가능성을 검토하는 것이다. 연구에서는 블로그 포스트에 대한 토픽모델링의 결과를 바탕으로 북한산국립공원 문화서비스와의 관련성 여부와 공간평가 지표로서 활용 가능성 여부를 고려한 검토과정을 거쳐, 최종적으로 도시림의 문화서비스 공간평가 지표를 도출하였다. 구체적으로 토픽분석을 통해 도출된 총 21개의 토픽을 해석하고, 생태계서비스에 대한 MA(Millennium Ecosystem Assessment)의 문화서비스 분류체계에 기반하여 총 13개의 문화서비스 관련 토픽을 도출하였다. 이는 전체 문서의 72.7%에 해당하였다. 토픽의 내용으로는 '산행 휴양 활동' 유형(23.7%), '관광·편익시설과 연계한 간접이용가치'(12.4%), '일상적 간접이용가치'(10.7%), '영감 활동'(11.2%), '계절성이 있는 휴양 활동'(6.2%), '자연 감상 및 정적 휴양 활동'(4.3%), '문화유산 가치'(3.7%), 와 관련한 7개 유형의 문화서비스로 해석하였다. 다음으로 13개의 문화서비스 관련 토픽에 대해, 도시림으로서의 특성과 공간적 평가 가능성을 검토하여 최종적으로 도시림 문화서비스에 대한 총 8개 평가지표를 도출하였다. 본 연구의 결과는 기존의 문화서비스 평가에서 많이 사용되던 MA의 생태계서비스 분류체계가 현장을 반영하지 못하는 한계를 극복하고자 국내 사정에 맞는 도시림의 문화서비스의 평가지표를 범주화했다는 점에서 의미가 있다. 또한 연구에서는 대용량의 이용자 인식 및 경험 자료를 활용하여 문화서비스의 수요를 해석하고 도출하는 방법론을 제시했다는 점에서 의의가 있다.