• 제목/요약/키워드: Large Dataset

검색결과 560건 처리시간 0.023초

계층 자료구조의 결합과 3차원 클러스터링을 이용하여 적응적으로 부하 균형된 GPU-클러스터 기반 병렬 볼륨 렌더링 (Adaptive Load Balancing Scheme using a Combination of Hierarchical Data Structures and 3D Clustering for Parallel Volume Rendering on GPU Clusters)

  • 이원종;박우찬;한탁돈
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제33권1_2호
    • /
    • pp.1-14
    • /
    • 2006
  • 대용량 볼륨 데이타를 가시화하는 효과적인 방법인 후-정열 병렬 렌더링은 부하균형에 의해 성능이 결정된다. 기존의 정적 데이타 분할 방법은 태스크 병렬성만의 관점에서는 자기균형을 쉽게 얻을 수 있었지만, 데이타 내부의 빈 공간을 고려하지 않았기 때문에 데이타 병렬성의 관점에서는 심각한 불균형을 초래할 수 있었다. 본 논문은 태스크 병렬성과 데이타 병렬성이 함께 고려된, 적응적이며 확장적인 부하 균형 기법을 제안한다. 우리는 계층적 자료 구조인 옥트리와 BSP-트리를 효과적으로 결합하여 볼륨 데이타의 실제 영역만을 추출하여 렌더링 노드들로 균등하게 분산시켰으며, 각 렌더링 노드들에서는 3차원 클러스터링 알고리즘을 적용하여 렌더링 순서를 효과적으로 결정하였다. 제안하는 방법은 기존의 정적 데이타 분산 기법에 비해 최대 22배의 병렬성을 높였고 동기화 비용을 낮추어 렌더링 성능을 크게 향상시켰음을 실험을 통해 알 수 있었다.

계층적 ZP-스플라인을 이용한 곡선 복구 기법 (Curve Reconstruction from Oriented Points Using Hierarchical ZP-Splines)

  • 김현준;김민호
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제22권5호
    • /
    • pp.1-16
    • /
    • 2016
  • 본 논문에서는 최소자승법에 기반한 효율적인 곡선 복구 기법을 제안한다. 구체적으로는, 법선 벡터를 포함한 평면상의 샘플포인트가 주어졌을 때 계층적인 ZP(Zwart-Powell)-스플라인의 레벨로 곡선을 복구하는데, 세밀한 부문을 복구하면서도 비교적 큰 구멍도 효율적으로 메꾸고 있다. 정규화를 위해서는, (1) 선형시스템의 특이성을 피하기 위한 티코노프 정규항과 (2) 아이소커브를 부드럽게 하기 위한 이산 라플라스 정규항 두 가지를 사용하고 있다. 정량적인 벤치마크 테스트를 통해 비교한 결과, 본 방법은 다항식에 기반한 기법들에 비해 훨씬 우수한 결과를 보여준다는 것을 확인할 수 있다. 구멍이 있는 데이터의 경우, 계층적인 B-스플라인과 비교해본 결과 엇비슷한 품질을 보이지만 약 90%의 계산량만을 필요로 한다.

대만 건강보험청구데이터(NHIRD)를 이용한 전통 동아시아 의학(TEAM) 임상연구의 현황 (Current Status of Clinical Study on Traditional East Asian Medicine Using Taiwan Health Insurance Claim Data)

  • 정창운;조희근;설재욱
    • 한방재활의학과학회지
    • /
    • 제27권2호
    • /
    • pp.67-75
    • /
    • 2017
  • Objectives The study of the clinical effects of traditional east asian medicine (TEAM) using Taiwan national health insurance claim dataset (NHIRD) is useful in Korean Medicine research. We reviewed the clinical studies of TEAM using NHIRD as a whole through this study. Methods We comprehensively searched PUBMED and NHIRD DB for clinical effects of TEAM study using NHIRD from inception to 17, January 2017. As a result, 40 studies investigating the contribution of TEAM intervention to health benefit have been confirmed. We analyzed publication time, target disease, sample size, outcome measurement and main result of 40 searched studies. Results The number of TEAM studies using NHIRD grdually increasing. The topics of the team study using NHIRD covered a wide range of subjects including cardiovascular disease, tumor, gynecological disease, diabetes and kidney disease. The studies have shown large samples and reported significant effects on severe diseases. Conclusions The results of this study suggest that the study of Korean Medicine using Big data will be useful for decision making related to health care in Korea. However, considering the limited domestic Korean health insurance data, it will be necessary to activate the big data research of Korean Medicine through the establishment of a separate cohort in Korea.

CNN 기반의 실시간 DNS DDoS 공격 탐지 시스템 (CNN Based Real-Time DNS DDoS Attack Detection System)

  • 서인혁;이기택;유진현;김승주
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제6권3호
    • /
    • pp.135-142
    • /
    • 2017
  • DDoS (Distributed Denial of Service)는 대량의 좀비 PC를 이용하여 공격 대상 서버에 접근하여 자원을 고갈시켜 정상적인 사용자가 서버를 이용하지 못하게 하는 공격이다. DDoS 공격발생 사례가 꾸준히 증가하고 있고, 주요 공격대상은 IT 서비스, 금융권, 정부기관이기 때문에 DDoS를 탐지하는 것이 중요한 이슈로 떠오르고 있다. 본 논문에서는 DNS 서버를 이용하여 패킷을 증폭시키는 DNS DDoS 공격 즉, DNS Amplification 공격(이하 DNS 증폭 공격)을 Deep Learning (이하 딥 러닝)을 활용해 실시간으로 탐지하는 방법에 대해 소개한다. 기존 연구들의 한계점을 극복하기 위하여 실험망 환경의 데이터가 아닌 실 환경 데이터를 혼합하여 탐지 시스템을 학습하였다. 또한 이미지 인식에 주로 사용되는 Convolutional Neural Network (이하 CNN)을 이용하여 딥 러닝 모델을 구축하였다.

공간 데이터마이닝을 이용한 고객 관리시스템 (A Spatial Data Mining and Geographical Customer Relationship Management System)

  • 이상문;서정민
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권6호
    • /
    • pp.121-128
    • /
    • 2010
  • 최근 마케팅이나 기업전략 분야에서 고객관리 및 점포관리 등의 업무를 위하여 GIS 기법을 적용한 다양한 응용시스템이 개발되고 있다. 그러나 기존의 시스템들은 대부분 개별점포나 고객 담당자의 경험치를 이용하여 이루어져 왔으며, 특정업종이나 특정 고객들에 대한 객관적인 분석시스템이 제시되지 않았다. 따라서 본 연구에서는 GIS 기법뿐만 아니라 시공간 데이터마이닝 기법을 적용한 gCRMs을 개발하였다. 본 시스템은 상권추출을 위한 새로운 시공간 데이터마이닝 기법을 개발하여 다양한 GIS 응용S/W의 개발이 가능하며, 상권에서 추출된 특성정보와 상권에서 발생하는 매출 등을 정성적, 정량적으로 평가할 수 있으며, 더 많은 다양한 지역에 적용하기 위한 일반화 기술의 원천기술을 획득하여 향후 기술을 이용한 각종 마케팅이 가능하다. 또한 도지시역의 변화를 예측하는 것과 같은 시계열분석 등의 모델링 툴을 개발하는 기초적인 기술을 제공할 수 있다.

의사결정나무 분석법을 활용한 우울 노인의 특성 분석 (Analysis of the Characteristics of the Older Adults with Depression Using Data Mining Decision Tree Analysis)

  • 박명화;최소라;신아미;구철회
    • 대한간호학회지
    • /
    • 제43권1호
    • /
    • pp.1-10
    • /
    • 2013
  • Purpose: The purpose of this study was to develop a prediction model for the characteristics of older adults with depression using the decision tree method. Methods: A large dataset from the 2008 Korean Elderly Survey was used and data of 14,970 elderly people were analyzed. Target variable was depression and 53 input variables were general characteristics, family & social relationship, economic status, health status, health behavior, functional status, leisure & social activity, quality of life, and living environment. Data were analyzed by decision tree analysis, a data mining technique using SPSS Window 19.0 and Clementine 12.0 programs. Results: The decision trees were classified into five different rules to define the characteristics of older adults with depression. Classification & Regression Tree (C&RT) showed the best prediction with an accuracy of 80.81% among data mining models. Factors in the rules were life satisfaction, nutritional status, daily activity difficulty due to pain, functional limitation for basic or instrumental daily activities, number of chronic diseases and daily activity difficulty due to disease. Conclusion: The different rules classified by the decision tree model in this study should contribute as baseline data for discovering informative knowledge and developing interventions tailored to these individual characteristics.

지구관측 위성자료를 이용한 주요 대기 에어러솔 성분의 공간분포 분석 (Spatial Analysis of Major Atmospheric Aerosol Species Using Earth Observing Satellite Data)

  • 이권호
    • 한국지리정보학회지
    • /
    • 제14권2호
    • /
    • pp.109-127
    • /
    • 2011
  • 대기 에어러솔은 대기중에 존재하는 미세입자로 인체 유해성을 지니고 있으며 기후변화에 있어서도 중요한 역할을 하는 변수로 알려져 있다. 게다가 대기 에어러솔의 주요 성분에 대한 정확한 평가는 환경에 미치는 영향에 있어서도 매우 중요하다. 이 때문에 지구관측 위성자료는 대기질 감시측면에서도 효과적인 수단으로 이용되고 있다. 따라서 본 연구에서는 인공위성 관측 자료를 이용하여 전구적인 규모의 대기 에어러솔의 주요 성분별 분포변화를 알아보고자 MODIS 에어러솔 광학두께(AOT; Aerosol Optical Thickness)와 미세입자분율(FMF; Fine Mode Fraction), 그리고 TOMS 자외선 흡수성 에어러솔 지수(AAI; UV Absorbing Aerosol Index)를 이용하여 네 가지의 주요 에어러솔의 성분(먼지, 탄소성, 황산화물, 해염)을 구분할 수 있는 방법을 제시하였다. 여기서 얻어진 결과물을 검증하기 위하여 에어러솔 예측 모델자료와 각 격자별 자료로 선형회귀분석을 수행한 결과, 본 연구에서 산출된 결과물이 에어러솔의 성분별 전반적인 패턴을 잘 표현하는 것을 확인 할 수 있었다. 이렇게 주요 에어러솔 타입으로 구분된 위성자료의 사용은 대기질 감시뿐만 아니라 기후변화연구에 있어서도 도움을 줄 것으로 사료된다.

건설도면 자료의 수치지도 갱신을 위한 좌표체계 부여에 관한 연구 (The Study on Coordinate Transformation for Updating of Digital Map from Construction Drawing Data)

  • 박승용;이재빈;박우진;유기윤
    • 한국측량학회지
    • /
    • 제27권2호
    • /
    • pp.281-288
    • /
    • 2009
  • 수치지도를 최신의 데이터로 갱신하기 위한 방법론 중 건설도면을 이용하는 경우 CAD 데이터에서 필요한 객체를 추출하는 과정이 필요하다. 하지만 건설도면에 존재하는 가상좌표로 이루어진 연속객체를 활용하기 위해서는 선결조건으로 각 도면마다 분리되어진 객체를 접합하고 좌표를 부여하는 과정이 필요하다. 이를 위해서는 합리적으로 도면의 신축보정 및 축척 간 접합 등을 처리할 수 있는 기법의 개발과 CAD 좌표에서 실좌표로 변환하기 위한 방법론의 개발이 무엇보다 중요한 과정이라 할 수 있다. 본 연구는 SOC 건설 도면 중 준공도면으로 이루어진 도면 특히, 가상좌표계로 구성되어진 도로의 종평면도에 존재하는 객체들의 변환 및 활용을 위한 도면 간 접합을 2차원 등각사상변환방법과 부등각사상변환방법을 도입하여 수행하였다. 이를 위해, 도면간 이음선과 좌표경계선의 교차점을 접합점으로 하여 2차원 변환계수를 추출하고 이를 접합한 후 도면에 명시된 기준점을 이용 CAD좌표계에서 실좌표계로의 좌표변환방법을 시도하였다. 그 결과 도면접합에는 2차원 등각사상변환방법이 좋은 결과를 나타내었으며 실좌표계로의 변환은 2차원 부등각사상변환이 좋은 결과를 보여주었고, 변환 후 위치오차는 수치지도 작성내규를 만족하였다. 따라서 본 연구를 통하여 개발된 방법론은 추후 건설도면을 이용한 수치지도 갱신에 있어 활용가능성이 높을 것으로 기대된다.

주성분분석을 이용한 환경영향평가와 사후환경조사의 비교 및 평가에 관한 사례연구 (A Case Study on the Comparison and Assessment between Environmental Impact Assessment and Post-Environmental Investigation Using Principal Component Analysis)

  • 조일형;김용섭;조경덕
    • 한국환경보건학회지
    • /
    • 제31권2호
    • /
    • pp.134-146
    • /
    • 2005
  • Environmental monitoring system has been adopted and supplemented as inspection measures for the quantitative and qualitative changes of environmental impact assessment (EIA). This study compares the results of environmental impact assessment with the results of post-environmental investigation using a correction and principal component analysis (PCA) in the housing development project. Correlation analysis showed that most of air quality variables including TSP, $PM_{10},\;NO_2$, CO were linearly correlated with each other in the environmental impact assessment and the post-environmental investigation. In the water quality, pH and BOD were well correlated with the DO and SS, respectively. As a result of correlation analysis in the noise and vibration, noise in day and night and vibration in day and night were related to each other between EIA and the post-environmental investigation. From the results of analysis of soil, Cu with Cd, Cu with Pb, and Cd with Pb were related to each other in EIA. Principal component analysis (PCA) showed a powerful pattern recognition that had attempted to explain the variance of a large dataset of inter-correlated variable with a smaller set of independent variables (principal components). Principal component (PC1) and principal component (PC2) were obtained with eigenvalues> 1 summing almost $90\%$ of the total variance in the all of the items(air, water, noise, vibration and soil) in EIA and post-environmental investigation.

데이터 샘플링 기반 프루닝 기법을 도입한 효율적인 각도 기반 공간 분할 병렬 스카이라인 질의 처리 기법 (An Efficient Angular Space Partitioning Based Skyline Query Processing Using Sampling-Based Pruning)

  • 최우성;김민석;;정재화;정순영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권1호
    • /
    • pp.1-8
    • /
    • 2017
  • 다기준 의사결정 시 활용할 수 있는 스카이라인 질의는 다수의 선택지 중에서 사용자가 '선호하지 않을 만한'(uninteresting) 선택지를 제거함으로써 사용자가 검토해야 하는 선택지의 수를 대폭 감소시키기 때문에 대용량 데이터 분석 시 매우 유용하게 활용될 수 있다. 이러한 배경에서 대용량 데이터에 대한 스카이라인 질의를 분산 병렬 처리하는 기법이 각광을 받고 있으며, 특히 맵리듀스(MapReduce) 기반의 분산 병렬 처리 기법 연구가 활발히 진행되어 왔다. 맵리듀스 기반 알고리즘의 병렬성 제고를 위해서는 부하 불균등 문제 중복 계산 문제 과다한 네트워크 비용 발생 문제를 해소해야 한다. 본 논문에서는 부하 불균등 문제와 중복 계산 문제를 해소하면서도 데이터 샘플링 기반 프루닝을 통해 네트워크 비용 절감 시킬 수 있는 맵리듀스 기반 병렬 스카이라인 질의 처리 기법인 MR-SEAP(MapReduce sample Skyline object Equality Angular Partitioning)을 소개한다. 또한 다양한 관점에서의 실험 평가함으로써 제안 기법의 효용성을 다방면으로 검증했다.