• 제목/요약/키워드: MapReduce model

검색결과 158건 처리시간 0.028초

임의의 잡음 신호 추가를 활용한 적대적으로 생성된 이미지 데이터셋 탐지 방안에 대한 연구 (Random Noise Addition for Detecting Adversarially Generated Image Dataset)

  • 황정환;윤지원
    • 한국정보전자통신기술학회논문지
    • /
    • 제12권6호
    • /
    • pp.629-635
    • /
    • 2019
  • 여러 분야에서 사용되는 이미지 분류를 위한 딥러닝(Deep Learning) 모델은 오류 역전파 방법을 통해 미분을 구현하고 미분 값을 통해 예측 상의 오류를 학습한다. 엄청난 계산량을 향상된 계산 능력으로 해결하여, 복잡하게 설계된 모델에서도 파라미터의 전역 (혹은 국소) 최적점을 찾을 수 있다는 것이 장점이다. 하지만 정교하게 계산된 데이터를 만들어내면 이 딥러닝 모델을 '속여' 모델의 예측 정확도와 같은 성능을 저하시킬 수 있다. 이렇게 생성된 적대적 사례는 딥러닝을 저해할 수 있을 뿐 아니라, 사람의 눈으로는 쉽게 발견할 수 없도록 정교하게 계산되어 있다. 본 연구에서는 임의의 잡음 신호를 추가하는 방법을 통해 적대적으로 생성된 이미지 데이터셋을 탐지하는 방안을 제안한다. 임의의 잡음 신호를 추가하였을 때 일반적인 데이터셋은 예측 정확도가 거의 변하지 않는 반면, 적대적 데이터셋의 예측 정확도는 크게 변한다는 특성을 이용한다. 실험은 공격 기법(FGSM, Saliency Map)과 잡음 신호의 세기 수준(픽셀 최댓값 255 기준 0-19) 두 가지 변수를 독립 변수로 설정하고 임의의 잡음 신호를 추가하였을 때의 예측 정확도 차이를 종속 변수로 설정하여 시뮬레이션을 진행하였다. 각 변수별로 일반적 데이터셋과 적대적 데이터셋을 구분하는 탐지 역치를 도출하였으며, 이 탐지 역치를 통해 적대적 데이터셋을 탐지할 수 있었다.

지리정보시스템(GIS) 및 베이지안 확률 기법을 이용한 보은지역의 산사태 취약성도 작성 및 검증 (Landslide Susceptibility Mapping and Verification Using the GIS and Bayesian Probability Model in Boun)

  • 최재원;이사로;민경덕;우익
    • 자원환경지질
    • /
    • 제37권2호
    • /
    • pp.207-223
    • /
    • 2004
  • 본 연구의 목적은 1998년 보은 지역에서 발생한 산사태와 관련 자료간의 공간적인 관련성을 밝히고, 이를 이용하여 산사태 취약성도를 작성 및 검증하는 것이다. 산사태 위치는 항공사진 및 현장조사를 통해 탐지되었고, 지형, 토양, 임상, 토지 피복 둥의 자료는 GIS를 이용하여 공간 DB로 구축되었다. 산사태 발생과 관련된 요인으로써, 경사, 경사방향, 지형곡률, 지형종류, 토질, 토양모재, 토양배수, 유효토심, 임상, 임상 영급, 임상 경급, 임상 밀도, 암상, 선구조로 부터의 거리, 토지 피복 등이 사용되었다. 산사태와 이러한 요인들간의 관계를 밝히기 위해, 베이지안 확률 기법인 weight of evidence 기법이 적용되어서 >$W^{+}$->$W^{-}$인 constrast값을 계산하였다. 그 constrast값을 모두 합하여 산사태 취약성 지수를 계산하였고, 그 지수값을 이용하여 산사태 취약성도를 작성하였다. 산사태 취약성도는 관련된 재해를 줄이고, 토지이용 및 건설 등을 계획하는데 사용될 수 있다.

GIS를 활용한 상세계획 지원시스템의 개발 (Development of District-level Planning Support System by using GIS)

  • 고준환;주용수
    • 한국측량학회지
    • /
    • 제16권2호
    • /
    • pp.251-258
    • /
    • 1998
  • 도시를 관리하고 계획하는 과정은 정보의 수집, 처리, 분석과정이라 해도 과언이 아니다. 특히, 지구를 대상으로 하는 상세계획의 경우는, 도시의 물적 환경을 구성하는 기본요소인 대지, 도로, 건축물 등에 대한 다양한 정보를 획득, 분석함으로써 분석대상 지구의 공간을 인식할 수 있고, 이를 통해서 공간계획을 수립하게 된다. 상세계획 과정에 있어서 지리정보시스템의 활용은 현재까지 현황자료의 단순한 주제도 작성에만 활용되고 있을 뿐이다. 공간인식 및 계획과정에서의 분석적 목적에는 아직까지 효율적으로 활용되고 있지 않다. 따라서, 본 연구에서는 상세계획을 지원하기 위한 시스템을 지리정보시스템을 활용하여 개발하는데 목적이 있다. 이를 위해서 우선, 상세계획 특성에 따른 도시의 지구(district)레벨의 물적 환경 구성의 기본요소인 건축물, 대지, 도로 등에 대한 현황자료의 데이터베이스 설계 방법론을 제시하고, 공간관계를 이용한 물적 요소간의 위상(topology)을 정의하였다. 아울러 이를 바탕으로 한 상세계획 지원을 위한 공간질의기를 ArcView와 Avenue, Dialog Extension을 이용하여 개발하였고, 이를 사례지역에 적용해 보았다. 결론적으로 본 연구를 통하여 공간의사결정 규칙을 활용한 상세계획 지원시스템의 활용 가능성을 확인하였고, 보다 효율적 인 시스템으로 상세계획의 불확실성을 줄이기 위해서는 최신의 지형도의 확보와 지형도와 지적도의 불부합 문제를 해결해 나가야 하겠다. 아울러서 래스터, 네트워크, 이미지, 3차원자료를 활용할 수 있는 방법을 개발해야 한다.

  • PDF

지역적인 GPS 관측 데이터를 이용한 이온층 모델링 및 추정 (Ionosphere Modeling and Estimation Using Regional GPS Data)

  • 황유라;박관동;박필호;임형철;조정호
    • 대한원격탐사학회지
    • /
    • 제19권4호
    • /
    • pp.277-284
    • /
    • 2003
  • 이온층 구면을 사각형 격자로 분할하여 각 격자에서 총전자수를 추정하는 지역적 GPS 이 온층 모델을 제시한다. 한반도 상공을 위도와 경도 1$^{\circ}$$\times$1$^{\circ}$의 공간해상도를 가진 격자로 구분하고 칼만 필터(Kalman filter)를 이용하여 격자 상의 총전자수를 추정하였다. 이 연구를 위해 한국천문연구원에서 운영하고 있는 전국 규모의 9개 GPS 상시 관측소의 데이터를 이용하였다. 수신된 의사거리 데이터의 측정 잡음을 줄이기 위해 의사거리와 반송파 위상 데이터를 선형 조합한 위상보정 의사거리(phase-leveled pseudorange) 데이터를 새롭게 만들어 사용하였다. 또한 지역적 이온층의 변화에 적합한 태양-지자기 좌표계(solar-geomagnetic reference frame)를 이용하였다. 태양 활동이 비교적 활발하지 않은 때의 경우, 이 연구의 모델은 이온층 활동이 활발한 낮 시간대의 총전자수가 대략 30-45 TECU 정도로 나타났다. 이 모델의 신뢰성을 평가하기 위해 한국천문연구원(Korea Astronomy Observatory, KAO)의 지역적 모델과 Center for Orbit Determination in Europe의 전 지구적 모델에 의한 총전자수를 동일 지역에 대해 비교했을 때 5일 동안 약 4-5 TECU 정도의 RMS 차이를 보였다.

도시지역에서 토지피복 유형별 지표면 온도 예측 분석 (Prediction of Land Surface Temperature by Land Cover Type in Urban Area)

  • 김근한
    • 대한원격탐사학회지
    • /
    • 제37권6_3호
    • /
    • pp.1975-1984
    • /
    • 2021
  • 도시 확장은 도시의 온도를 상승시키고, 이러한 도시의 온도 상승은 사회적, 경제적, 신체적 피해를 초래한다. 이러한 도시열섬을 예방하고 도시의 지표면 온도를 감소시키기 위해서는 도시 공간을 구성하는 지형지물들의 냉각 효과를 계량화하는 것이 중요하다. 이에 본 연구에서는 서울을 대상으로 토지피복 각각의 객체들과 지표면 온도와의 관계를 파악하고자 토지피복지도 6개 클래스로 분류하여 지표면 온도와 객체들의 면적, 둘레/면적, 정규식생지수와의 상관분석과 다중회귀분석을 수행했다. 분석 결과 정규식생지수는 지표면 온도와 상관성이 높게 나타났다. 그리고 다중회귀분석에서도 지표면 온도 예측에 정규식생지수가 다른 계수보다 높은 영향력을 행사했다. 다만 다중회귀분석 결과 도출된 모델들의 설명력은 낮게 나타났는데, 향후 아리랑 3A의 고해상 중적외선 데이터를 연계 활용하여 지속적인 모니터링을 수행한다면 모델의 설명력을 한층 강화할 수 있을 것이다. 그리고 녹지공간의 식생 활력까지 고려한 토지피복 유형과 도시 공간 내 지표면 온도와의 관계를 기반으로 도시계획에 활용한다면 도시의 지표면 온도를 저감하는데 큰 도움이 될 수 있을 것으로 판단된다.

DEVS 형식론 기반의 재겨냥성 하둡 시뮬레이션 환경 개발 (Development of Retargetable Hadoop Simulation Environment Based on DEVS Formalism)

  • 김병수;강봉구;김탁곤;송해상
    • 한국시뮬레이션학회논문지
    • /
    • 제26권4호
    • /
    • pp.51-61
    • /
    • 2017
  • 최근 빅 데이터가 증가하는 추세에 따라 이를 분석 및 처리하고 활용하는 방안에 대한 관심도 증대되고 있다. 이러한 빅 데이터를 저장, 관리하기 위한 대표적인 플랫폼으로 분산 컴퓨팅 프레임워크인 맵리듀스와 분산 파일 시스템인 HDFS로 구성된 하둡 플랫폼이 있다. 하둡은 일반적으로 수백 수천 대 이상의 클러스터로 구축되는데, 이 때 실제 클러스터 구성이나 파라미터에 따라 하둡 플랫폼이 가지는 효과도를 분석하는 것이 중요하다. 하지만 수천 대 이상의 클러스터 구축하여 이를 분석하는 것이 실질적으로 어렵기 때문에 모델링 및 시뮬레이션 기법을 통해 분석하는 것이 필요하다. 본 논문은 계층적이고 모듈러한 모델링이 가능한 DEVS 형식론을 기반으로 하둡 시뮬레이션 환경을 제안한다. 제안하는 시뮬레이션 환경은 하둡 실행 결과를 이용한 입력 모델 설계를 통해 어플리케이션의 특성을 잘 반영할 수 있으며, 파라미터/알고리즘/모델들을 다양하게 변경하여 실험할 수 있는 재겨냥성 환경을 제공한다. 또한 사용자 편의성의 극대화를 위해 사용자 인터페이스, 실시간 모델 뷰어, 입력 시나리오 편집기를 제공한다. 본 논문에서는 어플리케이션 실행 결과와의 비교를 통해 하둡 시뮬레이터를 검증하고, 다양한 파라미터에 대한 실험을 진행한다.

Apache Spark를 활용한 대용량 데이터의 처리 (Processing large-scale data with Apache Spark)

  • 고세윤;원중호
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1077-1094
    • /
    • 2016
  • 아파치 스파크는 빠르고 범용성이 뛰어난 클러스터 컴퓨팅 패키지로, 복구 가능한 분산 데이터셋이라는 새로운 추상화를 통해 데이터를 인메모리에 유지하면서도 결함 감내성을 얻을 수 있는 방법을 제공한다. 이러한 추상화는 하드디스크에 직접 데이터를 읽고 쓰는 방식으로 결함 감내성을 제공하는 기존의 대표적인 대용량 데이터 분석 기술인 맵 리듀스 프레임워크에 비해 상당한 속도 향상을 거두었다. 특히 로지스틱 회귀 분석이나 K-평균 군집화와 같은 반복적인 기계 학습 알고리즘이나 사용자가 실시간으로 데이터에 관한 질의를 하는 대화형 자료 분석에서 스파크는 매우 효율적인 성능을 보인다. 뿐만 아니라, 높은 범용성을 바탕으로 하여 기계 학습, 스트리밍 자료 처리, SQL, 그래프 자료 처리와 같은 다양한 고수준 라이브러리를 제공한다. 이 논문에서는 스파크의 개념과 프로그래밍 모형에 대해 소개하고, 이를 통해 몇 가지 통계 분석 알고리즘을 구현하는 방법에 대해 소개한다. 아울러, 스파크에서 제공하는 기계 학습 라이브러리인 MLlib과 R 언어 인터페이스인 SparkR에 대해 다룬다.

병렬 프로그램 로그 군집화 기반 작업 실행 시간 예측모형 연구 (Runtime Prediction Based on Workload-Aware Clustering)

  • 김은혜;박주원
    • 산업경영시스템학회지
    • /
    • 제38권3호
    • /
    • pp.56-63
    • /
    • 2015
  • Several fields of science have demanded large-scale workflow support, which requires thousands of CPU cores or more. In order to support such large-scale scientific workflows, high capacity parallel systems such as supercomputers are widely used. In order to increase the utilization of these systems, most schedulers use backfilling policy: Small jobs are moved ahead to fill in holes in the schedule when large jobs do not delay. Since an estimate of the runtime is necessary for backfilling, most parallel systems use user's estimated runtime. However, it is found to be extremely inaccurate because users overestimate their jobs. Therefore, in this paper, we propose a novel system for the runtime prediction based on workload-aware clustering with the goal of improving prediction performance. The proposed method for runtime prediction of parallel applications consists of three main phases. First, a feature selection based on factor analysis is performed to identify important input features. Then, it performs a clustering analysis of history data based on self-organizing map which is followed by hierarchical clustering for finding the clustering boundaries from the weight vectors. Finally, prediction models are constructed using support vector regression with the clustered workload data. Multiple prediction models for each clustered data pattern can reduce the error rate compared with a single model for the whole data pattern. In the experiments, we use workload logs on parallel systems (i.e., iPSC, LANL-CM5, SDSC-Par95, SDSC-Par96, and CTC-SP2) to evaluate the effectiveness of our approach. Comparing with other techniques, experimental results show that the proposed method improves the accuracy up to 69.08%.

유방암 환자를 위한 1:1 맞춤형 애플리케이션 연구 -서비스 디자인 방법을 중심으로- (A Study of One-to-One Custom Application for Breast Cancer Patient -Focusing on Service Design Methods-)

  • 최민영;김승인
    • 디지털융복합연구
    • /
    • 제15권7호
    • /
    • pp.367-373
    • /
    • 2017
  • 본 연구는 지속해서 증가하는 유방암 환자의 수술 후 신체 및 정신적 고통 완화를 도와주는 모바일 애플리케이션 서비스 제안에 목적이 있다. 먼저 연구 목적 달성을 위해 문헌연구를 통한 유방암의 전반적인 이해와 이와 유사한 서비스를 분석하였다. 이후 서비스 디자인 방법론인 더블 다이아몬드 디자인 프로세스 모델을 단계별로 적용하여 사후관리 중심의 1:1 맞춤형 전문가 코칭(coaching) 서비스를 제공하는 모바일 애플리케이션을 고안하였다. 세부적으로는 첫째, 현재 진행되는 프로그램 분석과 이해관계자들(유방암 환자, 보호자, 간호사 및 병원 내 암센터 용품 판매원)과의 인터뷰를 통해 사용자 니즈(needs)를 도출하였다. 둘째, 이를 기반으로 사용자를 대표하는 페르소나와 고객여정맵을 토대로 한 전체적인 시나리오를 시각화, 콘셉트 설정 및 키워드 도출로 본 연구를 구체화하였다. 셋째, 구체적인 기능 설명과 함께 효과적으로 전달하기 위한 프로토타입을 제작하여 최종 목표인 모바일 애플리케이션 서비스를 제안하였다. 본 서비스를 통하여 그들의 삶의 질을 향상시키는 서비스가 되길 기대한다.

깊이 맵 기반의 실시간 가상 영상합성 시스템의 설계 및 구현 (The Design and Implementation of Real-time Virtual Image Synthesis System of Map-based Depth)

  • 이혜미;류남훈;노관승;김응곤
    • 한국전자통신학회논문지
    • /
    • 제9권11호
    • /
    • pp.1317-1322
    • /
    • 2014
  • 영상물을 완성하기 위해서는 실사 배우의 동작을 캡처하여 가상 환경과 합성하는 과정을 거치게 된다. 이때 제작비용의 과다소요 또는 후처리 기술의 부재로 인하여 수작업으로 제작하는 것이 일반적이다. 배우는 크로마키 가상스튜디오에서 상상력에 의존하여 연기를 하게 되는데, 실존하지 않는 물체와의 충돌 및 반응을 고려하여 움직여야 한다. CG를 통한 합성 과정에서 배우의 움직임과 가상 환경이 어긋나는 경우는 원본 영상을 폐기하고, 재촬영해야 하는 문제가 발생한다. 본 논문에서는 재촬영의 비율을 줄이고, 제작기간 단축 및 제작 비용절감을 위한 깊이 기반의 실시간 3D 가상 영상합성 시스템을 제안하고 구현한다. 가상 배경과 3D 모델, 실사 배우를 실시간으로 합성하여 상호간의 충돌이나 반응을 촬영 현장에서 판단할 수 있으므로 배우의 잘못된 위치나 연기를 개선할 수 있게 한다.