• 제목/요약/키워드: 분산 기계 학습

검색결과 89건 처리시간 0.023초

머신러닝을 사용한 단층 탐지 기술 연구 동향 분석 (Research Trend Analysis for Fault Detection Methods Using Machine Learning)

  • 배우람;하완수
    • 자원환경지질
    • /
    • 제53권4호
    • /
    • pp.479-489
    • /
    • 2020
  • 단층은 근원암에서 형성된 석유 가스 등의 탄화수소가 이동하는 통로이자 탄화수소를 가두는 덮개암의 역할을 할 수 있는 지질구조로, 탄화수소가 축적된 저류층을 찾기 위한 탄성파 탐사의 주요 대상 중 하나이다. 하지만 기존의 유사성, 응집성, 분산, 기울기, 단층가능성 등 탄성파 자료의 측면 방향 불연속성을 활용하는 단층 감지 방법들은 전문지식을 갖춘 해석자가 많은 계산 비용과 시간을 투자해야 한다는 문제가 있다. 따라서 많은 연구자들이 단층 해석에 필요한 계산 비용과 시간을 절약하기 위한 다양한 연구를 진행하고 있고, 최근에는 머신러닝 기술을 활용한 연구들이 활발히 수행되고 있다. 단층 해석에는 다양한 머신러닝 기술들 중 서포트백터머신, 다층퍼셉트론, 심층 신경망, 합성곱 신경망 등의 알고리즘이 사용되고 있다. 특히 합성곱 신경망을 활용한 연구는 독자적인 구조의 모델을 사용한 연구뿐만 아니라, 이미지 처리 분야에서 성능이 검증된 모델을 활용한 연구 및 단층의 위치와 주향, 경사 등의 정보를 함께 해석하는 연구도 활발히 진행되고 있다. 이 논문에서는 이러한 연구들을 조사하고 분석하여, 현재까지 단층 위치 및 단층 정보 해석에 가장 효과적인 기술은 영상 처리 분야에서 검증된 U-Net 구조를 바탕으로 한 합성곱 신경망인 것을 확인했다. 이러한 합성곱 신경망에 전이학습 및 데이터 증식 기법을 접목하면 앞으로 더욱 효과적인 단층 감지 및 정보 해석이 가능할 것으로 기대된다.

다중선형회귀와 기계학습 모델을 이용한 PM10 농도 예측 및 평가 (Evaluation and Predicting PM10 Concentration Using Multiple Linear Regression and Machine Learning)

  • 손상훈;김진수
    • 대한원격탐사학회지
    • /
    • 제36권6_3호
    • /
    • pp.1711-1720
    • /
    • 2020
  • 최근 급속한 산업화와 도시화로 인해 인위적으로 발생하는 미세먼지(Particulate matter, PM)는 기상 조건에 따라 이동 및 분산되면서 피부와 호흡기 등 인체에 악영향을 미친다. 본 연구는 기상인자를 multiple linear regression(MLR), support vector machine(SVM), 그리고 random forest(RF) 모델의 입력자료로 하여 서울시 PM10 농도를 예측하고, 모델 간 성능을 비교 평가하는데 그 목적을 둔다. 먼저 서울시에 소재한 39개소 대기오염측정망(air quality monitoring sites, AQMS)에서 관측된 PM10 농도 자료를 8:2 비율로 구분하여 모델 훈련과 검증 데이터셋으로 사용되었다. 또한 기상관측소(automatic weather system, AWS)에서 관측되고 있는 자료 중 9개 기상인자(평균기온, 최고기온, 최저기온, 일 강수량, 평균풍속, 최대순간풍속, 최대순간풍속풍향, 황사발생유무, 상대습도)가 모델의 입력자료로 선정되었다. 각 AQMS에서 관측된 PM10 농도와 MLR, SVM, 그리고 RF 모델에 의해 예측된 PM10 농도 간 결정계수(R2)는 각각 0.260, 0.772, 그리고 0.793이었고, RF 모델이 PM10 농도 예측에 가장 높은 성능을 나타냈다. 특히 모델 검증에 사용되는 AQMS 중 관악구와 강남대로 AQMS는 상대적으로 AWS에 가까워 SVM과 RF 모델에서 높은 정확도를 나타냈다. 종로구 AQMS는 AWS에서 비교적 멀리 떨어져 있지만, 인접한 두 AQMS 데이터가 모델 학습에 사용되었기 때문에 두 모델에서 높은 정확도를 나타냈다. 반면 용산구 AQMS는 AQMS 및 AWS에서 비교적 멀리 떨어져 있기에 두 모델의 성능이 낮게 나타냈다.

뇌전도 기반 마우스 제어를 위한 동작 상상 뇌 신호 분석 (Motor Imagery Brain Signal Analysis for EEG-based Mouse Control)

  • 이경연;이태훈;이상윤
    • 인지과학
    • /
    • 제21권2호
    • /
    • pp.309-338
    • /
    • 2010
  • 본 논문에서는 사지가 마비되어 신체를 움직이지 못하지만 뇌의 기능은 살아있는 장애인들을 위하여, 생각만으로 외부의 장치를 제어할 수 있도록 하는 뇌-컴퓨터 인터페이스(BCI: Brain-Computer Interface) 기술을 연구하였다. 신경생리학 분야에서의 연구 결과에 의하면, 신체를 움직이는 상상을 할 경우, 뇌의 운동/감각 피질 영역에서는 $\beta$파(14-26 Hz)와 $\mu$파(8-12 Hz)가 억제/증가되는 ERD/ERS(Event-Related Desynchronization / Synchronization) 현상이 발생한다고 알려져 있다. 본 연구에서는 이를 기반으로 혀, 발, 왼손, 오른손의 동작 상상을 자극으로 이용하여 변화하는 뇌 신호 패턴을 실시간으로 분석하여 피험자의 생각을 읽을 수 있도록 하였으며, 상 하 좌 우의 네 방향으로 이동할 수 있도록 하는 마우스 제어 인터페이스를 구현하였다. 동작 상상 시 발생하는 뇌 신경 활동의 변화를 관측하기 위해서 뇌에 손상을 주지 않으면서도 높은 시간 해상도로 측정이 가능한 비침습적 뇌전도(EEG: ElectroEncephaloGraphy)를 이용하였다. 그러나 뇌전도 신호는 특성상 신호의 크기가 미약하고, 잡음의 영향을 많아 분석이 어렵다. 따라서 이를 극복하기 위해 통계적 방법을 기반으로 한 기계학습 기법인 CSP(Common Spatial Pattern)와 선형판별 분석(Linear Discriminant Analysis)을 이용하여 서로 다른 동작 상상에 의해 발생하는 뇌 신호들 간의 분산이 최대가 되도록 신호를 변환하여 인식 성능을 높일 수 있었다. 또한 분석된 뇌 신호의 시각화를 통해, 기존에 알려진 뇌의 해부학적, 신경생리학적 지식과 일치하는 ERD/ERS 현상이 발생하는 것을 확인할 수 있었다.

  • PDF

국방분야 인공지능과 블록체인 융합방안 연구 (The study of Defense Artificial Intelligence and Block-chain Convergence)

  • 김세용;권혁진;최민우
    • 인터넷정보학회논문지
    • /
    • 제21권2호
    • /
    • pp.81-90
    • /
    • 2020
  • 본 연구는 인공지능의 국방 분야 활용 시 데이터 위·변조 방지를 위한 블록체인 기술의 적용방안을 연구 하는데 목적이 있다. 인공지능은 빅 데이터를 다양한 기계학습 방법론을 적용하여 군집화하거나 분류하여 예측하는 기술이며 미국을 비롯한 군사 강대국은 기술의 완성단계에 이르렀다. 만약 데이터를 기반으로 하는 인공지능의 데이터 위·변조가 발생한다면 데이터의 처리과정이 완벽하더라도 잘못된 결과를 도출할 것이며 이는 가장 큰 적의 위험요소가 될 수 있고 데이터의 위·변조는 해킹이라는 형태로 너무나 쉽게 가능하다. 만약 무기화된 인공지능이 사용하는 데이터가 북한으로부터 해킹되어 조작되어 진다면 예상치 못한 곳의 공격이 발생할 수도 있다. 따라서 인공지능의 사용을 위해서는 데이터의 위·변조를 방지하는 기술이 반드시 필요하다. 데이터의 위·변조 방지는 해수함수로 암호화된 데이터를 연결된 컴퓨터에 분산 저장하여 한 대의 컴퓨터가 해킹되더라도 연결된 컴퓨터의 과반 이상이 동의하지 않는 한 데이터가 손상되지 않는 기술인 블록체인을 적용함으로써 문제를 해결할 수 있을 것으로 기대한다.

유출유 이동 가시화 및 입자 매칭 알고리즘 (Oil Spill Visualization and Particle Matching Algorithm)

  • 이현창;김용혁
    • 한국융합학회논문지
    • /
    • 제11권3호
    • /
    • pp.53-59
    • /
    • 2020
  • 허베이 스피리트호 기름유출사고와 같은 해양 유류유출사고에서 잘못된 초기대응은 경제 손실뿐만 아니라 생태계에 큰 피해를 입힌다. 하지만 다양한 변수가 존재하는 해양에서 유출유의 움직임을 예측하는 것은 매우 힘든일이다. 이를 해결하기 위해서 뜰개 데이터를 활용해서 바다위의 부유물의 이동을 연구하는 기존 연구인 입자예측을 확장하여 면단위로 예측을 하는 유출유 예측 가시화를 진행하였다. 해양 데이터 포맷인 HDF5에서 특정 위치의 해류, 풍속 데이터를 양선형 보간법을 이용해 추출한 뒤, 수많은 점들의 이동을 입자예측하여 그 결과를 폴리곤 및 히트맵을 이용해 가시화 하였다. 또한 뜰개데이터의 문제점인 데이터 부족과 유출유와 움직임이 다른 점을 해결 하기 위해 유출유로부터 입자 데이터를 얻어낼 수 있는 유출유 입자 매칭 알고리즘을 제안한다. 유출유 입자 매칭 알고리즘은 면단위 유출유의 모습을 입자화 하여 입자의 움직임을 추적하는 알고리즘이다. 주성분 분석을 이용하여 문제를 분할하고, 유출유의 이동 거리의 분산이 최소화 되는 지점으로 유전알고리즘을 이용해 매칭하였다. 유출유 가시화 결과 데이터로 검증한 결과 주성분 분석과 유전알고리즘을 이용한 입자매칭 알고리즘이 가장 성능이 뛰어난 것을 확인할 수 있었으며, 평균 데이터 오차는 3.2%로 의미있는 연구임을 확인하였다.

신뢰값 기반 대용량 트리플 처리를 위한 스파크 환경에서의 RDFS 온톨로지 추론 (Spark based Scalable RDFS Ontology Reasoning over Big Triples with Confidence Values)

  • 박현규;이완곤;바트셀렘;박영택
    • 정보과학회 논문지
    • /
    • 제43권1호
    • /
    • pp.87-95
    • /
    • 2016
  • 최근 인터넷과 디바이스의 발전으로 지식 정보의 양이 방대해 지면서 대용량 온톨로지를 이용한 추론 연구가 활발히 진행되고 있다. 일반적으로 트리플로 표현되는 빅데이터는 기계학습 프로그램이나 지식 공학자가 각 트리플의 신뢰도를 측정하여 제공한다. 하지만 수집된 데이터는 불확실한 데이터를 포함하고 있으며, 이러한 데이터를 추론하는 것은 불확실성을 내포한 추론 결과를 초래할 수 있다. 본 논문에서는 불확실성 문제를 해결하기 위해 수집된 데이터에 대한 신뢰의 정도를 나타내는 신뢰값(Confidence Value)를 이용한 RDFS 규칙 추론 방법에 대하여 설명하고, 메모리 기반의 분산 클러스터 프레임워크인 스파크(Spark)를 기반으로 데이터의 불확실성에 대한 고려를 하지 않는 기존의 추론 방법과 달리 신뢰값 계산에 대한 방법을 응용하여 RDFS 규칙을 통해 추론되는 새로운 데이터의 신뢰값을 계산하며, 계산된 신뢰값은 추론된 데이터에 대한 불확실성을 나타낸다. 제안하는 추론 방법의 성능을 검증하기 위해 온톨로지 추론과 검색 속도를 평가할 때 활용되는 공식 데이터인 LUBM을 대상으로 신뢰값을 추가하여 실험을 수행하였으며, 가장 큰 데이터인 LUBM3000을 수행하였을 때 1179초의 추론시간이 소요되었고, 초당 350K 트리플을 처리할 수 있는 성능을 보였다.

심층신경망과 천리안위성 2A호를 활용한 지상기온 추정에 관한 연구 (Estimation for Ground Air Temperature Using GEO-KOMPSAT-2A and Deep Neural Network)

  • 엄태윤;김광년;조용한;송근용;이윤정;이윤곤
    • 대한원격탐사학회지
    • /
    • 제39권2호
    • /
    • pp.207-221
    • /
    • 2023
  • 본 연구는 천리안위성 2A호의 Level 1B (L1B) 정보를 사용해 지상기온을 추정하기 위한 심층신경망(deep neural network, DNN) 기법을 적용하고 검증을 실시하였다. 지상기온은 지면으로부터 1.5 m 높이의 대기온도로 일상생활뿐만 아니라 폭염이나 한파와 같은 이슈에 밀접한 관련을 갖는다. 지상기온은 지표면 온도와 대기의 열 교환에 의해 결정되므로 위성으로부터 산출된 지표면 온도(land surface temperature, LST)를 이용한 지상기온 추정 연구가 활발하였다. 하지만 천리안위성 2A호 산출물 LST는 Level 2 정보로 구름영향이 없는 픽셀만 산출되는 한계가 있다. 따라서 본 연구에서는 Advanced Meteorological Imager 센서에서 측정된 원시데이터에 오직 복사와 위치보정을 마친 L1B 정보를 사용해 지상기온을 추정하기 위한 DNN 모델을 제시하고 그 성능을 가늠하기 위해 위성 LST와 지상관측 기온 사이의 선형회귀모델을 기준모델로 사용하였다. 연구기간은 2020년부터 2022년까지 3년으로 평가기간 2022년을 제외한 기간은 훈련기간으로 설정했다. 평가지표는 기상청의 종관기상관측소에서 정시에 관측된 기온정보로 평균 제곱근 오차를 사용하였다. 관측지점에서 추출된 픽셀 중 손실된 픽셀의 비율은 LST는 57.91%, L1B는 1.63%를 보였으며 LST의 비율이 낮은 이유는 구름의 영향 때문이다. 제안한 DNN의 구조는 16개 L1B 자료와 태양정보를 입력 받는 층과 은닉층 4개, 지상기온 1개를 출력하는 층으로 구성하였다. 연구결과 구름의 영향이 없는 경우 DNN 모델이 root mean square error (RMSE) 2.22℃로 기준모델의 RMSE 3.55℃ 보다 낮은 오차를 보였고, 흐린 조건을 포함한 총 RMSE는 3.34℃를 나타내면서 구름의 영향을 제거할 수 있을 것으로 보였다. 하지만 계절과 시간에 따른 분석결과 여름과 겨울철에 모델의 결정계수가 각각 0.51과 0.42로 매우 낮게 나타났고 일 변동의 분산이 0.11과 0.21로 나타났다. 가시채널을 고려해 태양 위치정보를 추가한 결과에서 결정계수가 0.67과 0.61로 개선되었고 시간에 따른 일 변동의 분산도 0.03과 0.1로 감소하면서 모든 계절과 시간대에 더 일반화된 모델을 생성할 수 있었다.

지능형 전망모형을 결합한 로보어드바이저 알고리즘 (Robo-Advisor Algorithm with Intelligent View Model)

  • 김선웅
    • 지능정보연구
    • /
    • 제25권2호
    • /
    • pp.39-55
    • /
    • 2019
  • 최근 은행과 증권회사를 중심으로 다양한 로보어드바이저 금융상품들이 출시되고 있다. 로보어드바이저는 사람 대신 컴퓨터가 포트폴리오 자산배분에 대한 투자 결정을 실행하기 때문에 다양한 자산배분 알고리즘이 활용되고 있다. 본 연구에서는 대표적 로보어드바이저 알고리즘인 블랙리터만모형의 강점을 살리면서 객관적 투자자 전망을 도출할 수 있는 지능형 전망모형을 제안하고 이를 내재균형수익률과 결합하여 최종 포트폴리오를 도출하는 로보어드바이저 자산배분 알고리즘을 새로이 제안하며, 실제 주가자료를 이용한 실증분석 결과를 통해 전문가의 주관적 전망을 대신할 수 있는 지능형 전망모형의 실무적 적용 가능성을 보여주고자 한다. 그동안 주가 예측에서 우수한 성과를 보여주었던 기계학습 방법 중 SVM 모형을 이용하여 각 자산별 기대수익률에 대한 예측과 예측 확률을 도출하고 이를 각각 기대수익률에 대한 투자자 전망과 전망에 대한 신뢰도 수준의 입력변수로 활용하는 지능형 전망모형을 제안하였다. 시장포트폴리오로부터 도출된 내재균형수익률과 지능형 전망모형의 기대수익률, 확률을 결합하여 최종적인 블랙리터만모형의 최적포트폴리오를 도출하였다. 주가자료는 2008년부터 2018년까지의 132개월 동안의 8개의 KOSPI 200 섹터지수 월별 자료를 분석하였다. 블랙리터만모형으로 도출된 최적포트폴리오의 결과가 기존의 평균분산모형이나 리스크패리티모형 등과 비교하여 우수한 성과를 보여주었다. 구체적으로 2008년부터 2015년까지의 In-Sample 자료에서 최적화된 블랙리터만모형을 2016년부터 2018년까지의 Out-Of-Sample 기간에 적용한 실증분석 결과에서 다른 알고리즘보다 수익과 위험 모두에서 좋은 성과를 기록하였다. 총수익률은 6.4%로 최고 수준이며, 위험지표인 MDD는 20.8%로 최저수준을 기록하였다. 수익과 위험을 동시에 고려하여 투자 성과를 측정하는 샤프비율 역시 0.17로 가장 좋은 결과를 보여주었다. 증권계의 애널리스트 전문가들이 발표하는 투자자 전망자료의 신뢰성이 낮은 상태에서, 본 연구에서 제안된 지능형 전망모형은 현재 빠른 속도로 확장되고 있는 로보어드바이저 관련 금융상품을 개발하고 운용하는 실무적 관점에서 본 연구는 의의가 있다고 판단된다.

미국 프로농구(NBA)의 플레이오프 진출에 영향을 미치는 주요 변수 예측: 3점과 턴오버 속성을 중심으로 (Prediction of Key Variables Affecting NBA Playoffs Advancement: Focusing on 3 Points and Turnover Features)

  • 안세환;김영민
    • 지능정보연구
    • /
    • 제28권1호
    • /
    • pp.263-286
    • /
    • 2022
  • 본 연구는 웹 크롤링을 이용하여 1990년부터 2022년까지 총 32개년에 해당하는 NBA 통계 정보를 획득하고, 탐색적 데이터 분석을 통해 관심 변수를 관찰하고 관련된 파생변수를 생성한다. 입력 데이터에 대한 정제 과정을 거쳐 무의미한 변수들을 제거하고, 남은 변수에 대한 상관관계 분석, t 검정 및 분산분석을 수행하였다. 관심 변수에 대해 플레이오프 진출/미진출 그룹 간 평균의 차이를 검정하였고, 이를 보완하기 위해 순위를 기준으로 하는 3개 집단(상위/중위/하위) 간 평균 차이를 재확인하였다. 입력 데이터 중 올해 시즌 데이터만을 테스트 세트로 활용하였고, 모델 훈련을 위해서는 훈련 세트와 검증 세트를 분할하여 5-fold 교차검증을 수행하였다. 교차검증 결과와 시험 세트를 이용한 최종 분석 결과를 비교하여 성능 지표에서 차이가 없음을 확인함으로써 과적합 문제를 해결하였다. 원시 데이터의 품질 수준이 높고, 통계적 가정을 만족하기 때문에 적은 수준의 데이터 세트임에도 불구하고 대부분 모델에서 좋은 결과를 나타냈다. 본 연구는 단순히 머신러닝을 이용하여 NBA의 경기 결과를 예측하거나 플레이오프 진출 여부만을 분류하는 것에서 그치지 않고, 입력 특성의 중요도를 파악하여 높은 중요도를 갖는 주요 변수에 본 연구의 관심 대상 변수가 포함되는지를 확인하였다. Shap value의 시각화를 통해 특성 중요도의 결과만으로 해석할 수 없었던 한계를 극복하고, 변수의 진입/제거 과정에서 중요도 산출에 일관성이 부족하다는 점을 보완할 수 있었다. 본 연구에서 관심 대상으로 분류했던 3점 및 실책과 관련된 다수의 변수가 미국 프로농구에서의 플레이오프 진출에 영향을 미치는 주요 변수에 포함되는 것으로 나타났다. 본 연구는 기존의 스포츠 데이터 분석 분야에서 다루었던 경기 결과, 플레이오프 및 우승 예측 등의 주제를 포함하고 분석을 위해 여러 머신러닝 모델을 비교 분석했다는 점에서 유사성이 있지만, 사전에 관심 속성을 설정하고, 이를 통계적으로 검증함으로써 머신러닝 분석 결과와 비교하였다는 측면에서 차이가 있다. 또한 XAI 모델 중 하나인 SHAP를 이용하여 설명 가능한 시각화 결과를 제시함으로써 기존 연구와 차별화하였다.