• 제목/요약/키워드: bigdata

검색결과 639건 처리시간 0.023초

천리안해양관측위성 산출물 활용성 향상을 위한 오픈소스 R 기반 데이터 처리기술 연구 (A Study on Data Processing Technology based on a open source R to improve utilization of the Geostationary Ocean Color Imager(GOCI) Products)

  • 오정희;최현우;이철용;양현;한희정
    • 한국지리정보학회지
    • /
    • 제22권4호
    • /
    • pp.215-228
    • /
    • 2019
  • 해양관측 정지궤도 위성인 GOCI(Geostationary Ocean Color Imager) 데이터는 대용량 산출물을 효과적으로 저장, 배포하기 위해 HDF5 자료 형식을 사용하고 있다. 해양위성센터에서는 HDF5(Hierarchical Data Format version5) 포맷에 익숙지 않은 일반 사용자를 위해 GDPS(GOCI Data Processing System)를 개발하여 관측자료와 함께 제공하고 있다. 그럼에도 불구하고 위성데이터 특성에 대한 이해와 GDPS의 사용법을 익혀야 하는 점, 그리고 위치정보와 속성정보가 분리되어 있는 HDF5 형식의 자료를 병합하고 가공하는 일은 쉽지 않은 일이다. 따라서 본 연구에서는 오픈소스 R과 rhdf5, data.table, matrixStats 패키지를 이용하여 GDPS를 이용하는 과정 없이도 HDF5 형식의 위성데이터를 손쉽게 활용할 수 있는 알고리즘을 개발하였다.

기계학습 옵티마이저 성능 평가 (Performance Evaluation of Machine Learning Optimizers)

  • 주기훈;박치현;임현승
    • 전기전자학회논문지
    • /
    • 제24권3호
    • /
    • pp.766-776
    • /
    • 2020
  • 최근 기계학습에 대한 관심이 높아지고 연구가 활성화됨에 따라 다양한 기계학습 모델에서 최적의 하이퍼 파라미터 조합을 찾는 것이 중요해지고 있다. 본 논문에서는 다양한 하이퍼 파라미터 중에서 옵티마이저에 중점을 두고, 다양한 데이터에서 주요 옵티마이저들의 성능을 측정하고 비교하였다. 특히, 가장 기본이 되는 SGD부터 Momentum, NAG, AdaGrad, RMSProp, AdaDelta, Adam, AdaMax, Nadam까지 총 9개의 옵티마이저의 성능을 MNIST, CIFAR-10, IRIS, TITANIC, Boston Housing Price 데이터를 이용하여 비교하였다. 실험 결과, 전체적으로 Adam과 Nadam을 사용하였을 때 기계학습 모델의 손실 함숫값이 가장 빠르게 감소하는 것을 확인할 수 있었으며, F1 score 또한 높아짐을 확인할 수 있었다. 한편, AdaMax는 학습 중에 불안정한 모습을 많이 보여주었으며, AdaDelta는 다른 옵티마이저들에 비하여 수렴 속도가 느리며 성능이 낮은 것을 확인할 수 있었다.

지하철 혼잡도 개선방안에 관한 빅데이터융합 기반의 탐색적 연구 (An Exploratory Study on Improvement Method of the Subway Congestion Based Big Data Convergence)

  • 김근원;김동우;노규성;이주연
    • 디지털융복합연구
    • /
    • 제13권2호
    • /
    • pp.35-42
    • /
    • 2015
  • 빅데이터의 가치가 중요하게 인식되면서 정부를 비롯한 공공기관, 민간기업 등이 빅데이터에 관심을 가지기 시작하였다. 과거와는 다르게 다양한 데이터의 원천이 있고, 이러한 데이터의 융합을 기반으로 한 다양한 기획 및 분석기법이 등장하게 되면서, 빅데이터는 새로운 고급 정보의 창출 및 의사결정 고도화 기반으로 자리매김할 것이 확실하다. 본 연구는 다양한 대책에도 불구하고 개선되지 않는 지하철 혼잡도 문제에 대한 대안을 모색하는 것이다. 이에 본 연구는 서울시의 공공데이터를 활용하여 서울시 지하철의 혼잡도를 개선할 수 있는 방안에 대해 탐색적 접근을 시도하였다. 연구는 서울시 공공데이터 분석을 오픈 소스 R을 통해 이루어졌다. 분석 결과 혼잡도가 높은 지하철 역을 중심으로 운행하는 버스 노선을 신설하는 정책 대안을 도출하게 되었다.

교육청 공무원의 데이터 활용실태 및 교육 빅데이터 활용에 관한 인식 연구 - A도교육청을 중심으로 (A Study on Perception of Educational Big Data Utilization and Current State of Data Utilization of Officials of the Provicial Office of Education)

  • 신종호
    • 디지털융복합연구
    • /
    • 제18권9호
    • /
    • pp.39-47
    • /
    • 2020
  • 본 연구는 교육청 공무원들의 데이터 활용 실태와 빅데이터 활용에 대한 인식을 조사하여 광역시·도교육청 차원에서의 빅데이터 활용을 위한 시사점을 도출하고자 하였다. 이를 위하여 A도교육청 공무원 440명을 대상으로 온라인 설문을 진행하였다. 조사결과 교육청 공무원들이 업무에 활용하는 데이터 유형과 출처는 다양하였으며, 데이터 활용에 있어 데이터 수집 및 정제가 가장 어려운 부분으로 인식하고 있었다. 그러나 데이터 활용을 위한 소속 교육청의 인프라는 부족한 실정으로, 빅데이터 인프라 구축이 가장 필요한 요소인 것으로 나타났다. 빅데이터에 대한 지식수준은 낮지만 빅데이터 활용의 관심과 필요성을 높게 인식하고 있었다. 빅데이터 활용 목적은 현재의 교육 문제점과 해결 대안, 미래 예측에 대한 전망과 해결, 교육 수요자들의 요구 파악 등 교육정책 의제 설정과 관련되어 있었다.

헬스케어 빅데이터 유통을 위한 블록체인기술 활성화 방안 (Blockchain Technology for Healthcare Big Data Sharing)

  • 유형원;이은솔;고우균;한호성;한현욱
    • 한국빅데이터학회지
    • /
    • 제3권1호
    • /
    • pp.73-82
    • /
    • 2018
  • 미래 의학의 핵심은 개인을 중심으로 한 정밀의료(Precision Medicine)의 실현이다. 이것이 가능하기 위해서는 헬스케어 데이터를 언제 어디서나 열람, 관리 및 유통 할 수 있는 개방형 생태계를 갖추어야 한다. 하지만, 헬스케어 데이터는 민감한 개인정보를 다루기 때문에 상당한 수준의 신뢰성과 보안성이 동시에 요구된다. 이를 해결하기 위한 방안으로 최근 의료계에서도 블록체인 기술에 주목하고 있다. 블록체인 기술은 거래정보를 중앙 서버에 저장 및 관리하는 기존의 정보통신 인프라와는 달리 유통되는 데이터를 네트워크에 참여하는 모든 사용자가 분산 및 관리하는 방식의 분산 운영망 이다. 본 연구에서는 블록체인 기술을 이용해 헬스케어 데이터 유통 실증에 필요한 기술적 및 법리적 제반 사항, 코렌(KOREN SDI)망 기반 헬스케어 빅데이터 유통 실증 연구의 소개 및 헬스케어 분야에서 블록체인 기술을 활성화하기 위한 정책적 전략에 대해 논의한다.

Prediction Model of Real Estate Transaction Price with the LSTM Model based on AI and Bigdata

  • Lee, Jeong-hyun;Kim, Hoo-bin;Shim, Gyo-eon
    • International Journal of Advanced Culture Technology
    • /
    • 제10권1호
    • /
    • pp.274-283
    • /
    • 2022
  • Korea is facing a number difficulties arising from rising housing prices. As 'housing' takes the lion's share in personal assets, many difficulties are expected to arise from fluctuating housing prices. The purpose of this study is creating housing price prediction model to prevent such risks and induce reasonable real estate purchases. This study made many attempts for understanding real estate instability and creating appropriate housing price prediction model. This study predicted and validated housing prices by using the LSTM technique - a type of Artificial Intelligence deep learning technology. LSTM is a network in which cell state and hidden state are recursively calculated in a structure which added cell state, which is conveyor belt role, to the existing RNN's hidden state. The real sale prices of apartments in autonomous districts ranging from January 2006 to December 2019 were collected through the Ministry of Land, Infrastructure, and Transport's real sale price open system and basic apartment and commercial district information were collected through the Public Data Portal and the Seoul Metropolitan City Data. The collected real sale price data were scaled based on monthly average sale price and a total of 168 data were organized by preprocessing respective data based on address. In order to predict prices, the LSTM implementation process was conducted by setting training period as 29 months (April 2015 to August 2017), validation period as 13 months (September 2017 to September 2018), and test period as 13 months (December 2018 to December 2019) according to time series data set. As a result of this study for predicting 'prices', there have been the following results. Firstly, this study obtained 76 percent of prediction similarity. We tried to design a prediction model of real estate transaction price with the LSTM Model based on AI and Bigdata. The final prediction model was created by collecting time series data, which identified the fact that 76 percent model can be made. This validated that predicting rate of return through the LSTM method can gain reliability.

디지털 농업 데이터 활용 및 서비스 제공을 위한 농산업 데이터 공유 플랫폼 설계 (Designing an Agricultural Data Sharing Platform for Digital Agriculture Data Utilization and Service Delivery)

  • 김승재;이명훈;고진광
    • 한국빅데이터학회지
    • /
    • 제8권1호
    • /
    • pp.1-10
    • /
    • 2023
  • 본 논문은 국내 농업 산업이 직면한 주요 과제를 해결하기 위한 농업 데이터 공유 플랫폼의 설계 과정을 제시한다. 사용자의 편의성을 위해 사용자 요구사항을 우선적으로 고려한 인터페이스로 설계되었으며 다양한 분석 기술을 제공하여 현장에서의 환경, 생육, 경영 및 제어 데이터에 대한 분석 결과를 시각화하여 제공하는 플랫폼을 설계하였다. 또한 플랫폼은 File to DB 및 DB to DB 연결 방식을 지원하여 플랫폼과 농가 간의 원활한 연결을 보장한다. UI 디자인 프로세스는 HTML/CSS 기반 언어, JavaScript, React를 활용하여 플랫폼 로그인부터 데이터 업로드, 데이터 분석, 시각화 기능까지 포괄적인 서비스를 제공하도록 설계되었다. 본 연구를 통해 한국형 스마트팜 모델 개발에 기여하고 농업 현장 및 연구자들에게 신뢰할 수 있는 데이터를 제공할 수 있을 것으로 기대된다.

해상교통 관제 빅데이터 체계의 설계 및 구현 (Design and Implementation of Bigdata Platform for Vessel Traffic Service)

  • 김혜진;오재용
    • 해양환경안전학회지
    • /
    • 제29권7호
    • /
    • pp.887-892
    • /
    • 2023
  • 해상교통관제센터에는 RADAR, AIS(Automatic Identification System), 기상센서, VHF(Very High Frequency) 등이 설치되어 운영되고 있으며, 해상교통관제사는 이를 활용하여 관제구역을 통항하는 선박의 동정을 관찰하고 정보를 제공하는 관제 업무를 수행한다. 이들 장비에서 생성되는 각종 관제 데이터는 해상교통 상황을 분석하기 위한 자료로 그 활용 가치가 매우 높지만, 시스템 제조사간 호환성 부족 또는 정책상의 문제로 인해 체계적으로 관리되지 않고 있는 실정이다. 이에 본 연구에서는 해상교통관제센터에서 수집되는 관제 데이터를 효율적으로 수집, 저장, 관리할 수 있는 관제 빅데이터 체계를 개발하였다. 개발된 관제 빅데이터 체계는 체계 개발의 중요한 이슈 중 하나였던 운영 안정성을 확보하기 위해 마이크로서비스 아키텍처를 적용하였으며, 효율적인 실시간 운항 정보의 탐색을 위해 저장소를 이원화하여 체계 성능을 향상시킬 수 있었다. 구현된 체계는 실해역 데이터를 적용한 시범 운영을 통해 성능을 확인하고 추가적인 개선 사항을 파악하였으며, 실제 관제 환경에서의 활용 가능성을 검토하였다.

스마트 플랜트를 위한 빅데이터 및 AutoML 플랫폼 개발 (Development of Big Data and AutoML Platforms for Smart Plants)

  • 강진영;정병석
    • 한국빅데이터학회지
    • /
    • 제8권2호
    • /
    • pp.83-95
    • /
    • 2023
  • 스마트 플랜트 발전에 있어서 빅데이터 분석과 인공지능은 중요한 역할을 한다. 본 연구에서는 플랜트 데이터를 위한 빅데이터 플랫폼과 인공지능 기반 플랜트 유지 관리를 위한 'AutoML 플랫폼'을 개발하였다. 빅데이터 플랫폼은 하둡, 스파크, 카프카를 활용하여 플랜트에서 발생하는 대용량의 데이터를 수집, 처리, 적재하는 플랫폼이다. AutoML 플랫폼은 설비의 예지보전 및 공정 최적화를 위한 예측 모델을 구축하는 머신러닝 자동화 시스템이다. 위 플랫폼은 기존 플랜트 운영 정보 시스템과의 호환성을 고려하여 데이터 파이프라인을 구성하고, 웹 기반 GUI를 통해 작업자의 접근성과 편의성을 향상하였으며, 데이터 처리와 학습 알고리즘에 사용자 정의 모듈을 탑재하는 기능을 통해 유연성을 증대시켰다. 본 논문은 국내 정유회사의 특정 공정을 대상으로 플랫폼을 실제 운영해보았고, 이를 통해 스마트 플랜트를 위한 효과적인 데이터 활용 플랫폼 사례를 제시한다.

빅데이터 로그 기반 도서관 이용자 및 대출 현황 분석 - 국립세종도서관을 중심으로 - (An Analysis of Library User and Circulation Status based on Bigdata Logs A Case Study of National Library of Korea, Sejong)

  • 김태영;백지연;오효정
    • 한국도서관정보학회지
    • /
    • 제49권2호
    • /
    • pp.357-388
    • /
    • 2018
  • 본 연구는 빅데이터 로그를 기반으로 도서관 이용자 및 대출 현황을 분석함으로써 이용자 그룹별특성을 파악하고 궁극적으로는 도서관의 효율적인 운영 방안을 제안하는데 그 목적이 있다. 분석 대상 로그는 국립세종도서관에 등록된 이용자 정보, 대출 정보, 서비스 이용 정보로 구성되어 있으며, 이 중 이용자 관련 정보로는 연령 정보 107,369건, 성별 정보 106,918건, 거주지 정보 106,838건이 활용되었다. 대출 관련 정보로는 대출 이용자 정보 536,083건, 대출 횟수 정보 6,509,369건이, 서비스 이용 정보로는 82,813건이 활용되었다. 이용자 그룹별특성 분석은 연령별, 성별, 거주지별 이용자 현황 분석 및 연도별, 월별, 요일별 대출 현황 분석 등 다각도로 진행되었다. 뿐만 아니라 이용 현황 결과의 요인을 파악하기 위해 FGI 및 외부 데이터와의 연계 분석도 수행하였다. 이를 토대로 향후 국립세종도서관 운영 시 효율적인 의사결정에 도움을 줄 수 있는 개선 방안을 제안하였다. 본 연구는 분석 데이터가 적은 기존 연구와는 달리 실제 도서관 운영 시 발생한 빅데이터 로그를 기반으로 이용자 및 대출 현황을 실증적으로 분석하였다는 점에서 의의가 있다.