• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제24권1호
• /
• pp.24-32
• /
• 2018

본 논문은 산업 현장과 민간에서 실시간으로 수집되는 에너지 빅데이터를 수용하는 빅데이터 시스템을 제안한다. 구축된 빅데이터 시스템은 하둡(Hadoop) 기반이며, 빅데이터 처리에 있어 인메모리(in-memory) 분산처리 컴퓨팅을 지원하는 스파크(Spark) 프레임워크가 동시에 적용되었다. 본문에서는 지역난방에 사용되는 열에너지 형태의 빅데이터에 초점을 두어, 입출력되는 에너지의 특성을 고려하며 실시간 수집되는 빅데이터를 적재, 관리, 처리 및 분석하는 방법을 다룬다. 이 때, 외부에서 유입되는 빅데이터는 시스템 내부에 설계된 관계형 데이터베이스 스키마에 따라 저장하고 관리되며, 저장된 빅데이터는 설정된 목적에 따라 처리하고 분석된다. 제안된 빅데이터 시스템과 더불어 지역난방과 관련한 복수의 실증현장으로부터 실시간으로 수집되는 열에너지 빅데이터에 대해 시스템이 활용된 사례를 기술한다.

• 디지털콘텐츠학회 논문지
• /
• 제18권1호
• /
• pp.149-158
• /
• 2017

빅데이터는 경제개발에서 흥미로운 기회와 도전을 보여왔다. 예를 들어, 농업 분야에서 날씨 데이터 및 토양데이터와 같은 복합데이터의 조합과 이들의 분석 결과는 농업종사자 및 농업경영체들에게 귀중하고 도움되는 정보를 제공한다. 그러나 농업 데이터는 센서들과 농업 웹 마켓 등의 다양한 형태의 장치 및 서비스들을 통해 매 분마다 대규모로 생성된다. 이는 데이터 수집, 저장, 분석과 같은 빅데이터 이슈들을 발생시킨다. 비록 몇몇 시스템들이 이 문제를 해결하기 위해 제안되었으나, 이들은 다루는 데이터 종류의 제약, 저장 방식의 제약, 데이터 크기의 제약 등의 문제를 여전히 가지고 있다. 이 논문에서는 농업데이터의 수집과 분석 플랫폼의 새로운 설계를 제안한다. 제안하는 플랫폼은 (1) Flume과 MapReduce를 이용한 다양한 데이터 소스들로부터의 데이터 수집 방법, (2) HDFS, HBase, 그리고 Hive를 이용한 다양한 데이터 저장 방법, (3) Spark와 Hadoop을 이용한 빅데이터 분석 모듈들을 제공한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2013년도 제25회 한글 및 한국어 정보처리 학술대회
• /
• pp.126-128
• /
• 2013

빅데이터(Big Data)는 현재 생산되고 있는 데이터 중 그 규모가 방대하고, 생성 주기가 짧으며, 수치 데이터 뿐 아니라 텍스트 이외의 멀티미디어 등 비정형화된 데이터를 포함하는 대규모 데이터를 말한다. 빅데이터를 처리하여 가치 있는 정보를 추출하는 방법에 관한 연구가 활발하게 진행되고 있으며, 이를 바탕으로 빅데이터가 다양한 분야에서 활용되고 있다. 현재 국내 주식시장에서도 빅데이터를 이용하여 기업의 투자에 활용하고 있다. 이 논문에서는 인터넷의 증권과 관련된 뉴스를 수집하여 수집된 뉴스와 주가 지수를 이용하여 기업 뉴스 평가 시스템을 개발하는 방법을 제안한다.

• 한국융합학회논문지
• /
• 제12권7호
• /
• pp.45-51
• /
• 2021

급속한 비대면 환경과 모바일 우선 전략에 따라 해마다 많은 정형/비정형 데이터의 폭발적인 증가와 생성은 모든 분야에서 빅데이터를 활용한 새로운 의사 결정과 서비스를 요구하고 있다. 그러나 매년 급속히 증가하는 빅데이터를 활용하여 실무 환경에서 적용 가능한 표준 플랫폼으로 빅데이터를 수집하여 적재한 후, 정재한 빅데이터를 관계형 데이터베이스에 저장하고 처리하는 하둡 에코시스템 활용의 참조 사례들은 거의 없었다. 따라서 본 연구에서는 스프링 프레임워크 환경에서 3대의 가상 머신 서버를 통하여 하둡 2.0을 기반으로 쇼셜 네트워크 서비스에서 키워드로 검색한 비정형 데이터를 수집한 후, 수집된 비정형 데이터를 하둡 분산 파일 시스템과 HBase에 적재하고, 적재된 비정형 데이터를 기반으로 형태소 분석기를 이용하여 정형화된 빅데이터를 관계형 데이터베이스에 저장할 수 있게 설계하고 구현하였다. 향후에는 데이터 심화 분석을 위한 하이브나 머하웃을 이용하여 머신 러닝을 이용한 클러스터링과 분류 및 분석 작업 연구가 지속되어야 할 것이다.

• 한국항해항만학회:학술대회논문집
• /
• 한국항해항만학회 2022년도 추계학술대회
• /
• pp.302-304
• /
• 2022

항만 서비스 의미가 선박의 양적하뿐만 아니라 육로를 통해 반출입되는트레일러의 하역도 포함 디지털프랜스포메이션가속화에 따라 IoT, 빅데이타, 인공지능을 활용한 항만의 생산성 증대 방안으로 선박의 TAT뿐만 아니라 항만 반출입트럭TAT 감축의 중요성도 같이 높아지고 있음 컨테이너 이송 트럭의 TAT에 대한 정확한 측정과 TAT에 영향을 미치는 요인의 규명은 컨테이너 운송에 중요한 역할을 한다고 할 수 있음 따라서 본 연구의 목적은 IoT 기술로 수집된 빅데이터를 활용해 실질적인 차량 반출입시간을 분석한 새로운 항만 반출입차량 TAT 데이터와 기후, 부두 실적, 기항 선박 사이즈, 시간대 등 다양한 항만물류빅데이터를이용하여 항만 반출입차량 TAT에 영향을 미치는 요인을 분석하고 나아가 항만물류빅데이터분석을 위한 빅데이터 수집 방법을 연구하는데 목적이 있음

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2020년도 학술발표회
• /
• pp.81-81
• /
• 2020

4차산업 혁명 이후, 빅 데이터는 사이버 공간을 통한 사회적 파장이 큰 사건들에 대한 대중의 정보 수집 패턴을 이해하는 데에 있어서 전에 경험하지 못한 급속한 발전을 이루어 왔다. 사이버 공간에서 이루어지는 대중들의 정보수집 활동을 모니터링하므로서 대중들사이에서 떠오르는 주제나 사건을 파악하기에 좋은 인덱스로 여러 사회 경제분야에 활용되어 왔다. 하지만, 수자원 관리 및 방재관점에서는 이런 빅데이터을 활용한 연구 사례는 찾아 보기 힘들다. 하지만, 이런 빅데이터를 가뭄기에 대중들이 어떻게 반응하였는지를 연구하는 데에 활용될 수 있다. 이 발표에서 발표자는 미국 2011-17년 캘리포니아 가뭄의 선례연구들을 통해 주 또는 국가 범위에서 구글 이용자들의 정보수집 활동을 기록한 구글트렌즈 데이터를 가뭄기동안 대중의 정보 수집량을 바탕으로 가뭄 위험 인지도를 정의하고 대중의 행동 양식을 이해하는 데에 어떻게 활용할 수 있는 지를 소개한다. 첫번째로, 최근 캘리포니아에서 발생한 다년간의 가뭄동안 그 주안의 주민들의 행동양식 분석 결과를 소개한다. 두번째로는 미국 49개의 주에서 지난 2004년부터 2018년동안의 지역적 가뭄에 대한 대중의 가뭄 위험인지도를 시공간적인 양식을 주성분분석기술을 통해 분석한 결과을 소개한다. 끝으로, 발표자는 지난 미국 선례 연구들에서 발표자가 제안한 기술이 어떻게 대한민국에서 홍수나 가뭄 방재에 적용할 수 있으며 앞으로 대한민국을 수재해에 준비된 나라로 만드는 데에 있어서 빅데이터의 역할을 제시하고자 한다.

• 한국항해항만학회:학술대회논문집
• /
• 한국항해항만학회 2015년도 춘계학술대회
• /
• pp.348-350
• /
• 2015

VTS 센터는 선박관제를 위해서 생성하는 실시간적인 해상교통정보를 생성하고 잇으며, 항만물류정보, 해양기상정보, 조선소 시운전 정보, 해상교통 환경정보, 선종별 운항정보, 사고 선박정보, 준사고 선박정보, 기타 정보 등을 수집하여 선박의 통항관제에 활용하고 있음에 따라 해상교통관제 시스템에 수집된 빅데이터의 처리방안에 대하여 고찰해 보았다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2018년도 추계학술대회
• /
• pp.422-424
• /
• 2018

최근 빅데이터 분석에 대한 관심이 높아지고 자료의 수집 방법에 대한 방법도 다양하게 개발되어 지고 있으나 연구자가 이러한 대규모 데이터를 수집 이용하기는 여전히 쉽지 않은 실정이다. 본 논문에서는 연구자가 여러 가지 방법을 활용하여 빅데이터를 수집하는 방안을 비교 분석하여 제시하고자 한다. 본인의 연구 목적에 부합하는 수집 방법을 잘 선택하여 활용한다면 원하는 연구결과를 제공 받을 수 있을 것으로 기대한다.

• 한국빅데이터학회지
• /
• 제4권1호
• /
• pp.119-127
• /
• 2019

본 연구는 엔지니어링 분야에서 생성되는 대용량의 빅데이터를 효율적으로 저장, 관리, 분석하는 클라우드 기반 빅데이터 플랫폼을 제안하고자 한다. 클라우드 기반 빅데이터 플랫폼은 HPC 클라우드 환경, 엔지니어링 빅데이터 분석 플랫폼, 데이터 수집 및 처리 모듈, 인공지능 기반 분석 라이브러리, 응용서비스로 구성된다. 이를 통해 데이터 분석에 대한 전문지식이 없는 엔지니어링 전문가가 IoT 빅데이터를 수집 및 분석함으로써 산업적으로 활용이 가능하다. 마지막으로 응용서비스에서는 빅데이터 플랫폼 적용 사례를 제시하기 위해 하수처리플랜트 데이터를 이용하여 서비스를 구현하였다.

• 정보와 통신
• /
• 제29권11호
• /
• pp.11-23
• /
• 2012

본 고에서는 과학 분야에서의 대용량 데이터 처리를 위한 기술인 사이언스 빅데이터의 처리 기술 동향에 대하여 기술한다. 서론에서 사이언스 빅데이터의 정의 및 필요성을 다루고, 본론에서는 데이터 중심 과학 패러다임의 등장과 그로 인한 사이언스 빅데이터 요구사항, 사이언스 빅데이터 소스 수집 및 정제, 저장 및 관리, 처리, 분석 등으로 이루어지는 사이언스 빅데이터 처리 기법에 대하여 기술한다. 또한 현재 다양한 기관에서 연구하고 있는 사이언스 빅데이터 플랫폼, 맵리듀스 등을 이용한 워크플로우 제어 기반의 사이언스 빅데이터 처리 기법을 예시로 소개한다.