• International Journal of Internet, Broadcasting and Communication
• /
• 제11권2호
• /
• pp.50-58
• /
• 2019

The clear and specific objective of this study is to design a false news discriminator algorithm for news articles transmitted on a text-based basis and an architecture that builds it into a system (H/W configuration with Hadoop-based in-memory technology, Deep Learning S/W design for bigdata and SNS linkage). Based on learning data on actual news, the government will submit advanced "fake news" test data as a result and complete theoretical research based on it. The need for research proposed by this study is social cost paid by rumors (including malicious comments) and rumors (written false news) due to the flood of fake news, false reports, rumors and stabbings, among other social challenges. In addition, fake news can distort normal communication channels, undermine human mutual trust, and reduce social capital at the same time. The final purpose of the study is to upgrade the study to a topic that is difficult to distinguish between false and exaggerated, fake and hypocrisy, sincere and false, fraud and error, truth and false.

• Proceedings of the Korea Information Processing Society Conference
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.1199-1202
• /
• 2013

최근 증권, 센서, 기후, 의료 분야 등에서 수많은 시계열 데이터들이 쏟아져 나오고 있고, 이러한 시계열 빅 데이터를 통해 의미를 찾아내고자 하는 시계열 해석 및 분석, 예측 작업의 수요가 증가하고 있다. 시계열 해석 및 분석, 예측 작업을 하기 위해서 사용 될 수 있는 기초 작업은 유사한 시계열 시퀀스를 찾아내는 유사 시퀀스 매칭과 이러한 매칭을 통해 특정 시계열 데이터의 하나의 특징이 되는 빈발 시퀀스 추출 기술이 필요하다. 본 논문에서는 이러한 시계열 빅 데이터에서 유사 시퀀스 매칭을 이용한 빈발 시퀀스 추출 문제를 효율적으로 해결하는 빈발 시퀀스 추출기(Frequent Sequence Extractor)를 개발 및 구현하였다. 또한 분산처리 플랫폼인 하둡을 이용한 데이터 파싱을 사용하여, 각 분야별 시계열 데이터를 분석하는 전문가에게 효율적인 분산처리 효과를 제공한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.1135-1136
• /
• 2013

인터넷의 발달함에 따라 데이터가 기존에 비해 기하급수적으로 늘어나게 되는 이른바 빅데이터 시대를 맞이하게 되었다. 이러한 빅데이터는 기존의 시스템으로 처리하기가 쉽지 않아 이를 처리하기 위해 하둡이 개발되었다. 하둡은 분산파일 시스템으로 기존의 시스템에 비해 빅데이터를 처리하는데 적합하며 이를 이용한 다양한 오픈 소스들이 등장하게 된다. 그중 기계학습 알고리즘을 구현한 오픈소스 Mahout은 추천 시스템을 구현하는데 적합하다. 이를 이용하여 기존에 구현한 개인화 영화 추천 시스템을 하둡 시스템으로 구현하고 기존의 XLMiner로 구현한 시스템과 결과를 비교해 본다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.740-743
• /
• 2013

클라우드 컴퓨팅 환경에서는 사용자의 데이터를 수많은 분산서버를 이용하여 데이터를 암호화하여 저장한다. 구글, 야후 등 글로벌 인터넷 서비스 업체들은 인터넷 서비스 플랫폼의 중요성을 인식하고 자체 연구 개발을 수행, 저가 상용 노드를 기반으로 한 대규모 클러스터 기반의 클라우드 컴퓨팅 플랫폼 기술을 개발 활용하고 있다. 이와 같이 분산 컴퓨팅 환경에서 다양한 데이터 서비스가 가능해지면서 대용량 데이터의 분산관리가 주요 이슈로 떠오르고 있다. 한편, 대용량 데이터의 다양한 이용 형태로부터 악의적인 공격자나 내부 사용자에 의한 보안 취약성 및 프라이버시 침해가 발생할 수 있다. 특히, 하둡에서 데이터 블록의 권한 제어를 위해 사용하는 블록 접근 토큰에도 다양한 보안 취약점이 발생한다. 이러한 보안 취약점을 보완하기 위해 본 논문에서는 비밀분산 기반의 블록 접근 토큰 관리 기법을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 한국정보처리학회 2009년도 추계학술발표대회
• /
• pp.137-138
• /
• 2009

다양한 스토리지와 파일 시스템이 시스템의 신뢰도를 증가시키기 위해 스냅샷을 이용하고 있다.[1] 또한, 최근에는 정보 보호의 중요성에 관심이 많아지면서 많은 시스템이 자료 보안에 신경을 쓰고 있다. 하지만, 대표적인 분산 컴퓨터 시스템 중 하나인 하둡은 관련 기능을 제공하지 않는데, 이는 나중에 문제가 될 만한 여지가 농후하다. 본 논문에서는 현재 하둡 시스템의 신뢰도에 영향을 끼치는 결점에 대하여 언급하고, 그에 대한 보완의 일부로 스냅샷과 접근 제어 기능을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.354-356
• /
• 2022

소셜 네트워크 및 웹 데이터와 같은 대규모 그래프 데이터를 처리하기 위해 병렬 처리 기반의 기법들이 많이 사용되어 왔다. 본 연구에서는 그래프 형식의 대규모 교통 데이터를 하둡 맵리듀스를 이용하여 처리하는 효과적인 기법을 제안한다. 제안하는 방식에서는 도시의 유동 인구 흐름을 가중치로 고려할 수 있도록 Weighted PageRank 알고리즘을 기반으로 하는 병렬 그래프 알고리즘을 사용하며, 해당 알고리즘을 하둡 맵리듀스에 적용하여 주거 및 근무지 등의 지역을 분류하도록 결과를 분석하였다. 제안 기법을 통한 분석 결과를 기반으로 지역 간 유동 인구 그래프 데이터에서 각 도시의 영향력을 측정하는 페이지랭크, 하둡 맵리듀스 기반의 기법을 제시한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.77-79
• /
• 2022

IT기술이 발전함에 따라 전 세계 데이터의 규모는 매년 증가하고 있다. 빅데이터 플랫폼을 사용하는 기업들은 더욱 빠른 빅데이터 처리를 원하고 있다. 이에 본 논문은 하둡 환경에서 GPU를 사용한 Job 처리 방법을 제안한다. 제안하는 방법은 CPU, GPU 클러스터를 따로 구성하여 세 가지 크기로 분류한 Job들을 알맞은 클러스터에 할당하여 처리한다. 향후, 제안하는 방법의 실질적인 검증을 위해 실제 구현과 성능 평가가 필요하다.

• Journal of Advanced Navigation Technology
• /
• 제28권1호
• /
• pp.159-162
• /
• 2024

This paper proposes a novel safety autonomous platform (SAP) architecture that can automatically and precisely manage on-site safety through ensemble artificial intelligence models generated from video information, worker's biometric information, and the safety rule to estimate the risk index. We practically designed the proposed SAP architecture by the Hadoop ecosystem with Kafka/NiFi, Spark/Hive, Hue, ELK (Elasticsearch, Logstash, Kibana), Ansible, etc., and confirmed that it worked well with safety mobility gateways for providing various safety applications.

• International Journal of Internet, Broadcasting and Communication
• /
• 제16권2호
• /
• pp.119-126
• /
• 2024

The volume of genomic data is constantly increasing in various modern industries and research fields. This growth presents new challenges and opportunities in terms of the quantity and diversity of genetic data. In this paper, we propose a distributed cloud system for integrating and managing large-scale gene databases. By introducing a distributed data storage and processing system based on the Hadoop Distributed File System (HDFS), various formats and sizes of genomic data can be efficiently integrated. Furthermore, by leveraging Spark on YARN, efficient management of distributed cloud computing tasks and optimal resource allocation are achieved. This establishes a foundation for the rapid processing and analysis of large-scale genomic data. Additionally, by utilizing BigQuery ML, machine learning models are developed to support genetic search and prediction, enabling researchers to more effectively utilize data. It is expected that this will contribute to driving innovative advancements in genetic research and applications.

• Asia pacific journal of information systems
• /
• 제28권4호
• /
• pp.308-319
• /
• 2018

This paper aims at providing valuable insights on Financial Fraud Detection on a mobile money transactional activity. We have predicted and classified the transaction as normal or fraud with a small sample and massive data set using Azure and Spark ML, which are traditional systems and Big Data respectively. Experimenting with sample dataset in Azure, we found that the Decision Forest model is the most accurate to proceed in terms of the recall value. For the massive data set using Spark ML, it is found that the Random Forest classifier algorithm of the classification model proves to be the best algorithm. It is presented that the Spark cluster gets much faster to build and evaluate models as adding more servers to the cluster with the same accuracy, which proves that the large scale data set can be predictable using Big Data platform. Finally, we reached a recall score with 0.73, which implies a satisfying prediction quality in predicting fraudulent transactions.