• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.354-356
• /
• 2022

소셜 네트워크 및 웹 데이터와 같은 대규모 그래프 데이터를 처리하기 위해 병렬 처리 기반의 기법들이 많이 사용되어 왔다. 본 연구에서는 그래프 형식의 대규모 교통 데이터를 하둡 맵리듀스를 이용하여 처리하는 효과적인 기법을 제안한다. 제안하는 방식에서는 도시의 유동 인구 흐름을 가중치로 고려할 수 있도록 Weighted PageRank 알고리즘을 기반으로 하는 병렬 그래프 알고리즘을 사용하며, 해당 알고리즘을 하둡 맵리듀스에 적용하여 주거 및 근무지 등의 지역을 분류하도록 결과를 분석하였다. 제안 기법을 통한 분석 결과를 기반으로 지역 간 유동 인구 그래프 데이터에서 각 도시의 영향력을 측정하는 페이지랭크, 하둡 맵리듀스 기반의 기법을 제시한다.

• KIPS Transactions on Software and Data Engineering
• /
• v.7 no.5
• /
• pp.177-188
• /
• 2018

The scale of graph data has been increased rapidly because of the growth of mobile Internet applications and the proliferation of social network services. This brings upon the imminent necessity of efficient distributed and parallel graph processing approach since the size of these large-scale graphs are easily over a capacity of a single machine. Currently, there are two popular parallel graph processing approaches, vertex-centric graph processing and block centric processing. While a vertex-centric graph processing approach can easily be applied to the parallel processing system, a block-centric graph processing approach is proposed to compensate the drawbacks of the vertex-centric approach. In these systems, the initial quality of graph partition affects to the overall performance significantly. However, it is a very difficult problem to divide the graph into optimal states at the initial phase. Thus, several dynamic load balancing techniques have been studied that suggest the progressive partitioning during the graph processing time. In this paper, we present a load balancing algorithms for the block-centric graph processing approach where most of dynamic load balancing techniques are focused on vertex-centric systems. Our proposed algorithm focus on an improvement of the graph partition quality by dynamically reassigning blocks in runtime, and suggests block split strategy for escaping local optimum solution.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04a
• /
• pp.597-599
• /
• 2000

대규모 병렬 컴퓨터에서 메시지를 가진 한 노드에서 다른 모든 노드들로 그 메시지를 전달하는 방송은 데이터의 복제, 신호 처리와 같은 다양한 응용프로그램에서 이용되는 중요한 통신 패턴이다. 매크로-스타 그래프는 스타 그래프를 기본 모듈로 가지면서 스타 그래프가 갖는 노드 대칭성, 최대 고장 허용도, 계층적 분할 성질을 갖고, 스타 그래프보다 망 비용이 개선된 상호 연결망으로 최근에 제안되었다. 본 논문에서는 매크로-스타 그래프의 계층적 분할 성질과 기본 모듈을 이용한 매크로-스타 그래프에서의 일-대-다 방송알고리즘을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.04a
• /
• pp.469-472
• /
• 2012

최근 IT 분야의 화두로 '빅 데이터'가 떠오르고 있으며 많은 기업들이 이를 분석하여 이익을 증대하기 위한 노력을 하고 있다. 이에 구글은 초기에 맴리듀스라고 하는 대용량 분산처리 프레임워크 기술을 확보하여 이를 기반으로 한 서비스를 제공하고 있다. 그러나 스마트 단말 및 소설미디어 등의 출현으로 다양한 디지털 정보들이 그래프로 표현되는 추세가 강화되고 있으며 기존의 맵리듀스로 이를 처리하는 데에 한계를 느낀 구글은 Pregel 이라는 그래프 형 자료구조에 최적화된 또 다른 분산 프레임워크를 개발하였다. 본 논문에서는 일반적인 그래프 형 데이터가 갖는 특성을 분석하고, 대용량 그래프 데이터를 처리하는데 있어 맵리듀스가 갖는 한계와 Pregel은 어떤 방식으로 이를 극복하고 있는지를 소개한다. 또한 실험을 통하여 데이터의 특성에 따른 적절한 프레임워크의 선택이 대용량 데이터를 처리하는 데에 있어서 얼마나 큰 영향을 미치는지 확인한다.

• The Journal of the Korea Contents Association
• /
• v.22 no.6
• /
• pp.56-68
• /
• 2022

Recently, as the demand for real-time processing increases, studies on a dynamic graph that changes over time has been actively done. There is a connected components processing algorithm as one of the algorithms for analyzing dynamic graphs. GPUs are suitable for large-scale graph calculations due to their high memory bandwidth and computational performance. However, when computing the connected components of a dynamic graph using the GPU, frequent data exchange occurs between the CPU and the GPU during real graph processing due to the limited memory of the GPU. The proposed scheme utilizes the Weighted-Quick-Union algorithm to process large-scale graphs on the GPU. It supports fast connected components computation by applying the size to the connected component label. It computes the connected component by determining the parts to be recalculated and minimizing the data to be transmitted to the GPU. In addition, we propose a processing structure in which the GPU and the CPU execute asynchronously to reduce the data transfer time between GPU and CPU. We show the excellence of the proposed scheme through performance evaluation using real dataset.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.412-417
• /
• 2022

일반 상식 기반의 지식 그래프는 대규모 코퍼스에 포함되어 있는 일반 상식을 그래프로 표현하여, 자연어 처리의 하위 작업들에 적용할 수 있도록 하는 구조화된 지식 표현 방법이다. 현재 가장 잘 알려진 일반 상식 기반의 지식 그래프로는 ATOMIC [1]이 있다. 하지만 한국어를 주요 언어로 하는 일반 상식 기반의 지식 그래프에 대한 연구는 아직 활발하지 않다. 따라서 본 연구에서는 기존에 존재하는 영어 기반의 지식 그래프와 일반 상식 기반의 한국어 데이터셋을 활용해서 한국어 일반 상식 기반 지식 그래프를 구축하는 방법론을 제시한다. 또한, 제작한 지식 그래프를 평가하여 구축하는 방법론에 대한 타당성을 검증한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.139-141
• /
• 2001

Pharmacogenomics는 개인의 유전적 성향과 약물에 대한 반응간의 관계에 대해 연구하는 학문이다. 이를 위해 DNA microarray 데이터를 비롯한 대량의 생물학 데이터가 구축되고 있으며 이러한 대규모 데이터를 분석하기 위해서 기계학습과 데이터 마이닝의 여러 기법들이 이용되고 있다. 본 논문에서는 pharmacogenomics를 위한 생물학 데이터의 효율적인 분석 수단으로 베이지안망(Bayesian network)을 제시한다. 배이지안망은 다수의 변수들간의 확률적 관계를 표현하는 확률그래프모델(probabilistic graphical model)로 유전자 발현과 약물 반응 사이의 확률적 의존 관계를 분석하는데 적합하다. NC160 cell lines dataset으로부터 학습된 베이지안 유전자망(Bayesian genetic network)이 나타내는 관계는 생물학적 실험을 통해 검증된 실제 관계들을 다수 포함하며, 이는 배이지안 유전자망 분석을 통해 개략적인 유전자-유전자, 약물-약물, 유전자-약물 관계를 효율적으로 파악할 수 있음을 나타낸다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.724-726
• /
• 2005

베이지안망(Bayesian network)은 다수의 변수들 사이의 확률적 관계(조건부독립성: conditional independence)를 그래프 구조로 표현하는 모델이다. 이러한 베이지안망은 비감독학습(unsupervised teaming)을 통한 데이터마이닝에 적합하다. 이를 위해 데이터로부터 베이지안망의 구조와 파라미터를 학습하게 된다. 주어진 데이터의 likelihood를 최대로 하는 베이지안망 구조를 찾는 문제는 NP-hard임이 알려져 있으므로, greedy search를 통한 근사해(approximate solution)를 구하는 방법이 주로 이용된다. 하지만 이러한 근사적 학습방법들도 데이터를 구성하는 변수들이 수천 - 수만에 이르는 경우, 방대한 계산량으로 인해 그 적용이 실질적으로 불가능하게 된다. 본 논문에서는 그러한 대규모 데이터에서 학습될 수 있는 계층적 베이지안망(hierarchical Bayesian network) 모델 및 그 학습방법을 제안하고, 그 가능성을 실험을 통해 보인다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.517-518
• /
• 2023

본 논문에서는 인공지능 신경망의 하이퍼 파라미터들이 그래프 신경망 모델의 성능에 미치는 영향을 알아보기 위하여 대규모 그래프 데이터를 기반으로 이진 분류 문제를 예측하는 그래프 합성곱 신경망 모델(Graph Convolution Network Model)을 구현하고 모델의 다양한 하이퍼 파라미터 중 손실함수와 활성화 함수를 여러 가지 조합으로 적용하며 모델 학습과 예측 실험을 시행하였다. 실험 결과, 활성화 함수보다는 손실함수의 선택이 모델의 예측 성능에 좀 더 큰 영향을 미치는 것을 확인하였다.

• Journal of KIISE
• /
• v.41 no.12
• /
• pp.1126-1135
• /
• 2014

In recent years, RDF partitioning schemes have been studied for the effective distributed storage and management of large-scale RDF data. In this paper, we propose an RDF dynamic partitioning scheme to support load balancing in dynamic environments where the RDF data is continuously inserted and updated. The proposed scheme creates clusters and sub-clusters according to the frequency of the RDF data used by queries to set graph partitioning criteria. We partition the created clusters and sub-clusters by considering the workloads and data sizes for the servers. Therefore, we resolve the data concentration of a specific server, resulting from the continuous insertion and update of the RDF data, in such a way that the load is distributed among servers in dynamic environments. It is shown through performance evaluation that the proposed scheme significantly improves the query processing time over the existing scheme.