• 문화기술의 융합
• /
• 제9권1호
• /
• pp.649-654
• /
• 2023

본 논문은 그래프 합성곱 신경망을 이용한 신경망 구조 탐색 모델 설계를 제안한다. 딥 러닝은 블랙박스로 학습이 진행되는 특성으로 인해 설계한 모델이 최적화된 성능을 가지는 구조인지 검증하지 못하는 문제점이 존재한다. 신경망 구조 탐색 모델은 모델을 생성하는 순환 신경망과 생성된 네트워크인 합성곱 신경망으로 구성되어있다. 통상의 신경망 구조 탐색 모델은 순환신경망 계열을 사용하지만 우리는 본 논문에서 순환신경망 대신 그래프 합성곱 신경망을 사용하여 합성곱 신경망 모델을 생성하는 GC-NAS를 제안한다. 제안하는 GC-NAS는 Layer Extraction Block을 이용하여 Depth를 탐색하며 Hyper Parameter Prediction Block을 이용하여 Depth 정보를 기반으로 한 spatial, temporal 정보(hyper parameter)를 병렬적으로 탐색합니다. 따라서 Depth 정보를 반영하기 때문에 탐색 영역이 더 넓으며 Depth 정보와 병렬적 탐색을 진행함으로 모델의 탐색 영역의 목적성이 분명하기 때문에 GC-NAS대비 이론적 구조에 있어서 우위에 있다고 판단된다. GC-NAS는 그래프 합성곱 신경망 블록 및 그래프 생성 알고리즘을 통하여 기존 신경망 구조 탐색 모델에서 순환 신경망이 가지는 고차원 시간 축의 문제와 공간적 탐색의 범위 문제를 해결할 것으로 기대한다. 또한 우리는 본 논문이 제안하는 GC-NAS를 통하여 신경망 구조 탐색에 그래프 합성곱 신경망을 적용하는 연구가 활발히 이루어질 수 있는 계기가 될 수 있기를 기대한다.

• 사물인터넷융복합논문지
• /
• 제9권6호
• /
• pp.111-117
• /
• 2023

시간-공간적 의존성을 모두 고려하는 방법으로 그래프 신경망과 순환 신경망을 함께 사용하는 연구가 많이 진행되고 있다. 특히 그래프 신경망은 새롭게 활발히 연구되고 있는 분야이다. 서울시 자전거 대여 서비스(일명 따릉이)는 서울시 곳곳에 대여소를 갖추고 있으며 각 대여소에서 대여 정보가 충실하게 기록되어 있는 시계열 자료이다. 각 대여소의 대여 정보는 시간에 따른 주기성을 보이는 시간적인 특성을 갖추고 있으며, 지역적인 특성도 대여 현황에 큰 영향을 미치리라고 생각된다. 지역적 상관관계는 그래프 신경망을 이용하여 잘 이해할 수 있다. 이 연구에서는 서울시 자전거 대여 서비스의 시계열 데이터를 그래프로 재구성하고 그래프 신경망과 순차 신경망을 결합한 대여 예측 모델을 개발하였다. 시간에 따른 주기성과 같은 시간 특성과 지역적인 특성 및 각 대여소의 중요도 정도를 고려하였다. 대여소의 중요도 정도는 대여량 예측에 중요한 인자로 사용됨을 확인하였다.

• Journal of Information Processing Systems
• /
• 제20권4호
• /
• pp.501-513
• /
• 2024

In recent years, graph neural networks (GNNs) have been extensively used to analyze graph data across various domains because of their powerful capabilities in learning complex graph-structured data. However, recent research has focused on improving the performance of a single GNN with only two or three layers. This is because stacking layers deeply causes the over-smoothing problem of GNNs, which degrades the performance of GNNs significantly. On the other hand, ensemble methods combine individual weak models to obtain better generalization performance. Among them, gradient boosting is a powerful supervised learning algorithm that adds new weak models in the direction of reducing the errors of the previously created weak models. After repeating this process, gradient boosting combines the weak models to produce a strong model with better performance. Until now, most studies on GNNs have focused on improving the performance of a single GNN. In contrast, improving the performance of GNNs using multiple GNNs has not been studied much yet. In this paper, we propose gradient boosted graph neural networks (GBGNN) that combine multiple shallow GNNs with gradient boosting. We use shallow GNNs as weak models and create new weak models using the proposed gradient boosting-based loss function. Our empirical evaluations on three real-world datasets demonstrate that GBGNN performs much better than a single GNN. Specifically, in our experiments using graph convolutional network (GCN) and graph attention network (GAT) as weak models on the Cora dataset, GBGNN achieves performance improvements of 12.3%p and 6.1%p in node classification accuracy compared to a single GCN and a single GAT, respectively.

• Journal of Information Processing Systems
• /
• 제19권6호
• /
• pp.803-816
• /
• 2023

Explainable artificial intelligence is a method that explains how a complex model (e.g., a deep neural network) yields its output from a given input. Recently, graph-type data have been widely used in various fields, and diverse graph neural networks (GNNs) have been developed for graph-type data. However, methods to explain the behavior of GNNs have not been studied much, and only a limited understanding of GNNs is currently available. Therefore, in this paper, we propose an explanation method for node classification using graph convolutional networks (GCNs), which is a representative type of GNN. The proposed method finds out which features of each node have the greatest influence on the classification of that node using GCN. The proposed method identifies influential features by backtracking the layers of the GCN from the output layer to the input layer using the gradients. The experimental results on both synthetic and real datasets demonstrate that the proposed explanation method accurately identifies the features of each node that have the greatest influence on its classification.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.380-382
• /
• 2022

Extracting informative representation of molecules using graph neural networks(GNNs) is crucial in AI-driven drug discovery. Recently, the graph research community has been trying to replicate the success of self supervised in natural language processing, with several successes claimed. However, we find the benefit brought by self-supervised learning on applying varitional auto-encoders can be potentially effective on molecular data.

• Journal of Information Processing Systems
• /
• 제16권6호
• /
• pp.1250-1260
• /
• 2020

This study proposes a novel deep neural network model that can accurately detect objects and their relationships in an image and represent them as a scene graph. The proposed model utilizes several multimodal features, including linguistic features and visual context features, to accurately detect objects and relationships. In addition, in the proposed model, context features are embedded using graph neural networks to depict the dependencies between two related objects in the context feature vector. This study demonstrates the effectiveness of the proposed model through comparative experiments using the Visual Genome benchmark dataset.

• International Journal of Contents
• /
• 제10권1호
• /
• pp.23-28
• /
• 2014

When developing a classifier using various objective functions, it is important to compare the performances of the classifiers. Although there are statistical analyses of objective functions for classifiers, simulation results can provide us with direct comparison results and in this case, a comparison criterion is considerably critical. A Receiver Operating Characteristics (ROC) graph is a simulation technique for comparing classifiers and selecting a better one based on a performance. In this paper, we adopt the ROC graph to compare classifiers trained by mean-squared error, cross-entropy error, classification figure of merit, and the n-th order extension of cross-entropy error functions. After the training of feed-forward neural networks using the CEDAR database, the ROC graphs are plotted to help us identify which objective function is better.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 춘계학술대회
• /
• pp.22-24
• /
• 2021

본 논문은 노드와 엣지로 이루어진 그래프 구성을 통해 신경망을 활용하여 엣지 가중치 예측 방안을 제안하고자 한다. 사회 구성요소 중 하나인 브랜드들의 중요도 높은 전략 중 출점전략에 대해 초점을 맞추어보았다. 본 논문에서는 1) 브랜드 지점들을 노드로 구성하고, 지점 간 관계를 엣지로 구성한다. 그리고 지점 간 실제 도보 및 주행 가능 거릿값을 엣지 가중치로 표현한 그래프를 구성한다. 그리고 2) 엣지를 수치화하여 신경망을 학습해 엣지의 가중치인 지점 간 거릿값을 예측하는 방안을 제안한다. 제안한 방식을 활용함으로 예측되는 특정 브랜드의 출점 범위를 성공적인 브랜드의 출점전략 분석할 시에 활용할 수 있을 것으로 예상한다.

• 응용통계연구
• /
• 제37권2호
• /
• pp.139-155
• /
• 2024

본 연구는 좌측 해마 경화를 보인 내측두엽 뇌전증(left mTLE, mesial temporal lobe epilepsy with left hippocampal sclerosis) 환자군과 우측 해마 경화를 보인 내측두엽 뇌전증(right mTLE, mesial temporal lobe epilepsy with right hippocampal sclerosis) 환자군 그리고 건강한 대조군(healthy controls; HC)으로부터 측정한 뇌자도(magnetoencephalography; MEG) 데이터로 각 그룹을 분류하는 다중 분류 작업에 다양한 인공신경망을 적용하고 그 결과를 비교해 보고자 하였다. 합성곱 신경망, 순환 신경망 그리고 그래프 신경망으로 모델링한 결과, k-fold 정확도 평균은 합성곱 신경망 기반 모델, 그래프 신경망 기반 모델, 순환 신경망 기반 모델 순으로 우수하였다. 또한, 수행 시간은 순환 신경망 기반 모델, 그래프 신경망 기반 모델, 합성곱 신경망 기반 모델 순으로 우수하였다. 정확도 성능과 시간 면에서 모두 좋은 수치를 보이며, 네트워크 데이터의 확장성이 뛰어난 그래프 신경망이 앞으로 뇌 연구에 활용되기 적합한 모델임을 강조하고자 한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권11호
• /
• pp.2903-2923
• /
• 2023

Knowledge recommendation is a type of recommendation system that recommends knowledge content to users in order to satisfy their needs. Although using graph neural networks to extract data features is an effective method for solving the recommendation problem, there is information loss when modeling real-world problems because an edge in a graph structure can only be associated with two nodes. Because one super-edge in the hypergraph structure can be connected with several nodes and the effectiveness of knowledge graph for knowledge expression, a dual-channel hypergraph convolutional neural network model (DCHC) based on hypergraph structure and knowledge graph is proposed. The model divides user data and knowledge data into user subhypergraph and knowledge subhypergraph, respectively, and extracts user data features by dual-channel hypergraph convolution and knowledge data features by combining with knowledge graph technology, and finally generates recommendation results based on the obtained user embedding and knowledge embedding. The performance of DCHC model is higher than the comparative model under AUC and F1 evaluation indicators, comparative experiments with the baseline also demonstrate the validity of DCHC model.