• 제목/요약/키워드: 대용량 그래프

검색결과 79건 처리시간 0.028초

Min-Hash를 이용한 효율적인 대용량 그래프 클러스터링 기법 (An Efficient Large Graph Clustering Technique based on Min-Hash)

  • 이석주;민준기
    • 정보과학회 논문지
    • /
    • 제43권3호
    • /
    • pp.380-388
    • /
    • 2016
  • 그래프 클러스터링은 서로 유사한 특성을 갖는 정점들을 동일한 클러스터로 묶는 기법으로 그래프 데이터를 분석하고 그 특성을 파악하는데 폭넓게 사용된다. 최근 소셜 네트워크 서비스와 월드 와이드 웹, 텔레폰 네트워크 등의 다양한 응용분야에서 크기가 큰 대용량 그래프 데이터가 생성되고 있다. 이에 따라서 대용량 그래프 데이터를 효율적으로 처리하는 클러스터링 기법의 중요성이 증가하고 있다. 본 논문에서는 대용량 그래프 데이터의 클러스터들을 효율적으로 생성하는 클러스터링 알고리즘을 제안한다. 우리의 제안 기법은 그래프 내의 클러스터들 간의 유사도를 Min-Hash를 이용하여 효과적으로 추정하고 계산된 유사도에 따라서 클러스터들을 생성한다. 실세계 데이터를 이용한 실험에서 우리는 본 논문에서 제안하는 기법과 기존 그래프 클러스터링 기법들과 비교하여 제안기법의 효율성을 보였다.

프리겔 기반의 효율적인 그래프 순환 검출 기법 (An Efficient Graph Cycle Detection Technique based on Pregel)

  • 김태연;김현욱;박기성;이영구
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.152-154
    • /
    • 2013
  • 페타 바이트 이상의 규모의 빅 데이터 분석은 다양한 분야에서 연구되고 있다. 최근 소셜 네트워크, XML 등과 같은 구조적인 정보를 갖는 대용량의 그래프들을 분석하는 기술이 활발히 연구되고 있다. 이러한 대용량의 그래프를 분석하기 위한 연산중의 하나로 순환 그래프가 사용되고 있다. 대용량의 그래프 환경에서 순환을 검출하는 연산은 단일 컴퓨팅 시스템에서 처리가 불가능하거나 많은 시간 비용이 발생하여 분산처리가 필요하다. 본 논문에서는 그래프 처리에 효율적인 프리겔 프레임워크를 이용하여 효율적으로 순환을 검출하고, 중복 순환을 제거하기 위해 정규 순환 코드를 제안한다. 실험을 통하여 제안하는 기법이 대용량 그래프에서 효율적으로 순환을 찾을 수 있음을 보인다.

대용량 그래프 압축과 마이닝을 위한 그래프 정점 재배치 분산 알고리즘 (A Distributed Vertex Rearrangement Algorithm for Compressing and Mining Big Graphs)

  • 박남용;박치완;강유
    • 정보과학회 논문지
    • /
    • 제43권10호
    • /
    • pp.1131-1143
    • /
    • 2016
  • 수십억 개 간선들로 구성된 대용량 그래프를 어떻게 효과적으로 압축할 수 있을까? 정점 재배치를 통해 인접 행렬의 0이 아닌 값들을 집중시키면 그래프를 효율적으로 압축할 수 있을 뿐 아니라 페이지랭크 등 여러 그래프 마이닝 알고리즘의 수행 속도를 개선할 수 있다. 최신 정점 재배치 기법인 SlashBurn은 실세계 네트워크의 멱법칙 특성을 활용하는 실세계 그래프에 효과적인 방법이다. 하지만 단일 머신 기반으로 설계되어 대용량 그래프에 대해 처리 속도가 현저히 느려지거나 적용이 불가능한 한계가 있다. 본 논문에서는 이러한 한계를 극복하기 위한 분산 SlashBurn을 제안한다. 분산 SlashBurn은 대규모의 정점 재배치 프로세스를 분산 처리하여 대용량 그래프를 기존 방법보다 훨씬 빠르고 확장성 있게 처리한다. 대용량 실세계 그래프들에 대한 실험 결과, 분산 SlashBurn은 단일 머신 SlashBurn보다 45배 이상 빠르게 동작하였고, 16배 이상 큰 그래프를 처리할 수 있었다.

제한된 메모리를 가진 GPU를 이용한 효율적인 그래프 알고리즘 처리 기법 (An Efficient Graph Algorithm Processing Scheme using GPUs with Limited Memory)

  • 송상호;이현병;최도진;임종태;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제22권8호
    • /
    • pp.81-93
    • /
    • 2022
  • 최근 대용량 그래프의 반복 처리를 위하여 GPU를 이용하는 연구가 진행되고 있다. 메모리가 제한된 GPU를 이용하여 대용량 그래프를 처리하기 위해서는 그래프를 서브 그래프로 분할한 후 서브 그래프들을 스케줄링해서 처리해야 한다. 그러나 활성 정점에 따라 서브 그래프가 처리되기 때문에 그래프 처리 과정 속에서 불필요한 데이터 전송이 반복된다. 본 논문에서는 메모리가 제한된 GPU 환경에서 효율적인 그래프 알고리즘 처리 기법을 제안하고 성능 평가를 수행한다. 제안하는 기법은 그래프 차등 서브 그래프 스케줄링 방법과 그래프 분할 방법으로 구성된다. 대용량 그래프 분할 방법은 GPU에서 효율적으로 처리할 수 있도록 대용량 그래프를 서브 그래프로 분할할 수 있는 방법을 결정한다. 차등 서브그래프 스케줄링 방법은 GPU에서 처리하는 서브그래프를 스케줄링하여 반복적으로 사용되는 HOST-GPU 간의 데이터 중복 전송을 줄인다. 다양한 그래프 처리 알고리즘들의 성능 평가를 수행함으로써 제안하는 기법은 기존 분할 기법 대비 170%, 기존 처리 기법 대비 268% 향상되었다.

대용량 그래프에서의 유사 매칭을 위한 그래픽 사용자 인터페이스 기반 서브 그래프 생성 도구에 대한 연구 (A Study on GUI based Subgraph Generation Tool for Similar Matching in Large Capacity Graphs)

  • 송재오;홍승민;이상문
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
    • /
    • pp.349-350
    • /
    • 2018
  • 최근 빅데이터를 비롯한 각종 실험 장비의 발전에 따라 첨단 분야에서의 과학데이터가 급격히 증가하고 있는 가운데, 그래프 매칭은 컴퓨터 네트워크 모니터링, 소셜 네트워크의 진화 분석, 생물학 네트워크에서 모티프(motif) 탐지 등 네트워크 분석 및 데이터 마이닝 분야에서 널리 활용되고 있다. 이와 같이, 폭발적으로 증가하는 데이터에 대한 네트워크 모델링 및 유사 그래프 매칭 분석을 수행하기 위한 연구 및 기반 기술 개발은 필수적인 실정이다. 본 논문에서는 이미 확보된 대용량 그래프에서 유사한 형태의 서브 그래프를 매칭할 수 있는 GUI(Graphic User Interface)기반의 생성 도구를 제안한다.

  • PDF

대용량 그래프 데이터를 효율적으로 시각화하는 방법에 대한 최신 연구 조사 (The State of the Art in Visualizing Large Graph Data)

  • 곽우석;나인주;김현지;이경준;서인;한욱신
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.802-803
    • /
    • 2017
  • 소셜 네트워크, 웹 시멘틱, 협력 네트워크 등과 같이 다양한 응용에서 대용량 그래프 데이터를 이용한다. 최근 이러한 데이터를 분석하기 위해 대용량 그래프 데이터를 효율적으로 시각화 하는 연구가 제안되었다. 이에 본 연구에서는 대용량 그래프 데이터를 효율적으로 시각화 하는 방법에 대한 최신 연구 동향을 조사한다.

대용량 그래프에서의 삼각형 검색 연구: 알고리즘과 응용

  • 박하명;강유
    • 정보와 통신
    • /
    • 제31권11호
    • /
    • pp.58-66
    • /
    • 2014
  • 본 고에서는 다양한 네트워크를 표현하는 그래프에서 삼각형을 검색하는 알고리즘과 그 응용을 다룬다. 삼각형은 그래프에서 서로가 연결된 세 정점의 집합을 의미한다. 삼각형 검색 문제는 폭 넓은 응용이 가능하기 때문에 데이터 마이닝, 네트워크 분석 등 다양한 분야에서 중요하고 기본적인 문제로서 인식되어왔다. 삼각형 검색 문제의 중요성이 널리 인식되면서 여러 알고리즘이 제안 되어 왔지만, 최근의 소셜 네트워크, 웹 등의 크기가 방대해 기존의 방법은 이러한 네트워크를 분석하기가 사실상 불가능하다. 최근 맵리듀스를 활용한 분산/병렬 처리를 통해 대용량 그래프에서 삼각형을 검색하는 알고리즘들이 여럿 제안되었다. 본 논문에서는 지금까지 제안된 알고리즘들을 설명하고 삼각형 검색의 응용에 대해서 소개한다.

DAG에 대한 2-Hop 레이블 크기를 줄이기 위한 노드 아이디 부여 기법 설계 (A Design of Node ID Assignment for 2-Hop Label Size Reduction of DAG)

  • 안진현;임동혁;김홍기
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.831-832
    • /
    • 2017
  • 링크드오픈데이터를 통해 다양한 분야의 RDF 데이터가 공개되고 있으며 그 양이 지속적으로 증가하고 있다. RDF 데이터는 그래프 형태이기 때문에 대용량 RDF 데이터를 효율적으로 관리하기 위한 그래프 데이터베이스에 대한 연구가 중요하다. 2개의 RDF 리소스가 그래프 상에서 연결됐는지 여부를 알아내는 기능은 RDF 요소간 연관관계를 식별하는 데에 관련이 있기 때문에 그래프 데이터베이스의 중요한 기능 중 하나이다. 대용량 그래프 데이터에 대한 그래프 도달가능성을 빠르게 처리하기 위해서 2-Hop 레이블링 변형들이 제안됐다. 최근에 2-Hop 레이블 크기를 줄이기 위해 2-Hop 레이블링이 진행되기 전에 노드 아이디를 부여하는 방법이 제안됐다. 하지만 그래프의 지역 정보만을 활용하기 때문에 복잡한 형태의 그래프에 대해서는 비효율적이라는 문제점이 있다. 본 논문에서는 그래프의 전역 정보를 반영할 수 있는 Topological Sort를 활용한 노드 아이디 부여 기법에 대한 설계를 제안한다.

대용량 그래프 환경에서 스카이라인을 이용한 서브 그래프 유사도 측정 기법 (A Similarity Measurement Scheme using Skyline Queryin Large-scale Graph Environments)

  • 임종태;복경수;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2017년도 춘계 종합학술대회 논문집
    • /
    • pp.47-48
    • /
    • 2017
  • 최근 각종 실험 장비의 발전에 따라 유사 서브 그래프 매칭에 대한 연구가 활발하게 진행되고 있다. 하지만 유사 서브 그래프 매칭은 다수의 최종 결과들이 반환되었을 경우, 사용자는 어떤 결과가 자신에게 가장 유의미한 결과인지를 판별하기 힘든 문제점이 존재한다. 본 논문에서는 대용량 그래프 환경에서 스카이라인을 이용한 서브 그래프 유사도 측정 기법을 제안한다. 제안하는 기법은 스카이라인 기법과 피드백에 기반한 랭킹을 수행하여 유사 서브 그래프 매칭에서 사용자에게 유의미한 결과를 반환한다.

  • PDF

대규모 분산 처리 프레임워크에 따른 대규모 그래프 처리 성능 비교 (A Performance Comparison of Distributed Data Processing Frameworks for Large Scale Graph Data)

  • 배경숙;공용준;심탁길;신의섭;성기진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.469-472
    • /
    • 2012
  • 최근 IT 분야의 화두로 '빅 데이터'가 떠오르고 있으며 많은 기업들이 이를 분석하여 이익을 증대하기 위한 노력을 하고 있다. 이에 구글은 초기에 맴리듀스라고 하는 대용량 분산처리 프레임워크 기술을 확보하여 이를 기반으로 한 서비스를 제공하고 있다. 그러나 스마트 단말 및 소설미디어 등의 출현으로 다양한 디지털 정보들이 그래프로 표현되는 추세가 강화되고 있으며 기존의 맵리듀스로 이를 처리하는 데에 한계를 느낀 구글은 Pregel 이라는 그래프 형 자료구조에 최적화된 또 다른 분산 프레임워크를 개발하였다. 본 논문에서는 일반적인 그래프 형 데이터가 갖는 특성을 분석하고, 대용량 그래프 데이터를 처리하는데 있어 맵리듀스가 갖는 한계와 Pregel은 어떤 방식으로 이를 극복하고 있는지를 소개한다. 또한 실험을 통하여 데이터의 특성에 따른 적절한 프레임워크의 선택이 대용량 데이터를 처리하는 데에 있어서 얼마나 큰 영향을 미치는지 확인한다.