• 제목/요약/키워드: 대용

검색결과 6,391건 처리시간 0.034초

대용량 문서학습을 위한 분류기 생성 및 결합방법 (A Method for Generating and Combining Classifiers for Large Scale Data)

  • 정도헌;황명권;성원경
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.1551-1554
    • /
    • 2011
  • 대용량 데이터 환경에의 적용이 가능한 대용량 학습기반의 자동범주화 기법과 범용적으로 사용할 수 있는 기법은 대량의 정보를 처리해야하는 정보분석 및 정보서비스 환경에 가장 필요한 기술요소라 할 수 있다. 본 논문에서는 대용량의 문서를 단위 컴포넌트로 분할하여 학습하고 이를 동적으로 결합하는 대용량 분류기 생성 기법을 소개하고 자동범주화 성능을 SVM 모델과 비교하여 봄으로써, 본 기술의 활용 가능성을 살펴보도록 한다.

인메모리 관계형 데이터베이스 시스템을 이용한 대용량 텍스트 로그 데이터의 패턴 매칭 방법 (A Pattern Matching Method of Large-Size Text Log Data using In-Memory Relational Database System)

  • 한혁;최재용;진성일
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.837-840
    • /
    • 2017
  • 각종 사이버 범죄가 증가함에 따라 실시간 모니터링을 통한 사전 탐지 기술뿐만 아니라, 사후 원인 분석을 통한 사고 재발 방지 기술의 중요성이 증가하고 있다. 사후 분석은 시스템에서 생산된 다양한 유형의 대용량 로그를 기반으로 분석가가 보안 위협 과정을 규명하는 것으로 이를 지원하는 다양한 상용 및 오픈 소스 SW 존재하나, 대부분 단일 분석가 PC에서 운용되는 파일 기반 SW로 대용량 데이터에 대한 분석 성능 저하, 다수 분석가 간의 데이터 공유 불가, 통계 연관 분석 한계 및 대화형 점진적 내용 분석 불가 등의 문제점을 해결하지 못하고 있다. 이러한 문제점을 해결하기 위하여 고성능 인메모리 관계형 데이터베이스 시스템을 로그 스토리지로 활용하는 대용량 로그 분석 SW 개발하였다. 특히, 기 확보된 공격자 프로파일을 활용하여 공격의 유무를 확인하는 텍스트 패턴 매칭 연산은 전통적인 관계형 데이터베이스 시스템의 FTS(Full-Text Search) 기능 활용이 가능하나, 대용량 전용 색인 생성에 따른 비현실적인 DB 구축 소요 시간과 최소 3배 이상의 DB 용량 증가로 인한 시스템 리소스 추가 요구 등의 단점이 있다. 본 논문에서는 인메모리 관계형 데이터베이스 시스템 기반 효율적인 텍스트 패턴 매칭 연산을 위하여, 고성능의 대용량 로그 DB 적재 방법과 새로운 유형의 패턴 매칭 방법을 제안하였다.

대용량 데이터 기반 트리플 저장소 아키텍처 분석 (Analysis of Scalable Triple Repository Architecture for Big Data)

  • 김태홍;엄정호;조민희;최성필;정한민
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
    • /
    • pp.423-425
    • /
    • 2012
  • 비정형데이터의 분석을 위한 다양한 연구가 진행되면서 폭발적인 트리플 데이터 증가가 이루어졌다. 이는 결국 서비스 인프라의 병목현상을 초래하고 있으며, 그 해결책으로서 분산 병렬 아키텍처가 주목받고 있다. 본 논문은 대용량 시맨틱웹 자원을 저장, 적재, 질의 및 추론할 수 있는 트리플 저장소 특성에 가장 적합한 시스템 구조를 선정하기 위해 대용량 처리 능력, 데이터 처리 속도 및 안정성의 측면에서 연합 DBMS와 맵리듀스를 분석하는데 초점을 맞추고 있다. 분석 결과는 대용량 데이터 기반 트리플 저장소의 특성과 아키텍처의 유연성 및 향후 성능 개선 가능성을 판단하는 요소로 활용하여 맵리듀스 방식을 대용량 트리플 저장소에 적합한 방식으로 선정하였다. 본 연구는 대용량 데이터 기반 트리플 저장소 개발의 방향 수립을 위한 기반 연구로서 중요한 가치를 가진다.

대용량 네트워크 압축 기반 클러스터링 알고리즘 개발 (Development of Clustering Algorithm based on Massive Network Compression)

  • 서동민;유석종;이민호
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2016년도 춘계 종합학술대회 논문집
    • /
    • pp.53-54
    • /
    • 2016
  • 빅데이터란 대용량 데이터 활용 및 분석을 통해 가치 있는 정보를 추출하고, 이를 바탕으로 대응 방안 도출 또는 변화를 예측하는 기술을 의미한다. 그리고 빅데이터 분석에 활용되는 데이터인 페이스북과 같은 소셜 데이터, 유전자 발현과 같은 바이오 데이터, 항공망과 같은 지리정보 데이터들은 대용량 네트워크로 구성되어 있다. 네트워크 클러스터링은 서로 유사한 특성을 갖는 네트워크 내의 데이터들을 동일한 클러스터로 묶는 기법으로 네트워크 데이터를 분석하고 그 특성을 파악하는데 폭넓게 사용된다. 최근 빅데이터가 다양한 분야에서 활용되면서 방대한 양의 네트워크 데이터가 생성되고 있고, 이에 따라서 대용량 네트워크 데이터를 효율적으로 처리하는 클러스터링 기법의 중요성이 증가하고 있다. MCL(Markov Clustering) 알고리즘은 플로우 기반 무감독(unsupervised) 클러스터링 알고리즘으로 확장성이 우수해 다양한 분야에서 활용되고 있다. 하지만, MCL은 대용량 네트워크에 대해서는 많은 클러스터링 연산을 요구하며 너무 많은 클러스터를 생성하는 문제를 갖는다. 본 논문에서는 네트워크 압축을 기반으로 한 클러스터링 알고리즘을 제안함으로써 MCL보다 클러스터링 속도와 정확도를 향상시켰다. 또한, 희소행렬을 효율적으로 저장하는 CSC(Compressed Sparse Column) 자료구조와 MapReduce 기법을 제안한 클러스터링 알고리즘에 적용함으로써 대용량 네트워크에 대한 클러스터링 속도를 향상시켰다.

  • PDF

설명문의 대용어 참조해결과정: 대용어와 지시사 생략 효과 (Anaphoric Reference Resolution in Expository Text: The Effects of Ellipsis)

  • 이재호
    • 인지과학
    • /
    • 제21권2호
    • /
    • pp.253-282
    • /
    • 2010
  • 이 연구는 대용어나 지시사가 생략된 조건에서 선행어의 전형성과 언급순서가 참조해결에 작용하는 효과를 살펴보기 위해서 2개의 실험을 실시하였다. 실험 1은 대용어 생략과 대명사 조건을 비교하였다. 대용어 생략은 전형성과 언급순서가 읽기과제에 반영되었고, 언급순서 효과가 탐사재인과제에 반영되었다. 반면에 대명사는 전형성과 언급순서 효과가 탐사재인과제에만 반영되었다. 실험 2에서는 지시사가 생략된 명사반복과 대명사 조건을 비교하였다. 명사반복이 대명사에 비해서 읽기시간이 길었으며, 언급순서 효과가 탐사재인과제에 반영되었다. 반면에 대명사는 전형성과 언급순서가 탐사재인과제에서 반영되었다. 이는 선행어와 대용어의 참조해결이 직선적이기보다는 역동적일 가능성을 시사하였다.

  • PDF

GO언어를 이용한 대용량 데이터 리스트의 동시성 처리 비교 (Concurrency processing comparison of large data list using GO language)

  • 이요셉;임영환
    • 문화기술의 융합
    • /
    • 제8권2호
    • /
    • pp.361-366
    • /
    • 2022
  • 대용량 데이터를 처리 하는 방식은 여러 가지가 있다. 처리 방법에 따라서 대용량 데이터 리스트를 만드는데 처리속도가 많은 차이를 두고 있다. 대표적으로 대용량 데이터 리스트를 만들기 위해서 대용량 데이터를 정규화 된 쿼리로 만들고 만들어 낸 쿼리의 결과를 List Map 담아두고 출력 가능한 형태로 변환 한다. 이러한 과정은 단계별로 처리 속도가 저하되는 원인으로 발생된다. 만들어 낸 쿼리의 결과를 List Map으로 담는 과정에서 데이터의 형태별로 저장되는 형식 다르기 때문에 처리속도의 차이가 나타난다. GO언의 동시성 처리를 통해서 기존에 처리속도의 차이가 발생되던 문제를 해결하고자 한다. 즉 GO언의 동시성 처리 결과가 기존의 List Map에 담는 형식과 동시성을 사용하여 처리하는 방식의 대용량 데이터 리스트 처리 방식이 얼마나 차이가 나고 어떠한 방식으로 진행되는지를 제공하여 보다 빠른 처리를 할 수 있도록 비교 한다.

IGBT 저압대용량 유도전동기의 구동 시스템

  • 김종구;최욱돈
    • 전기의세계
    • /
    • 제43권2호
    • /
    • pp.36-44
    • /
    • 1994
  • 본고에서는 당사에서 개발된 제품을 중심으로 제어방식, 대용량화를 위한 전력회로설계 기술 및 시험결과 등에 대해 중점적으로 소개하고자 한다.

  • PDF