• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.591-594
• /
• 2016

최근 빅데이터 시대의 도래로 대량의 데이터에 대한 처리 및 분석 요구가 증가되면서 빅데이터를 저장하기 위해 개발된 NoSQL 데이터베이스 내의 조인 연산 필요성이 증대되고 있다. 빅데이터 환경에서는 다중 저장소 지속성의 개념에 따라 여러 NoSQL 데이터베이스를 동시 복합적으로 사용해야 하므로 이기종 NoSQL 데이터베이스간의 조인 연산이 중요시 되고 있다. 하지만 NoSQL 데이터베이스에서는 데이터 처리 과정에서 발생하는 오버헤드로 인해 조인 연산을 지원하지 않거나 조인 연산 시 성능저하가 발생한다. 이러한 조인 연산에 대한 오버헤드를 줄이기 위해 애플리케이션 단에서 맵리듀스 프레임워크를 활용한 다양한 조인 전략 연구들이 제시되었지만 단일 NoSQL 데이터베이스를 위한 방법이며 조인에 참여하는 데이터의 특성 및 연관성을 사전에 파악하고 있어야하는 한계점이 존재한다. 본 논문은 조인 연산에 참여하는 데이터에 대한 사전 정보 없이 빅데이터 환경에서 이기종 NoSQL 데이터베이스간의 조인 연산을 지원하기 위해 데이터 집합 분석, 질의 재배치, 조인 전략 자동 선정, 조인 결과가 저장될 데이터베이스 자동 선택 단계를 통한 지능적 조인 처리 기법을 제시한다.

• 전자통신동향분석
• /
• 제28권1호
• /
• pp.52-61
• /
• 2013

음성언어 처리 분야는 인간의 자연어 발화를 컴퓨터가 자동으로 이해하고 처리하는 알고리즘을 연구하는 분야로, 자동 통번역, Siri와 같은 음성 대화 시스템, 차세대 인터페이스, 질의 응답 시스템 등 다양한 응용군을 포함한다. 특히, 음성언어 처리 기술은, 최근 빅데이터(big data) 시대를 맞이하여, 방대한 음성/텍스트 정보를 처리하기 위한 필수 기술로 각광받고 있다. 한편, 빅데이터는 그 자체가 거대한 말뭉치 데이터로서 음성언어 처리 기술의 성능을 향상시키는 주된 리소스가 된다. 이에 따라, 최근 빅데이터를 이용하여 음성언어 처리 기술의 성능을 개선시키고자 하는 연구가 활발히 진행되고 있는데, 본고에서는 이들 연구의 배경 및 연구 동향들을 소개하기로 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.1635-1638
• /
• 2013

바야흐로 디지털 데이터의 빅뱅 시대로 진입하고 있다. 정보통신기술의 급속한 발전으로 인해 인터넷은 사회 전 분야를 변화시키고 있으며, 스마트 단말기, 사물인터넷, 소셜네트워크, 실시간 데이터 수집 장치, 지리정보시스템 등의 등장과 기타 여러 가지 새로운 형태의 데이터 소스가 출현하였다. 이에 따라 데이터 량이 폭발적으로 증가하고 있으며, 한 번에 처리해야 할 디지털 정보량이 수십 테라바이트에서 제타바이트에서 이르는 이른바 빅데이터 시대가 도래한 것이다. 그러나 빅데이터 기술의 빠른 성장에 비해 빅데이터 생태계의 근간이 되는 기술의 보호나 지식재산권의 침해로부터 관련 기술을 보호하기 위한 법적 구제수단은 미비한 형편이다. 이에 본 논문에서는 빅데이터 시대의 지식재산권 침해 유형을 분류하고, 현행법 하에서의 법적 구제수단에 대해 알아본다.

• 전자통신동향분석
• /
• 제28권1호
• /
• pp.92-99
• /
• 2013

최근 ICT 기술의 발전으로 저장 시스템이 저렴해지고, 많은 데이터를 빠르게 처리하는 것이 가능해지면서 빅데이터(BigData)에 대한 많은 관심이 집중되고 있다. 특히 스마트폰과 모바일 인터넷 서비스 활성화에 따라 사용자의 데이터 이용이 폭발적으로 증가하고 있다. 과거 초고속 인터넷 확산이 정보화에 크게 일조한 것과 같이 거대한 분량의 데이터는 사람과 비슷한 수준의 지식을 만들어 내는 빅데이터 처리 기술 발전의 근간이 되었고, 선진국을 중심으로 다양한 사례가 보고되고 있다. 본고는 확산 일로에 있는 빅데이터 관련 이슈를 정리하고 최근의 표준화 활동에 대해서 살펴본다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.1265-1267
• /
• 2015

최근 IoT 기술의 등장으로 저전력 소형 컴퓨터인 라즈베리파이 클러스터가 IoT 데이터 처리를 위해 사용되고 있다. IoT 기술이 발전하면서 다양한 데이터가 생성되고 있으며 IoT 환경에서도 빅데이터 처리가 요구되고 있다. 빅데이터 처리 프레임워크에는 일반적으로 하둡이 사용되고 있으며 이를 대체하는 솔루션으로 Apache Spark가 등장했다. 본 논문에서는 PC와 라즈베리파이 클러스터에서의 성능을 Apache Spark를 통해 비교하였다. 본 실험을 위해 Yelp 데이터를 사용하며 데이터 로드 시간과 Spark SQL을 이용한 데이터 처리 시간을 통해 성능을 비교하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.125-127
• /
• 2021

본 논문에서는 기존의 산업 및 서비스 변화에 따라 발생하는 빅데이터 분석 서비스 처리를 위한 빅데이터 분석 서비스 브로커 시스템을 제안한다. 기존의 빅데이터 분석 시스템은 분석하는 시간 동안 지속적으로 자원을 점유하고 있어야 하며, 이러한 서비스를 이용하기 위해 내부에 대규모의 시스템을 구축하고 지속적으로 운영해야하는 단점이 존재한다. 본 논문에서는 빅데이터 분석에 필요한 자원을 효과적으로 사용하기 위해 클라우드 기반의 자원 관리와 연계하고 서비스 이용을 용이하게 하기 위해 단일 엔드포인트 기반의 빅데이터 분석 서비스 호출 구조를 설계하였다. 이를 통해 빅데이터 서비스 분석에 소요되는 자원 점유에 따라 동적으로 자원을 생성 관리하여 자원을 보다 효과적으로 이용할 수 있는지 테스트베드를 구축하여 서비스 이용 및 자원 사용을 효과적으로 하는지 확인하였다. 또한, 이를 통해 대규모 자원을 지속적으로 점유해야하는 빅데이터 분석 플랫폼의 자원사용에 대한 한계를 일부 해소하여 자원을 효과적으로 이용할 수 있는 것을 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제20권2호
• /
• pp.240-247
• /
• 2020

빠르게 변화하는 온라인상의 정보 흐름과 트랜드를 이해하고 IT기술 환경변화에 대응하기 위해서 필요한 선제적 제도 마련을 위한 한 가지 방안으로 빅데이터를 이용하고자 하는 노력이 최근 들어 더욱 가속화 되고 있다. 논문에서는 인공지능 기반의 빅데이터 처리를 통한 이슈 분석 시스템의 개발과 연구를 통해 빅데이터 처리를 위한 새로운 기술의 가능성을 확인하고자 한다. 이를 위해, 고속의 병렬처리가 가능해진 인공신경망을 사용, 의미 추론 및 패턴분석을 위한 처리 기법을 제안하고 구현을 통해 제안하는 방법에 대한 빅데이터 처리의 적합성을 알아본다. 정보보안의 중요성을 감안하여, 인공 신경망을 이용한 이슈 분석 시스템을 최근의 보안 이슈 분석에 활용해봄으로써 제안하는 방식이 실제 빅데이터 처리에 유용하게 활용 될 수 있음을 검증한다. 실험을 통해서 제안된 방식에 대한 다양한 목적의 빅데이터 처리를 위한 기반 기술로의 활용 가능성을 확인한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 춘계학술발표대회
• /
• pp.854-856
• /
• 2017

최근 들어 모바일 디바이스의 발전으로 인해 생성되는 데이터의 종류는 다양해지고, 양은 방대해지고 있다. 이렇게 생성된 방대한 양의 데이터를 빅데이터라고 한다. 빅데이터들은 기존의 데이터 처리 방법과 다른 방법으로 처리되어야한다. 빅데이터 처리의 대표적인 방법인 관계형데이터베이스시스템(RDBMS)와 NoSQL 방법 중 대표적인 방법인 MySQL과 MongoDB의 데이터를 모델링한다. 설계된 데이터를 바탕으로 보다 편하고 알맞게 데이터베이스시스템 성능평가를 수행한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 춘계학술발표대회
• /
• pp.983-985
• /
• 2012

빅데이터의 다양한 활용 부문 중 의료정보 관리의 경우 향후 개인 건강관리의 중요한 정보로 사용될 수 있다. 이를 구체화 시키고 실생활에 적용시키기 위해 본 논문에서는 빅데이터 기반의 개인 의료정보 관리 시스템을 설계하였다. 이를 위하여 관련연구로 빅데이터와 PHR에 대해 분석하고, 빅데이터 기반의 개인 의료정보 관리 시스템을 설계하며, 외부와 의료정보 관리 시스템간의 의료정보 교환 프로토콜을 설계하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
• /
• pp.341-342
• /
• 2014

지난 10년간 데이터의 폭발적인 증가로 우리는 빅데이터 시대를 맞이하게 되었다. 특히, 최근 몇 년 사이 소셜 네트워크의 발전으로 인해 발생하는 데이터의 양이 증가하면서, 이를 처리하기 위한 시스템으로 하둡이 등장하였다. 이전에는 저장 및 처리할 수 없었던 대용량 데이터를 오픈소스인 하둡의 등장으로 누구나가 대용량 데이터를 처리할 수 있는 시스템을 운영할 수 있게 된 것이다. 대규모 처리 분석을 위한 소프트웨어 프레임워크인 하둡은 클라우드 컴퓨팅의 대표적인 기술로 널리 사용되고 있다. 하둡은 크게 데이터의 저장을 담당하는 HDFS(Hadoop Distribute File System)와 데이터를 처리하는 맵리듀스로 나뉜다. 본 논문에서는 기존의 MapReduce와 차세대 맵리듀스로 불리는 YARN을 비교 분석하고 맵리듀스의 용도와 효율적인 활용방안을 제시한다.