• 제목/요약/키워드: 하둡 시스템

검색결과 169건 처리시간 0.023초

학습분석 기법을 적용한 소프트웨어교육 지원 시스템 개발 (Development of Software Education Support System using Learning Analysis Technique)

  • 전인성;송기상
    • 정보교육학회논문지
    • /
    • 제24권2호
    • /
    • pp.157-165
    • /
    • 2020
  • 소프트웨어교육에 대한 관심이 높아지면서 소프트웨어교육의 교수·학습 방법 및 평가에 대한 논의도 같이 활발해지고 있다. 현재 이루어지고 있는 소프트웨어교육 수업 방법의 문제는 교수자가 학습자의 컴퓨터에서 진행되고 있는 코딩의 내용을 실시간으로 파악할 수 없다는 것이다. 이에 따라 교수자는 적시에 학습자에게 피드백을 주는데 한계가 있다. 이 문제를 극복하기 위하여 본 연구에서는 학습분석 기법을 적용하여 엔트리 기반의 실시간 학습자 코딩 상황을 파악하고 교수자에게 전달하는 소프트웨어교육 지원 시스템을 개발하고, 학습중에 수집되는 데이터를 Hadoop 시스템을 통하여 시각화는 체제를 구현하였다. 소프트웨어교육 지원 시스템은 교사와 학습자가 접속하는 표현 계층과 코드를 분석하고 구조화하여 평가하는 비즈니스 계층, 그리고 학급정보, 계정 정보, 학습정보 등을 저장하는 DB 계층을 포함하고 있다. 교수자는 미리 학습할 내용을 소프트웨어교육 지원 시스템에 설정하는 것이 가능하고, 저장된 코드와 학생들의 코드를 비교한 데이터를 기반으로 하여 컴퓨팅 사고력 요소 루브릭을 통해 학습자의 성취율을 비교·분석할 수 있다.

Splunk 플랫폼을 활용한 유해 정보 탐지를 위한 빅데이터 분석 시스템 설계 (Design of Splunk Platform based Big Data Analysis System for Objectionable Information Detection)

  • 이협건;김영운;김기영;최종석
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권1호
    • /
    • pp.76-81
    • /
    • 2018
  • 미래 경제 성장 동력으로 부상하고 있는 사물인터넷은 이미 생활과 밀접한 분야에서는 도입이 활발하게 이루어지고 있으나, 잠재된 보안위협은 여전히 잔존하고 있다. 특히 인터넷 상의 유해 정보는 스마트홈 및 스마트시티의 활성화로 인해 폭발적으로 설치된 CCTV에 할당된 IP 정보 및 심지어 접속 포트 번호들이 포털 검색 결과 및 페이스북, 트위터와 같은 소셜 미디어 등에 공개되어 간단한 툴로도 보다 쉽게 해킹이 가능하다. 사용자들이 많이 사용하는 포털 검색 데이터 및 소셜 미디어 데이터의 보안취약점 및 불법 사이트 정보들을 데이터 분석하여, 보안취약성 같은 위험 요소가 내포된 데이터 및 사회적 문제를 야기하는 불법 사이트에 대한 대응을 신속하게 수행할 수 있게 지원하는 빅데이터 분석 시스템이 필요하다. 본 논문에서는 빅데이터 분석 시스템 설계를 위해 하둡 기반 빅데이터 분석 시스템과 스파크 기반 빅데이터 분석 시스템 연구를 통해 요구사항을 도출하여 요구사항에 맞게 Splunk 플랫폼을 활용한 유해 정보 탐지를 위한 빅데이터 분석 시스템을 설계하였다.

단일머신 환경에서의 논리적 프로그래밍 방식 기반 대용량 RDFS 추론 기법 (Scalable RDFS Reasoning using Logic Programming Approach in a Single Machine)

  • 바트셀렘 작바랄;김제민;이완곤;박영택
    • 정보과학회 논문지
    • /
    • 제41권10호
    • /
    • pp.762-773
    • /
    • 2014
  • 시맨틱 웹상에서 RDFS로 표현된 데이터의 사용 증가로 인하여, 대용량 데이터의 추론에 대한 많은 요구가 생겨나고 있다. 많은 연구자들은 대용량 온톨로지 추론을 수행하기 위해서 하둡과 같은 고가의 분산 프레임워크를 활용한다. 그러나, 적절한 사이즈의 RDFS 트리플 추론을 위해서는 굳이 고가의 분산 환경 시스템을 사용하지 않고 단일 머신에서도 논리적 프로그래밍을 이용하면 분산 환경과 유사한 추론 성능을 얻을 수 있다. 본 논문에서는 단일 머신에 논리적 프로그래밍 방식을 적용한 대용량 RDFS 추론 기법을 제안하였고 다중 머신을 기반으로 한 분산 환경 시스템과 비교하여 2억개 정도의 트리플에 대한 RDFS 추론 시스템을 적용한 경우 분산환경과 비슷한 성능을 보이는 것을 실험적으로 증명하였다. 효율적인 추론을 위해 온톨로지 모델을 세부적으로 분리한 메타데이터 구조와 대용량 트리플의 색인 방안을 제안하고 이를 위해서 전체 트리플을 하나의 모델로 로딩하는 것이 아니라 각각 온톨로지 추론 규칙에 따라 적절한 트리플 집합을 선택하였다. 또한 논리 프로그래밍이 제공하는 Unification 알고리즘 기반의 트리플 매칭, 검색, Conjunctive 질의어 처리 기반을 활용하는 온톨로지 추론 방식을 제안한다. 제안된 기법이 적용된 추론 엔진을 LUBM1500(트리플 수 2억개) 에 대해서 실험한 결과 166K/sec의 추론 성능을 얻었는데 이는 8개의 노드(8 코아/노드)환경에서 맵-리듀스로 수행한 WebPIE의 185K/sec의 추론 속도와 유사함을 실험적으로 증명하였다. 따라서 단일 머신에서 수행되는 본 연구 결과는 트리플의 수가 2억개 정도까지는 분산환경시스템을 활용하지 않고도 분산환경 시스템과 비교해서 비슷한 성능을 보이는 것을 확인할 수 있었다.

MapReduce와 시공간 데이터를 이용한 빅 데이터 크기의 이동객체 갱신 횟수 감소 기법 (Update Frequency Reducing Method of Spatio-Temporal Big Data based on MapReduce)

  • 최용권;백성하;김경배;배해영
    • Spatial Information Research
    • /
    • 제20권2호
    • /
    • pp.137-153
    • /
    • 2012
  • 지금까지 대규모의 이동객체 관리를 위해 갱신 비용을 감소시킬 수 있는 인덱스 기법들이 제안되었다. 이동객체 인덱스는 빈번하게 위치정보가 변화하는 이동객체를 관리하기 위해 주기적으로 갱신 되어야 하기 때문이다. 그러나 이러한 기법들은 이동객체의 수가 현저히 증가하는 경우 인덱스의 갱신 가능범위를 초과하는 부하가 발생한다. 본 논문에서는 이처럼 기존의 처리 가용량을 초과하는 빅 데이터 크기의 이동객체에서 발생하는 갱신요청들을 MapReduce와 기존 인덱스기법을 조합하여 감소시키는 기법을 제안한다. 이 기법에서는 수많은 이동객체에서 발생하는 갱신요청들을 MapReduce를 이용하여 각각의 이동객체 별로 그룹화하는 방법을 사용한다. 각 이동객체 별로 그룹화 데이터들의 최신의 데이터와 가장 오래된 데이터를 비교하여 갱신여부를 판단하고 최신의 요청만 갱신하도록 하여 전체 갱신 횟수를 크게 감소시킨다. 갱신이 지연된 경우 기존의 갱신요청들을 가지고 있는 해시 테이블에 일정기간 보관하여 지연된 갱신요청이 분실되지 않고 지속적으로 갱신되도록 한다. 실험을 통해 제안한 기법을 적용한 경우와 적용하지 않은 경우를 비교해 전체 갱신 횟수 및 갱신 비용이 감소되는 것을 알 수 있다.

HDFS에서 소형 파일의 효율적인 접근을 위한 분산 캐시 관리 기법 (A Distributed Cache Management Scheme for Efficient Accesses of Small Files in HDFS)

  • 오현교;김기연;황재민;박준호;임종태;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제14권11호
    • /
    • pp.28-38
    • /
    • 2014
  • 본 논문에서는 소형 파일을 효율적으로 접근하기 위한 분산 캐시 관리 기법을 제안한다. 제안하는 기법은 다수의 소형 파일을 병합하여 청크에 저장함으로써, 네임 노드에서 관리해야 할 메타데이터 수를 감소시킨다. 또한, 클라이언트와 데이터 노드의 캐시를 사용하여 요청된 파일들의 정보를 유지함으로써 소형 파일 접근 비용을 줄인다. 이때, 클라이언트의 캐시에는 사용자가 요청한 소형 파일과 메타데이터가 유지되며, 각 데이터 노드의 캐시에는 여러 사용자들이 빈번하게 요청했던 소형 파일을 유지한다. 성능 평가를 통해 제안하는 분산 캐시 관리 기법이 기존 기법에 비해 소형 파일 접근 비용을 크게 감소시킴을 보인다.

맵리듀스 온라인 프레임워크에서 공간 데이터 스트림 처리를 위한 동적 부하 관리 기법 (Dynamic Load Management Method for Spatial Data Stream Processing on MapReduce Online Frameworks)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제19권8호
    • /
    • pp.535-544
    • /
    • 2018
  • 다양한 센서를 내장하고 고품질의 무선 네트워크 통신 기능을 탑재한 이동 장치의 보급이 확대됨에 따라 다양한 서비스 환경에서 이동 장치로부터 생성되는 시공간 데이터 량도 빠르게 증가하고 있다. 이와 같이 실시간 특성을 갖는 대량의 공간 데이터 스트림을 처리하기 위한 기존의 연구에서 하둡 기반의 공간 빅 데이터 시스템은 일괄 처리 방식의 플랫폼으로 공간 데이터 스트림에 대한 실시간 서비스에 적용하기에는 매우 어렵다. 이에 본 논문에서는 맵리듀스 온라인 프레임워크를 확장하여 연속적으로 입력되는 공간 데이터 스트림에 대한 실시간 질의 처리를 지원하고, 질의 처리 과정에서 야기될 수 있는 부하 문제를 효과적으로 분산하는 부하 관리 기법을 제안한다. 제안 기법에서는 공간 분할 영역을 기반으로 입력 데이터의 유입율과 부하율을 이용하여 노드들에 대해 동적으로 부하를 분산하는 기법을 제시하였다. 실험에서는 특정 공간 영역에서의 부하 관리가 요구될 때 해당 영역에서의 공간 데이터 스트림을 공유하는 자원들에게 분배함으로써 효과적인 질의 처리를 지원할 수 있음을 보인다.

클라우드 환경에서 문서의 유형 분류를 위한 시맨틱 클러스터링 모델 (Semantic Clustering Model for Analytical Classification of Documents in Cloud Environment)

  • 김영수;이병엽
    • 한국콘텐츠학회논문지
    • /
    • 제17권11호
    • /
    • pp.389-397
    • /
    • 2017
  • 최근 시맨틱 웹 문서는 클라우드 기반으로 생성 및 유통되고 문서유형 분류에 따른 쉽고 신속한 정보 검색을 위해 지능형 시맨틱 에이전트를 요구하고 있다. 기존의 웹 문서의 검색은 키워드를 이용하여 해당하는 질의어가 포함된 문서 목록을 결과로 가져오며 사용자의 요구시에 내용을 제시하는 것이 일반적인 형태이다. 이는 웹 문서의 유사도와 시맨틱 관련성을 고려하지 않음으로써 사용자가 내용 검색과 분석에 많은 시간과 노력을 요구한다. 이의 해결을 위해서 빅 데이터 요소 기술인 하둡과 NoSQL을 활용하여 시맨틱 웹 문서에 포함된 키워드 빈도에 기반한 웹 문서의 유형 분류와 유사도를 제시하는 시맨틱 클러스터링 모델을 제안한다. 제안 모델은 실시간 데이터 처리가 요청되는 이종 모델을 가진 공공 데이터와 웹 데이터를 취합하여 일반 사용자가 쉽게 질의할 수 있는 대용량 지식 기반 시스템을 구축하는데 응용 모델로 활용될 수 있다.

웰니스를 위한 빅데이터 분석과 의료 질 관리 (The Big Data Analysis and Medical Quality Management for Wellness)

  • 조영복;우성희;이상호
    • 한국컴퓨터정보학회논문지
    • /
    • 제19권12호
    • /
    • pp.101-109
    • /
    • 2014
  • 의학기술의 발전과 소득수준의 증가로 "건강하게 오래살기"에 관심이 높아지면서 적극적으로 건강을 증진하고 유지하는 웰니스가 확대되고 있다. 또한 맞춤형 의료서비스에 대한 수요가 증가하고 방대한 의료 빅 데이터를 이용한 질병 예방의 움직임도 나타나고 있다. 이 논문에서는, 의료 시장에서 주요 관심분야로 부각되고 있는 웰니스를 지원하기위해 빅 데이터 기반의 의료 질 향상을 통한 환자중심의 의료서비스를 목적으로 한다. 환자를 약물에 의존적으로 치료만 하는 것이 아니라 식생활 개선을 기반으로 질병예방과 치료를 위해 빅데이터를 분석한다. 개인 트윗터를 분석해서 일상생활정보를 획득하고 웰니스 사전을 기반으로 질병예방과 치료를 목적으로 한다. 효율적인 빅데이터 분석을 위해 하둡노드를 증가하면서 데이터 처리시간을 실험하였다. 실험결과 저장시간의 경우 63%, 데이터 통합의 경우 18%, 전체 테스트 시간을 기준으로 26%로 하나의 노드로 처리하는 경우보다 세 개의 노드로 처리하는 것이 효율적임을 실험을 통해 확인하였다.

기업의 빅데이터 적용방안 연구 -A사, Y사 빅데이터 시스템 적용 사례- (Study on the Application Methods of Big Data at a Corporation -Cases of A and Y corporation Big Data System Projects-)

  • 이재성;홍성찬
    • 인터넷정보학회논문지
    • /
    • 제15권1호
    • /
    • pp.103-112
    • /
    • 2014
  • 지난 수년간 스마트 폰 같은 스마트 기기의 빠른 확산과 함께 인터넷과 SNS 등 소셜 미디어가 급성장함에 따라 개인 정보와 소비패턴, 위치 정보 등이 포함된 가치 있는 데이터가 매 순간 엄청난 양으로 생성되고 있으며, M2M (Machine to Machine)과 IoT (Internet of Things) 등이 활성화되면서 IT 및 생산인프라 자체도 다량의 데이터를 직접 생성하기 시작했다. 본 연구는 기업에서 활용할 수 있는 빅데이터의 대표적 유형인 정형 및 비정형 데이터의 적용사례를 고찰함으로써 데이터 유형에 따른적용 영역별 파급효과를 알아본다. 또한 일반적으로 알려져 있는 비정형 빅데이터는 물론 정형빅데이터를 활용하여 실제로 기업에 보다 나은 가치를 창출할 수 있는 방안을 알아보는 것을 목적으로 한다. 이에 대한연구 결과로 빅데이터의 기업내 활동이 나아갈 수 있는 지향점으로써 내 외부에서 발생하는 정형데이터와 비정형 데이터를 적절히 결합함으로써 분석의 효과를 극대화 할 수 있음을 보여 주었다.

빅데이터 연구영역의 지식창출 구조 (Knowledge Creation Structure of Big Data Research Domain)

  • 남수현
    • 디지털융복합연구
    • /
    • 제13권9호
    • /
    • pp.129-136
    • /
    • 2015
  • 본 논문은 학제간 연구의 대표적인 사례인 빅데이터 연구가 어떤 주제로 구성되어 있는지를 상향식 접근법을 이용하여 분석한다. 분석을 위해서 연구재단에서 제공하는 학술지 인용색인시스템을 이용하였다. 영문 키워드 "big data"로 모든 등재지와 등재후보지를 대상으로 검색을 하여 이것을 원천 데이터로 하였다. 논문 저자가 직접 제공하는 키워드를 본 연구에서 사용하기 위해서 정제작업을 거친 후, 주요 키워드 분포, 참여 저널의 성격 분포, 참여저자 수의 분포, 연도별 키워드 분포 등을 이용하여 빅데이터 연구주제의 구조를 설명하였다. 식별된 주요 키워드들은 사회네트워크 분석, 하둡, 맵리듀스, 개인정보/보호, 클라우드 컴퓨팅, 시각화, 데이터마이닝 등이다. 또한 빅데이터가 지속가능하고 융복합적인 경영혁신 도구로 사용되기 위해 향후 추가적으로 보완되어야 할 연구 키워드들을 제안한다.