• 제목/요약/키워드: Distributed Data Analysis

검색결과 2,350건 처리시간 0.032초

악성 집단 댓글 분석에 의한 SNS 여론 소셜데이터 분석 (Analysis of Opinion Social Data on the SNS (Social Network Service) by Analyzing of Collective Damage Reply)

  • 황윤찬;고찬
    • 디지털융복합연구
    • /
    • 제11권5호
    • /
    • pp.41-51
    • /
    • 2013
  • 미디어를 통한 많은 소셜 데이터가 유통, 활용, 공개 되고 있다. 이 소셜 데이터를 이용한 미디어에 대한 즐거움과 정보의 효율적인 측면만 부각되고, 여기에서 발생되는 지나친 정보 노출과 사용자에 대한 인신 공격적 집단 댓글의 피해 문제는 소흘히 취급되고 있다. 본 연구에서는, 악성 집단 댓글 분석에 의한 SNS 여론 소셜 데이터 분석을 하였다. 소셜 네트워크가 가진 구조적 정보 이용을 통해 분석된 정보 분석 데이터의 양, 즉 SNS 언급 횟수 인 버즈량이 얼마나 많은 사람들에게 배포되고 악용되는가에 대한 문제를 다양한 측정 방법으로 분석하였다.

GIS 및 관망해석을 이용한 도시유역 분포형 유출해석 (Distributed Rainfall-Runoff Analysis of Urban Basin with GIS Technique and Network Analysis)

  • 유희상;김문모;김영섭;안원식
    • 한국방재학회 논문집
    • /
    • 제10권5호
    • /
    • pp.143-148
    • /
    • 2010
  • 본 연구에서는 도시유역인 불광천 유역에 격자기반의 지표면 강우-유출해석과 기존의 ILLUDAS 모형을 결합하여 제시한 새로운 모형을 적용하였다. 지표면 유출해석으로 GIS기반의 자료를 이용하여 소유역별로 유출량을 산정한 후 관망해석을 통하여 최종 유출구 지점인 증산대교에서의 유출 수문곡선을 산정하였다. 산정된 유출 수문곡선은 증산대교 수위관측소에서 관측된 수위를 수위-유량곡선에 의하여 유량으로 환산된 값과 비교 분석 하였다. 4개 강우사상을 적용하여 유출수문곡선을 산정한 결과 총유출량은 11.70%~16.30%, 첨두유출량은 1.10%~6.96%의 상대오차를 나타내었고, 첨두시간은 1시간이내의 오차를 나타내어 실제 유출사상과 유사한 것으로 판단된다. 따라서 본 연구에서 제시한 분포형 모형은 재해방지를 위한 도시유역에서의 유출수문곡선 추정시 유용하게 활용할 수 있을 것으로 판단된다.

공동 특허 출원인간 협력 요인이 기술혁신성과에 미치는 영향 분석: 우리나라 정보통신업을 중심으로 (Study of the Effects of Co-Patent Network Factors on Technological Innovation: Focus on IT industry in Korea)

  • 주성환;서환주
    • 기술혁신연구
    • /
    • 제25권4호
    • /
    • pp.211-238
    • /
    • 2017
  • 본 연구는 혁신주체 간 협력이 기술혁신 성과에 미치는 영향을 알아보기 위해 사회네트워크분석 및 분산분석 그리고 회귀분석을 실시하였다. 2009년부터 2012년까지 한국 특허청의 공동 출원인 자료를 토대로 네트워크 구조 변수 및 특성 변수를 도출하였다. 이를 통해 전체 네트워크의 구조적 유형, 혁신주체 별 역할 그리고 혁신 성과에 영향을 미치는 네트워크 특성 변수가 무엇인지를 실증 분석하였다. 분석결과를 요약하면 다음과 같다. 첫째, 특허 공동출원인 네트워크는 비교적 소규모 그룹들이 산재해 있는 분산집중형 좁은세상 네트워크 구조이며 혁신주체들이 비교적 느슨하게 연결되어 있었다. 둘째, 특허 공동출원인 네트워크에서 가장 중심적인 역할을 하는 것은 대학교로 밝혀졌으나 협력 파트너의 다양성은 모든 혁신주체가 비슷하였다. 셋째, 익숙한 몇몇 협력 파트너로부터 얻는 신속하고 정확성이 높은 지식이 다양한 분야의 협력 파트너로부터 얻는 생소한 지식보다 성과를 창출하는 데에 보다 긍정적이었다.

한강유역의 가뭄경향에 관한 연구 (A Study on Drought Trend in Han River Basin)

  • 김형수;문장원;김재형;김중훈
    • 한국수자원학회논문집
    • /
    • 제33권4호
    • /
    • pp.437-446
    • /
    • 2000
  • 본 연구에서는 한강 유역의 수문 시계열자료에 절단 수준법과 조건부 확률개념을 적용한 가문분석을 실시하였으며, 크리깅기법을 이용하여 산정된 조건부 확률의 유역 내 분포 경향을 알아보았다. 수문시계열자료는 일 하천 유량, 월 강수량, 일 최고기온자료를 이용하였고 자료기간은 일 하천 유량의 경우 86년부터 97년까지 총 12년 간의 자료를 사용하였으며, 월 강수량과 일 최고기온의 경우에는 86년부터 99년까지 총 14년 간의 기상청 관측자료를 이용하였다. 하천 유량과 월 강수량의 경우, 절단 수준이 증가함에 따라 절단 수준에 상응하는 가뭄 표준치들은 감소하며, 일 최고기온과 같은 시계열의 경우는 절단 수준이 증가함에 따라 해당 절단 수준의 가뭄 표준치들도 함께 증가하였다. 산정된 조건부 확률은 지점과 수문학적 인자, 즉, 시계열의 종류에 따라 다양한 값을 나타내고 있으나 유역 전체에 대한 대체적인 분포경향은 수문학적 인자에 관계없이 유사하게 나타났다. 결론적으로, 한강유역에서는 가뭄이 발생하여 강도가 심해질 가능성이 유역의 중하류 지역이 크게 나타나고 있음을 알 수 있었다. 따라서 해당 유역에서 가뭄에 대비한 대책 수립 시 이에 대한 고려가 필요할 것으로 판단된다.

  • PDF

대규모 로그를 사용한 유저 행동모델 분석 방법론 (The Analysis Framework for User Behavior Model using Massive Transaction Log Data)

  • 이종서;김성국
    • 한국빅데이터학회지
    • /
    • 제1권2호
    • /
    • pp.1-8
    • /
    • 2016
  • 사용자로그는 많은 숨겨진 정보를 포함하고 있지만 데이터 정형화가 이루어지지 않았고, 데이터 크기도 너무 방대하여 처리하기 까다로워서 아직 밝혀져야 할 부분들을 많이 내포하고 있다. 특히 행동마다의 모든 시간정보를 포함하고 있어서 이를 응용하여 많은 부분을 밝혀낼 수 있다. 하지만 로그데이터 자체를 바로 분석으로 사용할 수는 없다. 유저 행동 모델 분석을 위해서는 별도의 프레임워크를 통한 변환과정들이 필요하다. 이 때문에 유저 행동모델 분석 프레임워크를 먼저 파악을 하고 데이터에 접근해야 한다. 이 논문에서는, 우리는 유저 행동모델을 효과적으로 분석하기 위한 프레임워크 모델을 제안한다. 본 모델은 대규모 데이터를 빨리 처리하기 위한 분산환경에서의 MapReduce 프로세스와 유저별 행동분석을 위한 데이터 구조 설계에 대한 부분을 포함한다. 또한 실제 온라인 서비스 로그의 구조를 바탕으로 어떤 방식으로 MapReduce를 처리하고 어떤 방식으로 유저행동모델을 분석을 위해 데이터 구조를 어떤식으로 변형할지 설명하고, 이를 통해 어떤 방식의 모델 분석으로 이어질지에 대해 상세히 설명한다. 이를 통해 대규모 로그 처리방법과 분석모델 설계에 대한 기초를 다질 수 있을 것이다.

  • PDF

하둡과 맵리듀스 (Hadoop and MapReduce)

  • 박정혁;이상열;강다현;원중호
    • Journal of the Korean Data and Information Science Society
    • /
    • 제24권5호
    • /
    • pp.1013-1027
    • /
    • 2013
  • 대용량 데이터 분석의 필요성이 급격히 증대되면서 이를 가능케 해 주는 플랫폼인 하둡과 그 내부적인 계산 모형인 맵리듀스에 대한 관심 또한 늘고 있다. 본고에서는 R 등의 통계 프로그래밍에 익숙한 데이터 분석가가 하둡을 사용하고자 할 때 알아야 할 기본 개념들을 R과 하둡을 결합하는 몇가지 예제와 함께 소개한다.

An Empirical Analysis of Worldwide Cyberinfrastructure

  • Cho, Manhyung
    • Asian Journal of Innovation and Policy
    • /
    • 제4권3호
    • /
    • pp.381-396
    • /
    • 2015
  • Cyberinfrastructure is a research infrastructure that provides an environment in which research communities can get access to distributed resources and collaborate at unprecedented levels of computation, storage, and network capacity. The Worldwide LHC Computing Grid (WLCG) is a global collaborative project of computing or data centers that enables access to scientific data generated by the Large Hadron Collider (LHC) experiments at CERN. This case study analyzes the WLCG as a model of cyberinfrastructure in research collaboration. WLCG provides a useful case of how cyberinfrastructure can work in providing an infrastructure for collaborative researches under data-intensive paradigm. Cyberinfrastructure plays the critical role of facilitating collaboration of diverse and widely separated communities of researchers. Data-intensive science requires new strategies for research support and significant development of cyberinfrastructure. The sustainability of WLCG depends on the resources of partner organizations and virtual organizations at international levels, essential for research collaboration.

IEEE 802.11 무선랜 시스템에서 데이터 Aggregation을 통한 RFID 물류정보 전송방법의 효율성 분석 (Efficiency of Transmission Method for RFID Logistics Information by Data Aggregation in IEEE 802.11 Wireless LANs)

  • 최우용
    • 대한산업공학회지
    • /
    • 제35권1호
    • /
    • pp.119-128
    • /
    • 2009
  • In this paper, we analyze the effect of the data aggregation level on the MAC performance when RFID (Radio Frequency Identification) logistics data, which can be aggregated at RFID readers to reduce the transmission overhead, are transmitted in IEEE 802.11 wireless LANs. For various data aggregation levels, the throughputs and latencies of the DCF (Distributed Coordination Function) and PCF (Point Coordination Function) MAC protocols are analyzed by computer simulation. From the simulation analysis, we propose the appropriate input traffic load for real-time RFID logistics data transmitted in IEEE 802.11 wireless LANs.

객체지향 ERP 시스템에서 데이터 객체 계층의 구축 (Development of Data Object Layer (DOL) In Object-Oriented ERP Systems)

  • 김창욱;전진
    • 산업경영시스템학회지
    • /
    • 제23권58호
    • /
    • pp.1-16
    • /
    • 2000
  • To develop a generic ERP(Enterprise Resource Planning) system which can accommodate various types of manufacturing enterprises, object-oriented methods are commonly applied from analysis to implementation. The objective of OO-ERP (Object-Oriented ERP) systems is the reusability of business objects(components). In practice, one of the critical features for the reusable OO-ERP system would be the capability of interfacing with distributed, heterogeneous data repositories. Consequently, it is essential to provide data repository transparency in OO-ERP systems - business objects do not take care of the locations and types of data repositories. In this paper, we propose Data Object Layer(DOL) that supports such transparency. DOL is a horizontal component through which OO-ERP systems can be seamlessly connected with diverse data repositories.

  • PDF

Scalable Big Data Pipeline for Video Stream Analytics Over Commodity Hardware

  • Ayub, Umer;Ahsan, Syed M.;Qureshi, Shavez M.
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권4호
    • /
    • pp.1146-1165
    • /
    • 2022
  • A huge amount of data in the form of videos and images is being produced owning to advancements in sensor technology. Use of low performance commodity hardware coupled with resource heavy image processing and analyzing approaches to infer and extract actionable insights from this data poses a bottleneck for timely decision making. Current approach of GPU assisted and cloud-based architecture video analysis techniques give significant performance gain, but its usage is constrained by financial considerations and extremely complex architecture level details. In this paper we propose a data pipeline system that uses open-source tools such as Apache Spark, Kafka and OpenCV running over commodity hardware for video stream processing and image processing in a distributed environment. Experimental results show that our proposed approach eliminates the need of GPU based hardware and cloud computing infrastructure to achieve efficient video steam processing for face detection with increased throughput, scalability and better performance.