• 제목/요약/키워드: Big Network Data

검색결과 1,041건 처리시간 0.034초

빅데이터 분석도구 R을 이용한 성경 데이터의 빈도와 소셜 네트워크 분석 (Frequency and Social Network Analysis of the Bible Data using Big Data Analytics Tools R)

  • 반재훈;하종수;김동현
    • 한국정보통신학회논문지
    • /
    • 제24권2호
    • /
    • pp.166-171
    • /
    • 2020
  • 데이터를 저장하고 분석하여 새로운 지식을 얻을 수 있는 빅데이터 처리기술은 사회의 여러 분야에서 중요성이 강조되고 있으며 정보통신기술 분야의 핵심 이슈로 부각되면서 관련 기술에 대한 관심이 증가하고 있다. 이러한 빅데이터를 분석할 수 있는 도구인 R은 통계 기반의 정보 분석을 가능하게 하는 언어와 환경이다. 본 논문에서는 이를 이용하여 성경데이터를 분석한다. 성경 중에서 신약성경의 4복음서의 데이터를 분석한다. 먼저 성경데이터를 수집하고 분석을 위한 필터링을 수행한다. 이후 R을 이용하여 어떠한 텍스트가 분포되어 있는지를 빈도 조사를 수행하며 정확한 데이터의 분석을 위해 한 문장에서 나오는 단어들을 쌍으로 표현하고 단어 간의 관계성을 분석하는 소셜 네트워크 분석을 통해 성경을 분석한다.

Developing an Intrusion Detection Framework for High-Speed Big Data Networks: A Comprehensive Approach

  • Siddique, Kamran;Akhtar, Zahid;Khan, Muhammad Ashfaq;Jung, Yong-Hwan;Kim, Yangwoo
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권8호
    • /
    • pp.4021-4037
    • /
    • 2018
  • In network intrusion detection research, two characteristics are generally considered vital to building efficient intrusion detection systems (IDSs): an optimal feature selection technique and robust classification schemes. However, the emergence of sophisticated network attacks and the advent of big data concepts in intrusion detection domains require two more significant aspects to be addressed: employing an appropriate big data computing framework and utilizing a contemporary dataset to deal with ongoing advancements. As such, we present a comprehensive approach to building an efficient IDS with the aim of strengthening academic anomaly detection research in real-world operational environments. The proposed system has the following four characteristics: (i) it performs optimal feature selection using information gain and branch-and-bound algorithms; (ii) it employs machine learning techniques for classification, namely, Logistic Regression, Naïve Bayes, and Random Forest; (iii) it introduces bulk synchronous parallel processing to handle the computational requirements of large-scale networks; and (iv) it utilizes a real-time contemporary dataset generated by the Information Security Centre of Excellence at the University of Brunswick (ISCX-UNB) to validate its efficacy. Experimental analysis shows the effectiveness of the proposed framework, which is able to achieve high accuracy, low computational cost, and reduced false alarms.

빅데이터 분석/처리에 따른 생활밀착형 서비스의 프라이버시 보호 측면에서의 구조혈 연구 (A Study on Structural Holes of Privacy Protection for Life Logging Service as analyzing/processing of Big-Data)

  • 강장묵;송유진
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권1호
    • /
    • pp.189-193
    • /
    • 2014
  • 네트워크 서비스는 로컬서비스와 결합하면서 생활밀착형 서비스로 발전하고 있다. 생활밀착형 서비스는 기존의 모바일 서비스와는 달리, 위치정보와 로컬정보 그리고 소셜 네트워크서비스 정보 등을 모아 개인화된 서비스를 제공할 것으로 예상된다. 여러 정보를 모아 처리하는 과정에서 빅데이터 기술, 클라우드 기술 등이 필요하다. 이미 이에 대한 효율성 높은 알고리즘이 연구되고 있으나 반면, 생활 밀착형 서비스 모델 또는 빅데이터 환경에서의 프라이버시 보호 모델에 대한 연구는 상대적으로 미흡한 편이다. 이 글은 생활밀착형 서비스에 활용될 빅데이터 기술이 야기하는 프라이버시 문제에 대하여 구조혈 중심으로 다룬다.

BIG DATA ANALYSIS ROLE IN ADVANCING THE VARIOUS ACTIVITIES OF DIGITAL LIBRARIES: TAIBAH UNIVERSITY CASE STUDY- SAUDI ARABIA

  • Alotaibi, Saqar Moisan F
    • International Journal of Computer Science & Network Security
    • /
    • 제21권8호
    • /
    • pp.297-307
    • /
    • 2021
  • In the vibrant environment, documentation and managing systems are maintained autonomously through education foundations, book materials and libraries at the same time as information are not voluntarily accessible in a centralized location. At the moment Libraries are providing online resources and services for education activities. Moreover, libraries are applying outlets of social media such as Facebook as well as Instagrams to preview their services and procedures. Librarians with the assistance of promising tools and technology like analytics software are capable to accumulate more online information, analyse them for incorporating worth to their services. Thus Libraries can employ big data to construct enhanced decisions concerning collection developments, updating public spaces and tracking the purpose of library book materials. Big data is being produced due to library digitations and this has forced restrictions to academicians, researchers and policy creator's efforts in enhancing the quality and effectiveness. Accordingly, helping the library clients with research articles and book materials that are in line with the users interest is a big challenge and dispute based on Taibah university in Saudi Arabia. The issues of this domain brings the numerous sources of data from various institutions and sources into single place in real time which can be time consuming. The most important aim is to reduce the time that lapses among the authentic book reading and searching the specific study material.

빅데이터 환경에서 개인정보 익명화를 통한 보호 방안 (Anonymity Personal Information Secure Method in Big Data environment)

  • 홍성혁;박상희
    • 융합정보논문지
    • /
    • 제8권1호
    • /
    • pp.179-185
    • /
    • 2018
  • 빅데이터는 이제 더 이상 미래 혁신의 아이콘이 아니라 인류가 당면한 과제를 해결하기 위한 하나의 수단으로써 공고히 자리매김해 가고 있다. 빅데이터의 활용과 개인정보 보호는 분명 양면성을 갖고 있다. 데이터의 활용을 강조할 경우 개인이 공개를 원하지 않는 사생활은 필연적으로 침해 될 것이고, 개인정보 보호를 강조할 경우 어설픈 수준의 빅데이터 연구만 가능해 공공의 목적을 달성 하는데 어려움을 겪을 수 있다. 본 연구에서는 개인정보 침해의 문제점을 알아보고 빅데이터의 활용과 개인정보의 보호를 하기 위해서 취합하는 빅데이터를 익명화하는 방안을 제시하였다. 이를통해 빅데이터 활용 뿐만 아니라 개인정보 침해의 문제점을 해결할 수 있을 것으로 보인다.

A Study on Efficient Building Energy Management System Based on Big Data

  • Chang, Young-Hyun;Ko, Chang-Bae
    • International journal of advanced smart convergence
    • /
    • 제8권1호
    • /
    • pp.82-86
    • /
    • 2019
  • We aim to use public data different from the remote BEMS energy diagnostics technology and already established and then switch the conventional operation environment to a big-data-based integrated management environment to operate and build a building energy management environment of maximized efficiency. In Step 1, various network management environments of the system integrated with a big data platform and the BEMS management system are used to collect logs created in various types of data by means of the big data platform. In Step 2, the collected data are stored in the HDFS (Hadoop Distributed File System) to manage the data in real time about internal and external changes on the basis of integration analysis, for example, relations and interrelation for automatic efficient management.

빅데이터 환경에서 정부민원서비스센터 어플리케이션 불법 이용에 대한 서비스 자료 암호화 모델 (An Encrypted Service Data Model for Using Illegal Applications of the Government Civil Affairs Service under Big Data Environments)

  • 김명희;백현철;홍석원;박재흥
    • 융합보안논문지
    • /
    • 제15권7호
    • /
    • pp.31-38
    • /
    • 2015
  • 최근 정부 민원 행정 시스템은 단순한 네트워크 환경에 의한 민원 서비스에서 클라우드 컴퓨팅 환경으로 진화하고 있다. 오늘 날 방대한 양의 전자 민원 서비스 처리 환경은 클라우드 컴퓨팅 환경을 기반으로 하는 빅데이터 서비스를 의미한다. 그러므로 이러한 정부 민원 행정 서비스 업무를 위한 빅 데이터 처리 과정은 기존 정보 수집 환경에 비해 많은 문제점을 가지고 있다. 즉, 기존 네트워크 환경에서의 정보 서비스 차원을 넘어 다양한 정보 시스템으로부터 필요 정보를 수집하고 이를 통한 새로운 정보를 가공해 내는 과정을 거친다. 이에 따라 방대한 양의 빅 데이터 서비스 처리를 위한 행정 정보 제공 어플리케이션들은 불법적인 공격자들의 집중적인 표적이 되고 있는 실정이다. 본 논문은 전국 각지의 민원서비스 센터의 IP를 이용하여 전자민원 서비스 업무를 수행하는 어플리케이션의 불법적인 이용과 이들이 보유하고 있는 중요 정보 유출을 막기 위한 모델이다. 본 논문에서는 이를 위하여 다양한 인증과정과 이를 통한 암호화 방법을 제시하여 서비스의 안정성과 가용성, 기밀성을 유지할 수 있도록 하였다.

네트워크 컴퓨팅 기술을 활용한 확장 가능형 빅데이터 스토리지 시스템 개발 (Development of scalable big data storage system using network computing technology)

  • 박정규;박은영
    • 한국정보통신학회논문지
    • /
    • 제23권11호
    • /
    • pp.1330-1336
    • /
    • 2019
  • 4차 혁명시대가 시작됨에 따라 다양한 장비들이 클라우드 기반으로 동작하고 있다. 이와 기기들은 다양한 형태의 데이터 또는 대용량의 멀티미디어 데이터를 계속 생성하고 있다. 이런 상황을 처리하기 위해서는 대용량의 저장장치가 필요하며 또한 저장된 데이터를 처리하고 정확한 정보를 얻기 위해서 빅데이터 기술이 필요하다. 일반적으로 네트워크 환경에서 대용량의 저장장치를 구축하기 위해서는 SAN 또는 NAS 기술이 사용된다. 본 논문에서는 DAS(Direct Attached Storage)의 확장기술인 Network-DAS를 사용하여 대용량 저장장치를 구성하는 방안을 제시한다. 논문에서 제시하는 스토리지 시스템의 확장성과 성능을 검증하기 위해 76개의 하드 디스크를 이용하여 벤치마크 실험을 수행하였다. 실험 결과 제안하는 고성능 대용량 스토리지 시스템의 확장성과 신뢰성을 검증하였다.

IoT 환경에서 실시간 빅 데이터 수신을 위한 센서 게이트웨이에 관한 연구 (Study on the Sensor Gateway for Receive the Real-Time Big Data in the IoT Environment)

  • 신승혁
    • 한국항행학회논문지
    • /
    • 제19권5호
    • /
    • pp.417-422
    • /
    • 2015
  • IoT 환경의 서비스 규모는 센서의 수량에 의하여 결정된다. 센서의 수량이 증가함은 IoT 환경에서 발생하는 데이터의 양도 증가함을 의미한다. 네트워크 환경에서 데이터 폭주 시 네트워크 혼잡제어를 위한 연구와 동적 버퍼운영으로 네트워크를 안정적으로 운영하기 위한 연구들이 있다. 또한 비연결형 네트워크 환경에서 스트림 데이터 처리에 대한 연구들이 있다. 본 연구에서는 IoT환경의 빅데이터를 처리하기 위한 센서 게이트웨이를 제안한다. 이를 위하여 센서 미들웨어를 설계하기 위한 RESTful 을 확인하고, 스트림 데이터를 효율적으로 처리하기 위한 이중버퍼 알고리즘을 적용한다. 마지막으로 제안하는 시스템을 평가하기 위하여 TCP 상의 HTTP 프로토콜을 기반으로 하는 MJpeg 스트림을 이용하여 빅 데이터 트래픽을 발생 시키며, 오픈소스 미디어 플레이어인 VLC를 이용하여 영상 수신 처리율을 이용하여 성능을 비교한다.

A Study of Comparison between Cruise Tours in China and U.S.A through Big Data Analytics

  • Shuting, Tao;Kim, Hak-Seon
    • 한국조리학회지
    • /
    • 제23권6호
    • /
    • pp.1-11
    • /
    • 2017
  • The purpose of this study was to compare the cruise tours between China and U.S.A. through the semantic network analysis of big data by collecting online data with SCTM (Smart crawling & Text mining), a data collecting and processing program. The data analysis period was from January $1^{st}$, 2015 to August $15^{th}$, 2017, meanwhile, "cruise tour, china", "cruise tour, usa" were conducted to be as keywords to collet related data and packaged Netdraw along with UCINET 6.0 were utilized for data analysis. Currently, Chinese cruisers concern on the cruising destinations while American cruisers pay more attention on the onboard experience and cruising expenditure. After performing CONCOR (convergence of iterated correlation) analysis, for Chinese cruise tour, there were three clusters created with domestic destinations, international destinations and hospitality tourism. As for American cruise tour, four groups have been segmented with cruise expenditure, onboard experience, cruise brand and destinations. Since the cruise tourism of America was greatly developed, this study also was supposed to provide significant and social network-oriented suggestions for Chinese cruise tourism.