• 제목/요약/키워드: Big data collection

검색결과 348건 처리시간 0.028초

XML구조를 이용한 공공 빅데이터의 선별 저장 및 시각화 방법 (A Method for Selective Storing and Visualization of Public Big Data Using XML Structure)

  • 백봉현;하일규
    • 한국정보통신학회논문지
    • /
    • 제21권12호
    • /
    • pp.2305-2311
    • /
    • 2017
  • 최근들어 공공 정보화와 함께 정부기관, 지자체 및 다양한 정부산하기관에서 보유하고 있는 데이터를 공개하고 있는 추세이다. 즉, 공공기관이 업무수행의 결과물로 생성 및 수집한 다양한 전자화된 형태의 데이터를 공공데이터 포털사이트에서 개방하고 있다. 하지만 이를 사용하는 사용자는 데이터 형식의 이해와 데이터 처리 지식의 부족, 데이터에 대한 접근과 관리의 어려움, 수집 및 저장한 데이터의 이해를 위한 시각화 기술의 부족 등으로 빅데이터의 활용에 제한을 받고 있다. 따라서 본 연구에서는 다양한 공공 사이트에서 제공하는 빅데이터를 데이터셋의 URL 및 API를 사용하여 데이터 포맷에 관계없이 데이터를 수집하며, 수집된 데이터를 XML 구조를 이용하여 재가공하여 데이터베이스화하며, 데이터 융합을 통한 시각화가 가능하도록 하는 공공 빅데이터 수집, 선별 저장 및 시각화 플랫폼을 제안한다.

BIG DATA ANALYSIS ROLE IN ADVANCING THE VARIOUS ACTIVITIES OF DIGITAL LIBRARIES: TAIBAH UNIVERSITY CASE STUDY- SAUDI ARABIA

  • Alotaibi, Saqar Moisan F
    • International Journal of Computer Science & Network Security
    • /
    • 제21권8호
    • /
    • pp.297-307
    • /
    • 2021
  • In the vibrant environment, documentation and managing systems are maintained autonomously through education foundations, book materials and libraries at the same time as information are not voluntarily accessible in a centralized location. At the moment Libraries are providing online resources and services for education activities. Moreover, libraries are applying outlets of social media such as Facebook as well as Instagrams to preview their services and procedures. Librarians with the assistance of promising tools and technology like analytics software are capable to accumulate more online information, analyse them for incorporating worth to their services. Thus Libraries can employ big data to construct enhanced decisions concerning collection developments, updating public spaces and tracking the purpose of library book materials. Big data is being produced due to library digitations and this has forced restrictions to academicians, researchers and policy creator's efforts in enhancing the quality and effectiveness. Accordingly, helping the library clients with research articles and book materials that are in line with the users interest is a big challenge and dispute based on Taibah university in Saudi Arabia. The issues of this domain brings the numerous sources of data from various institutions and sources into single place in real time which can be time consuming. The most important aim is to reduce the time that lapses among the authentic book reading and searching the specific study material.

빅데이터를 이용한 "배달음식" 관련 소비자인식 변화 연구: 코로나19 발생 전·후 차이비교 (Consumer Perceptions Related to "Delivery food" Using Big Data: Comparison before and after the outbreak of COVID-19)

  • 한춘미;백진경;정계연;홍완수
    • 한국식생활문화학회지
    • /
    • 제38권2호
    • /
    • pp.73-82
    • /
    • 2023
  • Since delivery food has become a new dietary culture, this study examines consumer awareness through big data analysis. We present the direction of delivery food for healthy eating culture and identify the current state of consumer awareness. Resources for big data analysis were mainly articles written by consumers on various websites; the collection period was divided into before and after COVID-19. Results of the big data analysis revealed that before COVID-19, delivery food was recognized as a limited product as a meal concept, but after COVID-19, it was recognized as a new shopping list and a new product for home parties. This study concludes by suggesting a new direction for healthy eating culture.

Analyzing trends in cultural contents tourism using big data

  • Youn-hee Choi;Sang-Hak Lee;Gi-Hwan Ryu
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제15권4호
    • /
    • pp.326-331
    • /
    • 2023
  • Korea's cultural content industry can develop into another unique tourism industry. However, since other prior studies focus on the Japanese content industry, this study identifies modern industrial trends by combining the unique characteristics of Korean content, that is, cultural content tourism, and the analysis ability of big data. The current status and direction of the cultural content tourism industry were studied by utilizing the extensive information collection and in-depth analysis capabilities of big data, and as a result, it was confirmed that the trend of the cultural content industry is related to the business aspect of cultural content, not the pure content interest of cultural content. This shows that Korean cultural contents have a strong business aspect. As a limitation, when research design was conducted using social media big data, the age, gender, etc. of the subject analyzed with unique anonymity could not be known. The Korean cultural content industry is expected to be successful in terms of business.

인문학적 관점으로 본 빅데이터 활용을 위한 당면 문제 (Current Issues with the Big Data Utilization from a Humanities Perspective)

  • 박은하;전진우
    • 한국콘텐츠학회논문지
    • /
    • 제22권6호
    • /
    • pp.125-134
    • /
    • 2022
  • 이 연구는 인문학적 관점에서 빅데이터를 활용하기 위해 현재 해결해야 할 과제는 무엇인지를 비판적으로 고찰하고자 하였다. 이를 위해 빅데이터를 활용함에 있어서 빅데이터를 수집할 때, 처리할 때, 그리고 사용할 때 발생할 수 있는 문제를 세 가지로 제시하고 논의하였다. 그 첫 번째로 데이터 자체의 문제점을 지닐 것으로 보이는 가짜 정보를 지적하고 기사형 광고와 정치 관련 가짜 뉴스를 살펴보았다. 두 번째는 빅데이터 처리과정과 그 결과의 문제점으로 알고리즘에 의한 차별을 들었다. 포털 사이트에서 엔지니어를 검색한 결과를 분석함으로써 알고리즘에 의한 차별이 존재함을 확인하였다. 마지막으로 사람과 관련한 개인 정보를 사용함에 있어서, 이에 대한 문제점을 프라이버시권, 정보자기결정권, 잊힐 권리 세 가지로 나누어 논의하였다. 이 연구는 빅데이터 시대에 인문학적 관점에서 빅데이터 활용 측면의 당면한 문제를 지적한 점과 빅데이터의 활용 과정인 수집, 처리, 사용에서 일어날 수 있는 문제점을 각각 논의한 점에서 의미가 있다고 본다.

Understanding the Food Hygiene of Cruise through the Big Data Analytics using the Web Crawling and Text Mining

  • Shuting, Tao;Kang, Byongnam;Kim, Hak-Seon
    • 한국조리학회지
    • /
    • 제24권2호
    • /
    • pp.34-43
    • /
    • 2018
  • The objective of this study was to acquire a general and text-based awareness and recognition of cruise food hygiene through big data analytics. For the purpose, this study collected data with conducting the keyword "food hygiene, cruise" on the web pages and news on Google, during October 1st, 2015 to October 1st, 2017 (two years). The data collection was processed by SCTM which is a data collecting and processing program and eventually, 899 kb, approximately 20,000 words were collected. For the data analysis, UCINET 6.0 packaged with visualization tool-Netdraw was utilized. As a result of the data analysis, the words such as jobs, news, showed the high frequency while the results of centrality (Freeman's degree centrality and Eigenvector centrality) and proximity indicated the distinct rank with the frequency. Meanwhile, as for the result of CONCOR analysis, 4 segmentations were created as "food hygiene group", "person group", "location related group" and "brand group". The diagnosis of this study for the food hygiene in cruise industry through big data is expected to provide instrumental implications both for academia research and empirical application.

학습자 중심의 맞춤형 교육을 위한 학습 경험 데이터 수집 및 분석 체계 연구 (A Study on the Data Collection and Analysis System for Learning Experiences in Learner-Centered Customized Education)

  • 김상우;이명숙
    • 실천공학교육논문지
    • /
    • 제16권2호
    • /
    • pp.159-165
    • /
    • 2024
  • 본 연구는 학습자 중심의 맞춤형 교육을 위한 지능형 학습활동 데이터를 수집하기 위한 전체 체계를 연구하였다. 학습활동 데이터수집 표준인 xAPI, Caliper analytics, cmi5의 특징들을 비교 분석하였고, 이러한 표준화된 데이터뿐만 아니라 표준화되지 않은 학습활동 데이터도 모두 빅데이터로 저장되어 인공지능 학습분석을 할 수 있는 체계를 마련하였다. 그 결과 데이터 유형 정의, xAPI 적용한 학습데이터 표준화, 빅데이터 저장, 학습분석(통계 기반 및 AI 기반), 학습자 맞춤형 서비스인 5개의 단계로 구성하였다. 이를 통해 인공지능 기술을 적용한 학습데이터 분석을 위한 기반을 마련하고자 하였다. 향후 연구에서는 전체 체계를 3개의 단계로 나누어 구현하고 실행하면서 설계에서 부족한 부분을 수정·보완할 것이다.

QFD를 이용한 빅 데이터 기반 성과 모니터링 시스템의 설계방향 도출 (Design Direction of a Big Data based Performance Monitoring System using Quality Function Deployment)

  • 김창원;김태훈;서정훈;임현수
    • 한국건축시공학회:학술대회논문집
    • /
    • 한국건축시공학회 2021년도 봄 학술논문 발표대회
    • /
    • pp.255-256
    • /
    • 2021
  • The performance measurement of construction projects has traditionally been evaluated as a prerequisite for successful project completion. Considering this importance, the UK and the US are operating quantitative performance measurement systems for construction projects. However, in the case of Korea, there is a limit to the use of existing methods due to the limitation of data collection. Recently, in consideration of the domestic situation, research is being conducted to measure the quantitative performance of a project by using big data including progress and project attribute information. Therefore, this study aims to present the design direction of a performance monitoring system using Quality Function Deployment.

  • PDF

빅데이터 수집 처리를 위한 분산 하둡 풀스택 플랫폼의 설계 (Design of Distributed Hadoop Full Stack Platform for Big Data Collection and Processing)

  • 이명호
    • 한국융합학회논문지
    • /
    • 제12권7호
    • /
    • pp.45-51
    • /
    • 2021
  • 급속한 비대면 환경과 모바일 우선 전략에 따라 해마다 많은 정형/비정형 데이터의 폭발적인 증가와 생성은 모든 분야에서 빅데이터를 활용한 새로운 의사 결정과 서비스를 요구하고 있다. 그러나 매년 급속히 증가하는 빅데이터를 활용하여 실무 환경에서 적용 가능한 표준 플랫폼으로 빅데이터를 수집하여 적재한 후, 정재한 빅데이터를 관계형 데이터베이스에 저장하고 처리하는 하둡 에코시스템 활용의 참조 사례들은 거의 없었다. 따라서 본 연구에서는 스프링 프레임워크 환경에서 3대의 가상 머신 서버를 통하여 하둡 2.0을 기반으로 쇼셜 네트워크 서비스에서 키워드로 검색한 비정형 데이터를 수집한 후, 수집된 비정형 데이터를 하둡 분산 파일 시스템과 HBase에 적재하고, 적재된 비정형 데이터를 기반으로 형태소 분석기를 이용하여 정형화된 빅데이터를 관계형 데이터베이스에 저장할 수 있게 설계하고 구현하였다. 향후에는 데이터 심화 분석을 위한 하이브나 머하웃을 이용하여 머신 러닝을 이용한 클러스터링과 분류 및 분석 작업 연구가 지속되어야 할 것이다.

A Study on Construction of Aids to Navigation Big Data Based on S-201

  • Kim, Yunjee;Oh, Se-woong;Jeon, Minsu
    • 한국항해항만학회지
    • /
    • 제46권5호
    • /
    • pp.409-417
    • /
    • 2022
  • The International Association of Lighthouse Authorities (IALA) utilizes a questionnaire to investigate the status of Aids to Navigation (AtoN) around the world. However, results of the IALA questionnaire have limited use because respondent understanding is inconsistent. In addition, there is uncertainty regarding the appropriateness of the questionnaire content. Furthermore, the overall response rate is low. Therefore, the status of AtoN is not clearly understood. AtoN data from around the world are generated hourly. Thus, big data solutions are required to effectively exploit the information. Digitization of analog data is an important component of building big data. Hence, the IALA has developed a Maritime Resource Name (MRN) scheme and an information exchange standard. Here, we used the AtoN information exchange standard and designed an S-201-based big data construction process that could collect and manage global AtoN information. In this study, construction of an IALA AtoN portal was proposed as the core of the construction of the AtoN big data. The process was divided into three stages. IALA AtoN portal is developed by IALA with the goal to provide various meaningful statistical analysis results based on AtoN data while managing AtoN information around the world based on S-201. If an AtoN portal capable of constructing S-201-based big data is developed, then a data collection and storage system that can gather basic S-201 AtoN data from the IALA and global AtoN management agencies could be achieved. Furthermore, insightful statistical analysis of AtoN status worldwide and changes in manufacturing technology will be possible.