• 제목/요약/키워드: Data collection and analysis

검색결과 3,079건 처리시간 0.026초

지역 스마트팜 데이터 연계 및 서비스 활용에 대한 연구 (Research on Regional Smart Farm Data Linkage and Service Utilization)

  • 이원구;구현정;채철주
    • 현장농수산연구지
    • /
    • 제26권2호
    • /
    • pp.14-24
    • /
    • 2024
  • To enhance the usability of smart agriculture, methods for utilizing smart farm data are required. Therefore, this study proposes a scheme for utilizing regional smart farm data by linking it to services. The current status of domestic and foreign smart farm data collection and linkage services is analyzed. To collect and link regional smart farm data, necessary data collection, data cleaning, data storage structure and schema, and data storage and linkage systems are proposed. Based on the standards currently being implemented for regional smart farm internal data storage, a farm schema, environmental information schema, facility control information schema, and growth information schema are designed by extending the crop schema and crop main environmental factor information database schema. A data collection and management system structure based on the Hadoop Ecosystem is designed for data collection and management at regional smart farm data centers. Strategies are proposed for utilizing regional smart farm data to provide smart farm productivity improvement and revenue optimization services, image-based crop analysis services, and virtual reality-based smart farm simulation services.

메모리 워크로드 분석을 위한 고속 커널 데이터 수집 기법 (High Speed Kernel Data Collection method for Analysis of Memory Workload)

  • 윤준영;정승완;박종우;김정준;서대화
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제2권11호
    • /
    • pp.461-470
    • /
    • 2013
  • 본 논문은 정밀한 메모리 워크로드 분석을 위해 리눅스 기반의 커널 수준에서 프로세스의 메모리 관리 구조체에 직접 접근하는 방법을 이용하여 고속으로 커널 데이터를 수집하는 기법을 제안한다. 기존의 분석기들은 데이터 수집 속도가 느리고 제공되는 데이터의 제한으로 인하여 확장성이 부족하다. 제안 기법은 메모리 관리 구조체 내의 프로세스 메모리정보, 페이지 테이블, 페이지 구조체를 직접 수집하는 방법을 이용하여 기존의 기법 보다 빠르게 커널 데이터를 수집하며, 사용자가 원하는 데이터를 선택하여 수집할 수 있다. 제안 기법을 통해 실제 실행 중인 프로세스의 메모리 관리 데이터를 수집하고 메모리 워크로드에 대한 분석을 수행하였다.

Privacy-Preserving Collection and Analysis of Medical Microdata

  • Jong Wook Kim
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권5호
    • /
    • pp.93-100
    • /
    • 2024
  • 4차 산업혁명의 도래와 함께 인공지능, 빅데이터, 사물인터넷, 클라우드 컴퓨팅 등의 첨단 정보 기술이 다양한 산업 분야에서 혁신을 이끌고 있다. 이 기술들은 방대한 양의 데이터를 생성하고 있으며, 많은 기업들이 이를 활용하고 있다. 그러나 개인 데이터 수집 시 발생할 수 있는 프라이버시 침해 위험으로 인해 사용자들은 민감한 정보 제공을 망설이고 있다. 특히 의료 분야에서는 환자의 병명과 같은 민감한 정보 수집이 큰 도전이 되고 있으며, 프라이버시 문제가 데이터 수집과 분석의 장애가 되고 있다. 본 연구는 프라이버시 보호를 유지하면서도 통계적 정보를 효과적으로 추출할 수 있는 의료 데이터 수집 및 분석 기법을 제안한다. 제안 기법은 기존의 단순한 데이터 수집을 넘어서, 프라이버시를 보장하면서 수집된 데이터에서 통계적 정보를 효과적으로 추출하는 방법을 포함한다. 실제 데이터를 이용한 성능 평가에서는 제안된 기법이 기존 방법보다 더 효과적으로 프라이버시를 보존하며 통계적 정보를 도출할 수 있음을 입증한다.

하둡 분산 환경 기반의 데이터 수집 기법 연구 (A Study on the Data Collection Methods based Hadoop Distributed Environment)

  • 진고환
    • 한국융합학회논문지
    • /
    • 제7권5호
    • /
    • pp.1-6
    • /
    • 2016
  • 최근 빅데이터 활용과 분석기술의 발전을 위하여 많은 연구가 이루어지고 있고, 빅데이터를 분석하기 위하여 처리 플랫폼인 하둡을 도입하는 정부기관 및 기업이 점차 늘어가고 있는 추세이다. 이러한 빅데이터의 처리와 분석에 대한 관심이 고조되면서 그와 병행하여 데이터의 수집 기술이 주요한 이슈가 되고 있으나, 데이터 분석 기법의 연구에 비하여 수집 기술에 대한 연구는 미미한 상황이다. 이에 본 논문에서는 빅데이터 분석 플랫폼인 하둡을 클러스터로 구축하고 아파치 스쿱을 통하여 관계형 데이터베이스로부터 정형화된 데이터를 수집하고, 아파치 플룸을 통하여 센서 및 웹 애플리케이션의 데이터 파일, 로그 파일과 같은 비정형 데이터를 스트림 기반으로 수집하는 시스템을 제안한다. 이러한 융합을 통한 데이터 수집으로 빅데이터 분석의 기초적인 자료로 활용할 수 있을 것이다.

A Development Method of Framework for Collecting, Extracting, and Classifying Social Contents

  • Cho, Eun-Sook
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권1호
    • /
    • pp.163-170
    • /
    • 2021
  • 빅데이터가 여러 분야에서 다양하게 접목됨에 따라 빅데이터 시장이 하드웨어로부터 시작해서 서비스 소프트웨어 부문으로 확장되고 있다. 특히 빅데이터 의미 파악 및 이해 능력, 분석 결과 등 총체적이고 직관적인 시각화를 위하여 애플리케이션을 제공하는 거대 플랫폼 시장으로 확대되고 있다. 그 중에서 SNS(Social Network Service) 등과 같은 소셜 미디어를 활용한 빅데이터 추출 및 분석에 대한 수요가 기업 뿐만 아니라 개인에 이르기까지 매우 활발히 진행되고 있다. 그러나 이처럼 사용자 트렌드 분석과 마케팅을 위한 소셜 미디어 데이터의 수집 및 분석에 대한 많은 수요에도 불구하고, 다양한 소셜 미디어 서비스 인터페이스의 이질성으로 인한 동적 연동의 어려움과 소프트웨어 플랫폼 구축 및 운영의 복잡성을 해결하기 위한 연구가 미흡한 상태이다. 따라서 본 논문에서는 소셜 미디어 데이터의 수집에서 추출 및 분류에 이르는 과정을 하나로 통합하여 운영할 수 있는 프레임워크를 개발하는 방법에 대해 제시한다. 제시된 프레임워크는 이질적인 소셜 미디어 데이터 수집 채널의 문제를 어댑터 패턴을 통해 해결하고, 의미 연관성 기반 추출 기법과 주제 연관성 기반 분류 기법을 통해 소셜 토픽 추출과 분류의 정확성을 높였다.

Evaluating Genetic Diversity of Agaricus bisporus Accessions through Phylogenetic Analysis Using Single-Nucleotide Polymorphism (SNP) Markers

  • Oh, Youn-Lee;Choi, In-Geol;Kong, Won-Sik;Jang, Kab-Yeul;Oh, Min ji;Im, Ji-Hoon
    • Mycobiology
    • /
    • 제49권1호
    • /
    • pp.61-68
    • /
    • 2021
  • Agaricus bisporus, commonly known as the button mushroom, is widely cultivated throughout the world. To breed new strains with more desirable traits and improved adaptability, diverse germplasm, including wild accessions, is a valuable genetic resource. To better understand the genetic diversity available in A. bisporus and identify previously unknown diversity within accessions, a phylogenetic analysis of 360 Agaricus spp. accessions using single-nucleotide polymorphism genotyping was performed. Genetic relationships were compared using principal coordinate analysis (PCoA) among accessions with known origins and accessions with limited collection data. The accessions clustered into four groups based on the PCoA with regard to genetic relationships. A subset of 67 strains, which comprised a core collection where repetitive and uninformative accessions were not included, clustered into 7 groups following analysis. Two of the 170 accessions with limited collection data were identified as wild germplasm. The core collection allowed for the accurate analysis of A. bisporus genetic relationships, and accessions with an unknown pedigree were effectively grouped, allowing for origin identification, by PCoA analysis in this study.

도로 침수영역의 탐색을 위한 빅데이터 분석 시스템 연구 (A Study on the Big Data Analysis System for Searching of the Flooded Road Areas)

  • 송영미;김창수
    • 한국멀티미디어학회논문지
    • /
    • 제18권8호
    • /
    • pp.925-934
    • /
    • 2015
  • The frequency of natural disasters because of global warming is gradually increasing, risks of flooding due to typhoon and torrential rain have also increased. Among these causes, the roads are flooded by suddenly torrential rain, and then vehicle and personal injury are happening. In this respect, because of the possibility that immersion of a road may occur in a second, it is necessary to study the rapid data collection and quick response system. Our research proposes a big data analysis system based on the collected information and a variety of system information collection methods for searching flooded road areas by torrential rains. The data related flooded roads are utilized the SNS data, meteorological data and the road link data, etc. And the big data analysis system is implemented the distributed processing system based on the Hadoop platform.

드론을 활용한 연속류 교통정보 수집·분석에 관한 연구 (A Study on Traffic Data Collection and Analysis for Uninterrupted Flow using Drones)

  • 서성혁;이시복
    • 한국ITS학회 논문지
    • /
    • 제17권6호
    • /
    • pp.144-152
    • /
    • 2018
  • 본 연구는 기존 교통정보 수집체계의 한계를 보완하기 위한 수단으로써 드론을 사용하였을 경우 교통량, 속도, 밀도 등의 정보를 단시간에 경제적으로 수집 가능하다는 점에 착안하였으며, 이를 위해 드론을 실제 교통현장 촬영영상 분석을 통해 추출된 핵심 교통정보의 타당성 검증과 더불어 다양한 정보수집시나리오 분석을 통해 최적의 교통정보 추출 방법론을 제시하고자 하였다. 본 연구 수행결과, 드론은 단시간에 경제적인 교통정보수집이 가능한 유용한 정보수집 보완수단임은 물론, 매우 간단하고 직관적인 방법으로 연속류 구간의 서비스수준 판정을 가능하게 해 주는 강점이 있는 것으로 확인되었다.

시스템 보안 강화를 위한 로그 분석 도구 ILVA와 실제 적용 사례 (ILVA: Integrated audit-log analysis tool and its application.)

  • 차성덕
    • 정보보호학회논문지
    • /
    • 제9권3호
    • /
    • pp.13-26
    • /
    • 1999
  • 인터넷의 급속한 발전과 함께 정보 시스템의 보안 위협인 침입 사고도 급증하고 있다. 보다 강 화된 보안 메커니즘이 요구되고 있다. 시스템 로그 분석은 이런 침입 사실을 탐지하고 침입 자를 추적하 기 위해 필수적인 과정이나 로그 자료의 종류와 형태의 다양함으로 인해 자동화된 로그 수 집 및 분석이 현실적으로 어려운 상태이다. 우리는 침입 추적에 필요한 로그 자료의 형태를 정의하고 방 대한 로그 자 료로부터 효율적으로 로그수집, 분석할수 있는 도구를 설계 및 구현하였다. 이 논문에서는 개발된 도구 를 사용하여 실제 침입 추적을 한 경험을 소개하고 도구의 향후 개선 방향을 제시한다 Widespread use of Internet despite numerous positive aspects resulted in increased number of system intrusions and the need for enhanced security mechanisms is urgent. Systematic collection and analysis of log data are essential in intrusion investigation. Unfortunately existing logs are stored in diverse and incompatible format thus making an automated intrusion investigation practically impossible. We examined the types of log data essential in intrusion investigation and implemented a tool to enable systematic collection and efficient analysis of voluminous log data. Our tool based on RBDMS and SQL provides graphical and user-friendly interface. We describe our experience of using the tool in actual intrusion investigation and explain how our tool can be further enhanced.

국내 패션컬렉션에 나타난 해외 패션트렌드의 수용도 분석 (Analysis on the Acceptance of Foreign Fashion Trends in Korean Fashion Collection)

  • 이은숙;김새봄
    • 한국의상디자인학회지
    • /
    • 제13권4호
    • /
    • pp.93-110
    • /
    • 2011
  • This study investigates the analysis on the acceptance of Foreign Fashion trends in Korean Fashion Collection by collections, years, season, and designers. The purpose of this study is Korean collection's degree to adopt and receive foreign collections, by comparative analysis of design features between Seoul and foreign collections. For such purpose, from 2006 S/S to 2011 F/W, 5185 pictures were collected from designer's photos of Seoul, Paris, Milan, NY, and London collections. The content analysis and statistical analysis using SPSS will be conducted for data analysis. The results of the research are as follows. First, regarding the design features, square-form silhouette, achromatic colors, and none pattern were presented as well. Second, there were significant differences in the design characteristics of each year. Particularly, in 2008, X-form silhouette, Yellow and Green color, and flower pattern were emphasized. Third, the design features by season were significant differences. In S/S season, square-form and X-form silhouette, achromatic colors of white and gray color, none pattern were evident while in F/W season, square-form Silhouette, achromatic colors of black and gray, and none pattern were emphasized. Fourth, the design features by designer are as follows. In terms of form, Seoul collection was influenced by Paris collection. In terms of colors, it was influenced by NY and London collections.

  • PDF