• 제목/요약/키워드: Hive

검색결과 82건 처리시간 0.024초

SQL on Hadoop 기술 동향 및 보안 위협 (Security Threats and Review for SQL on Hadoop)

  • 윤한중;석상기
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.691-693
    • /
    • 2015
  • SQL on Hadoop 기술은 하둡 분산 파일 시스템에 저장된 데이터를 대상으로 SQL을 이용하여 사용자의 질의를 처리하는 기술이다. 기존의 Hadoop 시스템이 맵리듀스의 한계와 기존 시스템의 호환성으로 인해 RDBMS와 병행사용이 불가피하다는 단점을 SQL을 이용해 극복하고자 하는 것이다. 본 논문에서는 SQL on Hadoop의 대표적 프레임워크인 Hive와 Impala의 특징과, 연구동향에 대해 살펴보고 예상되는 보안 위협에 대해 고찰한다.

하둡 시스템 정보의 이상탐지를 위한 시각화 (Visualization of Anomaly Detection in Hadoop System Information)

  • 양석우;손시운;길명선;문양세;원희선
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.702-705
    • /
    • 2015
  • 본 논문에서는 하듐 환경에서 시스템 정보의 이상탐지를 위한 시각화 기능을 설계 및 구현한다. 제안한 이상탐지 시각화 기능은 크게 세 단계로 구분된다. 먼저, 각 노드로부터 시스템 로그 데이터(캐시 및 메인 메모리)를 수집하여 하이브(Hive) 저장한다. 그리고 저장한 데이터에 3-시그마 규칙을 적용하여 이상탐지를 수행한 후 관계형 데이터베이스에 적합하도록 재가공한다. 마지막으로, 스쿱(Sqoop)을 통해 RDBMS(MariaDB)에 이상탕지 결과를 저장하고, DHTMLX 차트 라이브러리를 사용하여 이를 시각화한다. 시각화 결과, 로그 데이터의 이상탐지와 데이터간의 상관관계를 직관적으로 이해할 수 있게 되었다.

Big data-based piping material analysis framework in offshore structure for contract design

  • Oh, Min-Jae;Roh, Myung-Il;Park, Sung-Woo;Chun, Do-Hyun;Myung, Sehyun
    • Ocean Systems Engineering
    • /
    • 제9권1호
    • /
    • pp.79-95
    • /
    • 2019
  • The material analysis of an offshore structure is generally conducted in the contract design phase for the price quotation of a new offshore project. This analysis is conducted manually by an engineer, which is time-consuming and can lead to inaccurate results, because the data size from previous projects is too large, and there are so many materials to consider. In this study, the piping materials in an offshore structure are analyzed for contract design using a big data framework. The big data technologies used include HDFS (Hadoop Distributed File System) for data saving, Hive and HBase for the database to handle the saved data, Spark and Kylin for data processing, and Zeppelin for user interface and visualization. The analyzed results show that the proposed big data framework can reduce the efforts put toward contract design in the estimation of the piping material cost.

A study on the Beehive Door Opening and Closing System using a Hornet Sound Analysis

  • Kim, Joon Ho;Han, Wook;Chung, Wonki
    • International Journal of Advanced Culture Technology
    • /
    • 제10권3호
    • /
    • pp.393-396
    • /
    • 2022
  • Recently, rapid climate change has had a significant impact on the ecosystem of honeybees. In addition, the problem of Vespa Hornets invasion of colonies has a fatal impact on the bee ecosystem, independent of climate change. Especially in late summer. This study relates to a method for preventing Vespa Hornets attack. In this study, we developed a Vespa Hornets sound detection device was developed by collecting and analyzing the sound of a Vespa Hornets and applying IoT technology. The developed device detects the sound of a Vespa Hornets when Vespa Hornets appears around the hive of the bees and sends a signal to automatically close the door of the beehive. The device that receives the signal drives the motor that controls the honeycomb door to close the beehive door. The Vespa Hornets sound detection device operates until no Vespa Hornets sound is detected. The system developed by us is expected to be installed in the beehives of actual beekeeping farms to dramatically reduce the damage caused by by Vespa Hornets.

앙상블 인공지능 모델을 활용한 안전 관리 자율운영 플랫폼 설계 (Safety Autonomous Platform Design with Ensemble AI Models)

  • Dongyeop Lee;Daesik Lim;Soojeong Woo;Youngho Moon;Minjeong Kim;Joonwon Lee
    • 한국항행학회논문지
    • /
    • 제28권1호
    • /
    • pp.159-162
    • /
    • 2024
  • This paper proposes a novel safety autonomous platform (SAP) architecture that can automatically and precisely manage on-site safety through ensemble artificial intelligence models generated from video information, worker's biometric information, and the safety rule to estimate the risk index. We practically designed the proposed SAP architecture by the Hadoop ecosystem with Kafka/NiFi, Spark/Hive, Hue, ELK (Elasticsearch, Logstash, Kibana), Ansible, etc., and confirmed that it worked well with safety mobility gateways for providing various safety applications.

서양종꿀벌(Apis mellifera L.) 소비매수별 시설딸기(설향) 화분매개활동 비교 (Comparison of the pollinating activities according to number of combs per honeybee (Apis mellifera) hive released in the strawberry (Seolhyang var.) vinyl-houses)

  • 이상범;윤형주;강석우;권재석;박기관
    • 한국잠사곤충학회지
    • /
    • 제52권2호
    • /
    • pp.134-141
    • /
    • 2014
  • 시설딸기(설향, $825m^2$, 8,400주, 9. 10정식)에서 서양종 꿀벌 소비매수별 화분매개활동과 경제적 효과에 대하여 시험하였다. '설향' 딸기에 방사된 꿀벌 소비매수별 출봉수는 오전 11경에 가장 활발하였으며, 입봉수는 오전 11시부터 오후 1시 사이에 활발한 경향을 보였다. 입봉수 중화분단자 부착봉이 오후 1시와 3시 사이에 가장 많아서 화분매개활동은 오전 11시와 오후 3시 사이에 가장 활발한 것으로 조사되었다. 꿀벌 소비매수별 일주활동은 오전 11시경에 활동 정점에 도달하였으며, 소비매수별로 화분 매개활동수 차이를 볼 수 있었다. 꿀벌 소비매수별 방화 시간은 공히 약 6 ~ 7초 정도 머물렀으며, 꽃간 이동시간은 약 4 ~ 5초 정도 소요되었다. '설향' 딸기 포장에 방사하여 3개월 경과 후 꿀벌 소비매수별 봉군손실률은 4매봉과 5매봉이 3매봉보다 낮았다. 꿀벌 소비매수별 착과율은 공히 98% 이상으로 차이가 없었다. 소비매수별로 화분매개활동에 의한 품질조사에서 과중은 5매봉이 37.2 g으로 무거운 편이었고, 4매봉과 3매봉 순이었다. 종자수와 당도는 소비매수별로 차이가 없었다. 1회 수확을 기준으로 10a 당 생산물의 경제성을 조사하여 본 결과, 4매봉과 5매봉의 조수입이 3매봉의 조수입에 비하여 각각 9%와 13% 증가하는 것으로 나타났다. 따라서 $825m^2$의 면적의 시설딸기(설향)에서는 소비매수가 4매(8,800마리) 이상을 방사하였을 때 화분매개활동과 생산물 경제성에서 좋은 결과를 보였다.

Foraging behaviour and preference of pollen sources by honey bee (Apis mellifera) relative to protein contents

  • Ghosh, Sampat;Jeon, Hyejin;Jung, Chuleui
    • Journal of Ecology and Environment
    • /
    • 제44권1호
    • /
    • pp.26-32
    • /
    • 2020
  • Background: Pollen is an important source of protein and lipids for many animals including honey bees. In order to understand the foraging behaviour of honey bee colonies and preference among the available floral resources, pollen collections from three experimental healthy colonies of honey bees were analysed in the month of June. Results: The amount of pollen collections were related to the colony's need which was indicated by the number of larval and adult bees present in the hive. Interesting was the sequence of pollen collection from different floral sources. All honey bee colonies collected pollens from Trifolium repens first, then Erigeron annus and the third choice was Coreopsis drummondii and Oenothera biennis flowers. Total protein content of Trifolium pollen was the highest (20.0 g/100 g DM), and the others were in the range of 8.9-11.4 g/100 g DM. Conclusion: The results indicated that the first criteria for honey bee foraging preference of pollens would be the nutritional contents of protein and the resource availability of the lesser nutritious floral sources. This information can help pollinator protection programmes of habitat manipulation using flowering plants for nectar and pollen sources.

주정차 단속 시스템을 위한 하둡 기반 대용량 데이터 관리 및 분석 (Hadoop-based Large Data Management and Analysis for Parking Enforcement System)

  • 백나은;송영호;신재환;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.429-432
    • /
    • 2017
  • 자동차 보급률 증가로 인해 교통 혼잡, 불법 주정차 등의 사회적 문제가 발생하고 있다. 특히 불법 주정차는 교통 혼잡, 주차 공간 부족 등 부가적인 문제를 발생시키고 있다. 따라서 각 지방자치단체에서는 불법 주정차 문제를 해결하기 위한 방안을 연구하고 있다. 그러나 이러한 방안은 초기 비용 발생 및 인력 부족 등의 한계가 있다. 한편, 정보통신의 발달에 따라 공공 업무에도 대량의 공공데이터를 효율적으로 처리하기 위한 연구가 진행되고 있다. 하지만 이러한 연구 또한 빅데이터 처리 플랫폼 부족 및 분석 시스템이 미흡한 한계가 존재한다. 따라서 본 논문에서는 불법 주정차 데이터와 같은 공공 데이터를 효율적으로 처리하기 위해, 주정차 단속 시스템을 위한 하둡 기반 대용량 데이터 관리 및 분석 시스템을 제안한다. 제안하는 시스템은 첫째, 주차단속을 수행할 때 주차단속 데이터를 하이브(Hive)를 통해 저장하고, 단속된 차량의 차주를 검색하여 단속임을 알리거나 과태료를 부과한다. 둘째, 웹 인터페이스를 통해 수집된 주차단속 데이터에 대한 다양한 분석을 수행하고, 분석된 데이터에 대한 R을 이용한 시각화를 제공한다.

몰입형 환경에서의 사용자 디자인 과정에 관한 연구 (Users' Design Process in Immersive Environments)

  • 조명은;김미정
    • 한국실내디자인학회논문집
    • /
    • 제26권2호
    • /
    • pp.64-71
    • /
    • 2017
  • The purpose of this study is to investigate the potential of immersive environments in the design domain by analyzing students' design process in immersive environments from cognitive and experiential aspects. To do this, we reviewed major concepts and theories such as users' immersion, participation, presence, and awareness and developed a comprehensive conceptual framework of immersive shared environments. In three different visualization systems of HIVE, teams consisting two students were assigned to design tasks and the design process was analyzed by a customized framework. The characteristics of the immersive environment related to the performance of the design task were different from those of the previous studies. The perception of the relationship between the spaces is very important, and the perception of the surrounding objects is interested in the shape or the material such as whether the object is flat or inclined. Also, it is found that the multi-technology of immersive environments is very useful for creative collaboration. In the future, a more comprehensive analysis of the effects on design decisions in a more diverse visual interface condition and the effects on more diverse design areas should be added.

멀티미디어 스트리밍 프레임워크에서 컨텐츠 관리자의 설계 및 구현 (Design and Implementation of a Content Manager in the Multimedia Steaming Framework)

  • 홍영래;김형일;이승룡;정병수;윤석환;정찬근
    • 한국정보처리학회논문지
    • /
    • 제7권2S호
    • /
    • pp.733-743
    • /
    • 2000
  • This paper describes design and implementation of a content manager in the Integrated Steaming Framework Architecture (ISSA) that is proposed by the authors. The ISSA can provide an environment to develop multimedia streaming applications under heterogeneous distributed systems. The goal of ISSA is to extend the limitations of existing streaming systems. It can support diverse media formats and high level programming environment for streaming application developers. Moreover, it is independent from underlying networks and operating systems, and compatible with the global real-time multimedia database system(BeeHive) so that streaming media is efficiently retrieved, stored, and serviced. The role of a content manager is important in the ISSA environment since it manages an information of media that are provided by the server, and allow users to access media more easily by means of conveying that information to the streaming server, Web server, and client efficiently. The proposed content manager is not only to meed these requirements, but also to provide streaming information to media source and transport manager in order to be an efficient streaming. Furthermore, it supports database transaction processing by using the database connector.

  • PDF