• 제목/요약/키워드: Bigdata server

검색결과 18건 처리시간 0.02초

빅데이터의 효과적인 처리 및 활용을 위한 클라이언트-서버 모델 설계 (Design of Client-Server Model For Effective Processing and Utilization of Bigdata)

  • 박대서;김화종
    • 지능정보연구
    • /
    • 제22권4호
    • /
    • pp.109-122
    • /
    • 2016
  • 최근 빅데이터 분석은 기업과 전문가뿐만 아니라 개인이나 비전문가들도 큰 관심을 갖는 분야로 발전하였다. 그에 따라 현재 공개된 데이터 또는 직접 수집한 이터를 분석하여 마케팅, 사회적 문제 해결 등에 활용되고 있다. 국내에서도 다양한 기업들과 개인이 빅데이터 분석에 도전하고 있지만 빅데이터 공개의 제한과 수집의 어려움으로 분석 초기 단계에서부터 어려움을 겪고 있다. 본 논문에서는 빅데이터 공유를 방해하는 개인정보, 빅트래픽 등의 요소들에 대한 기존 연구와 사례들을 살펴보고 정책기반의 해결책이 아닌 시스템을 통해서 빅데이터 공유 제한 문제를 해결 할 수 있는 클라이언트-서버 모델을 이용해 빅데이터를 공개 및 사용 할 때 발생하는 문제점들을 해소하고 공유와 분석 활성화를 도울 수 있는 방안에 대해 기술한다. 클라이언트-서버 모델은 SPARK를 활용해 빠른 분석과 사용자 요청을 처리하며 Server Agent와 Client Agent로 구분해 데이터 제공자가 데이터를 공개할 때 서버 측의 프로세스와 데이터 사용자가 데이터를 사용하기 위한 클라이언트 측의 프로세스로 구분하여 설명한다. 특히, 빅데이터 공유, 분산 빅데이터 처리, 빅트래픽 문제에 초점을 맞추어 클라이언트-서버 모델의 세부 모듈을 구성하고 각 모듈의 설계 방법에 대해 제시하고자 한다. 클라이언트-서버 모델을 통해서 빅데이터 공유문제를 해결하고 자유로운 공유 환경을 구성하여 안전하게 빅데이터를 공개하고 쉽게 빅데이터를 찾는 이상적인 공유 서비스를 제공할 수 있다.

중소기업의 IT자원이 업무성과에 미치는 영향에 관한 연구 (A study on the effect of SME IT resource on performance)

  • 진정숙;박주석;박재홍
    • 한국빅데이터학회지
    • /
    • 제4권2호
    • /
    • pp.141-158
    • /
    • 2019
  • 자원기반이론(Barney, 1991)에 근거하여 중소기업의 IT를 자원과 역량으로 구분하였으며, IT자원과 역량이 성과에 영향을 미치는지 확인하였다. 즉, 중소기업 대상의 설문조사와 IT전문가를 대상으로 설문조사를 실시하여 중소기업이 보유하고 있는 IT자원을 역량과 자원으로 구분하였다. Barney(1991)가 제안한 자원의 4가지 특성(가치, 희귀성, 비대체성, 비모방성)중에서 가치와 비모방성을 대상으로 중소기업의 IT자원과 역량을 구분하였으며 구분된 IT자원과 역량은 기업의 성과에는 어떻게 영향을 미치는지 연구하였다. 연구결과 IT의 자원과 역량은 "Knowledge-based"의 필요여부에 따라서 구분되었다. 분석결과, 서버, DB(database), 시스템 관리자, 프로그래머, CIO, BA는 역량으로, 데스크탑 PC, 소프트웨어, 급여 및 회계관련 프로그램, 이커머스, 홈페이지 그리고 네트워크는 자원으로 분류되었다. 그리고, 분류된 중소기업의 IT자원과 IT역량은 기업의 성과(종업원 만족도, CEO 만족도)에 모두 영향을 미쳤다. IT는 분명히 기업의 성과에 영향을 미치고 있다. 결론적으로 자원은 기업이 어떻게 활용하는가에 따라서 IT자원 또는 IT역량이 될 수 있으며, 자원, 역량 구분없이 모두 중소기업의 성과에는 영향을 미친다는 것을 알 수 있었다. 따라서 IT투자를 고려할 때 기업은 필요한 IT 자원을 구입하여 활용하게 되면 기업의 성과로 연결된다는 것이다.

  • PDF

빅데이터 분석을 통한 운전자 맞춤형 엔진 제어 장치 시스템의 개발 (Development of a Driver-Oriented Engine Control Unit (ECU)-Mapping System With BigData Analysis)

  • 김식;김정환
    • 대한임베디드공학회논문지
    • /
    • 제12권4호
    • /
    • pp.247-258
    • /
    • 2017
  • Since 2016 when the regulations related to vehicle structure and device modification were drastically revised, the car tuning market has been growing rapidly. Particularly, many drivers are showing interest in changing the interior and exterior according to their preference, or improving the specifications of their cars by changing the engine and powertrain, among others. Also, as the initial engine settings such as horse power and torque of the vehicle are made for stable driving of the vehicle, it is possible to change the engine performance, via Engine Control Unit (ECU) mapping, to the driver's preference. However, traditionally, ECU mapping could be only performed by professional car engineers and the settings were also decided by them. Therefore, this study proposed a system that collects data related to the driver's driving habits for a certain period and sends them to a cloud server in order to analyze them and recommend ECU mapping values. The traditional mapping method only aimed to improve the car's performance and, therefore, if the changes were not compatible with the driver's driving habits, could cause problems such as incomplete combustion or low fuel efficiency. However, the proposed system allows drivers to set legally permitted ECU mapping based on analysis of their driving habits, and, therefore, different drivers can set it differently according to the vehicle specifications and driving habits. As a result, the system can optimize the car performance by improving output, fuel efficiency, etc. within the range that is legally permitted.

네트워크 로그 및 SNMP 기반 네트워크 서버 관리 예측 시스템 (Server Management Prediction System based on Network Log and SNMP)

  • 문성주
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권4호
    • /
    • pp.747-751
    • /
    • 2017
  • 네트워크 서버 접근시 발생되는 로그는 네트워크 관리에 필수적인 다양한 정보를 가지고 있다. 이러한 정보에서 네트워크 관리에 유용한 정보를 추출하여 사용자 접속량, 비정상적인 접근 등을 예측하여 네트워크 관리의 효율성을 높이고 비용을 줄일 수 있다. 네트워크 관리자는 SNMP를 활용하여 네트워크상 서버의 CPU, 메모리, 디스크 사용율과 같은 정보를 기반으로 서버의 상태를 실시간으로 파악할 수 있다. 본 논문에서는 네트워크 6가지 로그를 분석하여 사용자의 접속량을 예측에 필요한 정보를 추출한 후 시계열 분석 방법인 이동평균법과 지수평활법을 적용하여 실험하였다. 또한 SNMP 시뮬레이터를 활용하여 서버의 CPU, 메모리, 디스크 사용율에 관한 OID를 추출하여 서버의 상태와 장애 예측을 시계열 분석방법으로 실험한 후 엑셀과 R 프로그래밍언어를 통해 시각화된 예측 결과를 제시하였다.

전기화재 예측 및 예방을 위한 IoT 플랫폼 시스템 (IoT Platform System for Electric Fire Prediction and Prevention)

  • 양승의;이성옥;정회경
    • 한국정보통신학회논문지
    • /
    • 제26권2호
    • /
    • pp.223-229
    • /
    • 2022
  • 매년 날씨가 추워지는 동절기에는 전기 사용량이 급증하는 특징을 보인다. 많은 전기를 사용하면서 인구 밀도가 높은 시장, 목욕탕, 아파트 등의 건물들의 전기 시설의 누전으로 인해 화재 발생이 늘어나고 있다. 이러한 누전화재의 원인은 대부분 전선의 노후화로 인해 사용량이 증가되어 과도하게 걸리는 부하를 견디지 못하고 전선피복이 녹아내려 주변의 발화물질로 인하여 발생하게 된다. 본 논문에서는 과부하센서, VoC센서, 과열센서로 구성된 복합 센서를 통해 전선에 발생하는 부하 및 과열을 측정하며, 이 때 발생된 유독가스를 검출하고 게이트웨이를 활용하여 서버에 로깅하는 시스템을 구현한다. 이를 바탕으로 빅데이터 분석을 진행하여 실시간으로 전기화재를 예측, 경보 및 차단이 가능한 플랫폼과 모의 화재발생 실험이 가능한 시뮬레이터를 개발한다.

LoRa 게이트웨이 네트워크를 활용한 산업안전서비스 설계 (A Design of Industrial Safety Service using LoRa Gateway Networks)

  • 장문수
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.313-316
    • /
    • 2021
  • 사물인터넷 환경에서는 기본적으로 사물에서 발생되는 데이터를 수집하기 위하여 네트워크 구성이 필수적이다. 다양한 통신 방식으로 사물의 데이터를 처리하고 있으며, 주로 블루투스, WiFi와 같은 무선 통신 방식을 주로 사용하지만, 데이터 서버에 다양한 센서 데이터를 전달하기 위해 유선/무선 통신을 혼합해서 사용하는 경우도 있다. 사물의 데이터를 수집하려면, 센서나 엣지 장치에서 발생되는 센서 데이터를 실시간으로 수집하기 위해 통신 모듈이 탑재되어야 한다. 그리고 데이터베이스로 데이터를 전달하기 위하여 소프트웨어 아키텍처가 구성되어야 한다. 센서에서 발생된 데이터를 실시간으로 데이터 베이스에 저장하고 관리할 수 있으며, 산업안전에 필요한 데이터를 추출하여 산업안전서비스 응용에 활용할 수 있다. 본 논문에서는 사물 데이터 수집을 위하여 LoRa 게이트웨이를 활용하여 네트워크 환경을 구성하였으며, LoRa 모듈로부터 전달되는 사물 데이터를 수집하기 위하여 클라이언트/서버 방식의 데이터 수집 모델을 설계하였다. 데이터 수집과 저장 관리에 필요한 자원을 데이터 누수 없이 확보하기 위하여 실시간으로 데이터 수집이 가능해야 하며, 응용서비스로는 산업안전에 필요한 위치데이터 등을 실시간으로 데이터베이스에 저장 관리할 수 있도록 설계하였다.

  • PDF

Python을 이용한 SNS 크롤링 시스템 구축 (Building an SNS Crawling System Using Python)

  • 이종화
    • 한국산업정보학회논문지
    • /
    • 제23권5호
    • /
    • pp.61-76
    • /
    • 2018
  • 현대인이 살고 있는 네트워크 세상으로 모든 사물들이 들어오고 있다. 사물에 센서를 부착하는 사물인터넷의 영향으로 인해 네트워크로 실시간 데이터를 주고받는 것이 가능해졌다. 현대인들의 필수품인 모바일 디바이스는 일상생활의 모든 자취를 실시간으로 남기는 역할을 하고 있다. 바로 소셜 네트워크 서비스를 통하여 정보획득 활동과 커뮤니케이션 활동을 실시간으로 거대한 네트워크에 남기고 있는 것이다. 비즈니스 관점에서 고객의 니즈 분석은 바로 SNS 자료에서부터 시작된다는 등가가 성립된다. 본 연구는 웹 환경의 SNS 콘텐츠를 파이썬을 이용하여 실시간으로 자동 수집시스템을 구축하고자 한다. 세계적으로 많은 이용자수를 확보하고 있는 인스타그램, 트위터, 유튜브의 비정형적 데이터 수집 시스템을 통하여 고객의 니즈 분석에 도움이 되고자 한다. 파이썬의 웹드라이버 환경에서 가상 웹브라우저를 이용하여 마이닝 처리와 NLP 과정을 거쳐 DB에 저장된다. 본 연구의 결과 웹페이지를 통하여 서비스를 진행하고자하며 검색 기능만으로 원하는 데이터가 자동 수집되며 데이터의 시계열 분석을 통하여 네티즌의 이슈 반응을 실시간으로 확인할 수 있었다. 또한 검색부터 실행결과가 나오기까지 5초 이내 이루어지므로 제시된 알고리즘의 우수성을 확인하였다.

분산 환경에서 경로 질의 기반 서브 그래프 탐색 기법 (Subgraph Searching Scheme Based on Path Queries in Distributed Environments)

  • 김민영;최도진;박재열;김연동;임종태;복경수;최한석;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제19권1호
    • /
    • pp.141-151
    • /
    • 2019
  • 개체 간의 상호 작용을 나타내기 위해 그래프 데이터 형태의 네트워크가 많은 애플리케이션에서 사용되고 있다. 최근에는 빅데이터 기술의 발달로 처리해야할 네트워크의 크기가 점점 커짐에 따라 하나의 서버에서 이를 처리하기 어려워졌기 때문에 분산 처리의 필요성 또한 증가하고 있다. 본 논문에서는 이러한 그래프 데이터가 분산 저장되어있는 환경에서 서브 그래프 탐색을 효율적으로 수행하기 위한 분산 처리시스템을 제안한다. 불필요한 탐색을 줄이기 위해 데이터의 통계정보를 활용해 확률적인 스코어링을 통해 탐색 순서를 정한다. 그래프 네트워크의 정점과 차수의 관계는 데이터의 종류에 따라 다른 특성을 보일 수 있기 때문에 여러 분포적 특성을 갖는 그래프에 대해 다른 스코어링 방법을 통해 불필요한 탐색을 줄이기 위한 스코어를 계산하여 탐색 순서를 결정한다. 결정된 순서에 따라 그래프가 분산 저장된 서버에서 순차적으로 탐색한다. 성능평가에서는 제안하는 기법의 우수성을 입증하기 위해 기존 기법과의 비교를 수행하였으며, 그 결과 기존 기법보다 탐색 시간이 약 3~10% 향상됨을 보였다.