• 한국산학기술학회논문지
• /
• 제19권3호
• /
• pp.669-678
• /
• 2018

본 연구는 차량센싱데이터, 공공데이터 등 다종의 빅데이터를 활용하여 주행환경 분석 플랫폼 구축을 위한 정보기술 인프라를 개발하였다. 정보기술 인프라는 H/W 기술과 S/W 기술로 구분할 수 있다. 먼저, H/W 기술은 빅데이터 분산 처리를 위한 병렬처리 구조의 소형 플랫폼 서버를 개발하였다. 해당 서버는 1대의 마스터 노드와 9대의 슬래이브 노드로 구성하였으며, H/W 결함에 따른 데이터 유실을 막기 위하여 클러스터 기반 H/W 구성으로 설계하였다. 다음으로 S/W 기술은 빅데이터 수집 및 저장, 가공 및 분석, 정보시각화를 위한 각각의 프로그램을 개발하였다. 수집 S/W의 경우, 실시간 데이터는 카프카와 플럼으로 비실시간 데이터는 스쿱을 이용하여 수집 인터페이스를 개발하였다. 저장 S/W는 데이터의 활용 용도에 따라 하둡 분산파일시스템과 카산드라 DB로 구분하여 저장하는 인터페이스를 개발하였다. 가공 S/W는 그리드 인덱스 기법을 적용하여 수집데이터의 공간 단위 매칭과 시간간격 보간 및 집계를 위한 프로그램을 개발하였다. 분석 S/W는 개발 알고리즘의 탐재 및 평가, 장래 주행환경 예측모형 개발을 위하여 제플린 노트북 기반의 분석 도구를 개발하였다. 마지막으로 정보시각화 S/W는 다양한 주행환경 정보제공 및 시각화를 위하여 지오서버 기반의 웹 GIS 엔진 프로그램을 개발하였다. 성능평가는 개발서버의 메모리 용량과 코어개수에 따른 연산 테스트를 수행하였으며, 타 기관의 클라우드 컴퓨팅과도 연산성능을 비교하였다. 그 결과, 개발 서버에 대한 최적의 익스큐터 개수, 메모리 용량과 코어 개수를 도출하였으며, 개발 서버는 타 시스템 보다 연산성능이 우수한 것으로 나타났다.

• 지능정보연구
• /
• 제22권4호
• /
• pp.109-122
• /
• 2016

최근 빅데이터 분석은 기업과 전문가뿐만 아니라 개인이나 비전문가들도 큰 관심을 갖는 분야로 발전하였다. 그에 따라 현재 공개된 데이터 또는 직접 수집한 이터를 분석하여 마케팅, 사회적 문제 해결 등에 활용되고 있다. 국내에서도 다양한 기업들과 개인이 빅데이터 분석에 도전하고 있지만 빅데이터 공개의 제한과 수집의 어려움으로 분석 초기 단계에서부터 어려움을 겪고 있다. 본 논문에서는 빅데이터 공유를 방해하는 개인정보, 빅트래픽 등의 요소들에 대한 기존 연구와 사례들을 살펴보고 정책기반의 해결책이 아닌 시스템을 통해서 빅데이터 공유 제한 문제를 해결 할 수 있는 클라이언트-서버 모델을 이용해 빅데이터를 공개 및 사용 할 때 발생하는 문제점들을 해소하고 공유와 분석 활성화를 도울 수 있는 방안에 대해 기술한다. 클라이언트-서버 모델은 SPARK를 활용해 빠른 분석과 사용자 요청을 처리하며 Server Agent와 Client Agent로 구분해 데이터 제공자가 데이터를 공개할 때 서버 측의 프로세스와 데이터 사용자가 데이터를 사용하기 위한 클라이언트 측의 프로세스로 구분하여 설명한다. 특히, 빅데이터 공유, 분산 빅데이터 처리, 빅트래픽 문제에 초점을 맞추어 클라이언트-서버 모델의 세부 모듈을 구성하고 각 모듈의 설계 방법에 대해 제시하고자 한다. 클라이언트-서버 모델을 통해서 빅데이터 공유문제를 해결하고 자유로운 공유 환경을 구성하여 안전하게 빅데이터를 공개하고 쉽게 빅데이터를 찾는 이상적인 공유 서비스를 제공할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 춘계학술발표대회
• /
• pp.474-476
• /
• 2015

U-Healthcare는 언제 어디서나 환자의 생체 건강을 관리하고 유지할 수 있도록 하는 정보통신기술이다. U-Healthcare통신은 대부분 무선통신을 사용하여 검진 결과나 위급 시에 감지된 환자의 정보를 병원 서버로 전송한다. 이 때 U-Healthcare기기나 병원 서버에 악의적인 행위자가 DDoS공격을 하면 환자의 정보는 병원서버까지 전송되지 못해 병원의 도움을 받을 수 없는 상황이 발생된다. 이에 대응하기 위하여 본 논문은 U-Healthcare 통신 공격 패턴과 시나리오를 빅데이터로 구축한다. 그 후 악의적인 사용자가 U-Healthcare기기나 서버를 공격하면 DB와 연동하여 일치된 공격을 막을 수 있다. 앞으로 원격의료 서비스에서 나타날 수 있는 보안 위협을 알아보고, 빅데이터를 활용하여 보안 위협에 대응할 수 있는 방법을 제안한다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권2호
• /
• pp.128-133
• /
• 2017

최근 대용량 데이터 분석을 위해 다수의 서버를 사용하는 시스템이 증가하고 있다. 대표적인 빅데이터 기술인 하둡은 대용량 데이터를 다수의 서버로 구성된 분산 환경에 저장하여 처리한다. 이러한 분산 시스템에서는 각 서버의 시스템 자원 관리가 매우 중요하다. 본 논문은 다수의 서버에서 수집된 로그 데이터를 토대로 간단하면서 효율적인 이상 탐지 기법을 사용하여 로그 데이터의 변화가 급증하는 이상치를 탐지하고자 한다. 이를 위해, 각 서버로부터 로그 데이터를 수집하여 하둡 에코시스템에 저장할 수 있도록 Apache Hive의 저장 구조를 설계하고, 이동 평균 및 3-시그마를 사용한 세 가지 이상 탐지 기법을 설계한다. 마지막으로 실험을 통해 세 가지 기법이 모두 올바로 이상 구간을 탐지하며, 또한 가중치가 적용된 이상 탐지 기법이 중복을 제거한 더 정확한 탐지 기법임을 확인한다. 본 논문은 하둡 에코시스템을 사용하여 간단한 방법으로 로그 데이터의 이상을 탐지하는 우수한 결과라 사료된다.

• 한국정보전자통신기술학회논문지
• /
• 제11권6호
• /
• pp.684-690
• /
• 2018

현재 및 향후 떠오르고 있는 빅 데이터 사회에서는 수집된 정보의 분석이 그 핵심 기술로 인식되고 있다. 또한 발생되는 데이터가 보다 다양하고 더욱 대용량화 되는 특징을 가지는 빅 데이터화가 가속될 미래의 진화된 지능화 사회에서는 예측 기술을 바탕으로 가치창출을 통한 최적화된 사회를 지향할 것으로 보인다. 지속적으로 사용되어질 IT시스템 운영 시 발생되는 다양한 데이터와 대량의 데이터에 대하여 빅 데이터 기반 기술을 활용하면 IT 시스템의 장애 방지와 안정적 운영이 가능할 것이다. 본 논문에서는 서버 성능 모니터링을 통한 데이터를 수집 분석하고자 빅 데이터 수집 분석 기술을 활용한 환경을 제안하였고, 또한 장애 예측을 위한 시계열 예측 모형을 도출하여 제안하였다. 빅 데이터를 처리하는 서버 성능 관리 측면에서, 본 논문에서 제안하는 이 모델을 통하여 서버 운영자는 사전 장애 예측을 통하여 IT 시스템의 안정적 운영이 가능할 것이다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.1272-1275
• /
• 2015

최근 관심이 증대되고 있는 빅데이터 분석 및 처리를 위한 병렬분산처리 시스템은 대용량 서버가 필요하고 인프라 구축을 위해 고비용을 지불해야 한다. 이를 해결하기 위해 본 연구에서는 저렴한 라즈베리 파이로 클러스터를 구성하고, 하둡보다 빠른 속도의 처리를 제공하는 아파치 스파크를 분석 솔루션으로 하는 빅데이터 분석 플랫폼을 구축하였다. 구축한 플랫폼이 빅데이터 활용을 위해 적절한 성능을 보이는지 확인하기 위해 텍스트 마이닝을 수행하였고, 분석 결과 유효한 성능을 보였다. 적절한 비용으로 빅데이터 분석이 가능해지면서 중소기업과 개인, 교육 기관에서도 빅데이터 활용이 가능해지면서 활용 분야가 크게 확대될 것으로 보인다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.130-132
• /
• 2024

본 논문에서는 과학 빅데이터를 위한 고속 데이터 전송 방식을 제안한다. 최근의 과학연구는 이전보다 훨씬 더 많은 양의 데이터를 요구하지만, 잘 알려진 네트워킹 문제인 라스트마일 문제로 인해 여전히 데이터를 수신하는 데 시간이 오래 걸린다. 과학 빅데이터 전송시 라스트마일 문제로 인한 패킷 손실에 대해 더 나은 방법을 제안한다. 제안하는 방법은 원격 전송에 최적화된 중간 서버를 사용하고 종단간 네트워크 경로에서 라스트마일을 분리한다. 전송 측정을 통해 향상된 성능을 확인한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.115-117
• /
• 2013

빅데이터 시대가 도래하고 네트워크가 발달함에 따라 다수의 클라이언트와 서버가 통신하며 사용하는 데이터량이 급증하고 있다. 과도한 데이터 부하를 해결하는 방법 중 여러 서버로 부하를 분산하는 기법을 로드밸런싱이라고 하며 이 기법에 따라 데이터가 서버에 분산되는 방식이 달라진다. 본 논문에서는 현재 사용중인 다양한 로드밸런싱 기법에 대해 분석하고 보다 효율적인 기법을 제안한다. 그리고 오픈소스 기반의 분산 파일 시스템 중 하나인 Moose File System에 제안한 기법을 적용한 경우의 효과에 대해 논의한다.

• 한국정보전자통신기술학회논문지
• /
• 제14권4호
• /
• pp.300-306
• /
• 2021

IT기술의 발달로 인해 최근 IoT 장비에 적용되는 하드웨어 기술이 저비용, 고성능 RF 및 연산장치를 사용한 스마트 시스템들로 변화되고 있다. 그러나 방대한 양의 IoT 장비들이 설치된 인프라 환경에서 빅데이터 수집은 전송되는 데이터간 병목현상으로 인해 수집 서버의 부하가 발생한다. 이로인해 데이터수집 서버로 전송되는 데이터는 패킷 손실 및 데이터 처리율 감소 현상이 발생한다. 따라서 방대한 양의 IoT 장비들이 설치된 인프라 환경에서 효율적인 빅데이터 수집 기법이 필요하다. 이에 본 논문에서는 방대한 양의 IoT 장비들이 설치된 인프라 환경에서 효율적인 빅데이터 수집 기법을 제안한다. 성능평가 결과, 제안하는 기법의 패킷 손실 및 데이터 처리율은 전송되는 파일의 손실없이 전송이 완료된다. 향후 본 설계를 기반으로 시스템이 구현이 필요하다.

• 인터넷정보학회논문지
• /
• 제23권3호
• /
• pp.87-95
• /
• 2022

최근 스마트기술의 발달로 의료정보플랫폼에서 환자의 생체데이터가 실시간으로 측정 및 데이터베이스에 축적되며, 환자의 응급상황을 판단할 수 있다. 또한, 의료진은 이동단말기를 이용하여 간단한 인증 이후 환자정보에 쉽게 접근이 가능하다. 그러나 이동단말기를 이용한 의료정보 접근에 있어 환자상황과 이동단말기를 고려한 인증에 대한 연구가 필요하다. 본 논문에서는 응급상황에서 의료진의 이동단말기를 이용한 의료정보 접근허가를 위해 빅데이터 처리 및 에지컴퓨팅 기반의 자동인증지원 의료정보플랫폼에 대해 연구하였다. 기 연구된 자동인증 시스템은 응급상황에서 사용자인증과 이동단말기인증을 동시에 수행하며, 상위 의료정보 접근권한을 인증된 의료진과 이동단말기에 부여하는 인증 시스템이다. 환자의 고혈압, 당뇨와 같은 환자상태를 고려한 응급상황을 판단하기 위해 빅데이터 처리 및 분석기법을 제안한 플랫폼에 적용하였다. 또한 환자의 빠른 응급상황 판단을 위해 에지컴퓨팅을 의료정보 서버 앞단에 두어 의료정보 서버 대신 에지컴퓨팅에서 응급상황을 판단하도록 하였다. 의료정보 서버는 입력된 환자정보와 축적된 생체데이터를 이용하여 응급상황 판단수치를 도출하고, 에지컴퓨팅에 전달하여 환자 맞춤형 응급상황을 판단하도록 하였다. 결론적으로, 제안한 의료정보플랫폼은 빅데이터 처리와 에지컴퓨팅을 통해 환자상태를 고려하고 응급상황을 빠르게 판단하였으며, 자동인증을 통해 응급상황에서의 신속한 인증과, 환자상황과 의료진의 역할에 따른 접근권한 부여를 통해 환자정보를 보호하였다.