• 제목/요약/키워드: 아파치

검색결과 103건 처리시간 0.019초

대용량 위성영상 처리를 위한 FAST 시스템 설계 (FAST Design for Large-Scale Satellite Image Processing)

  • 이영림;박완용;박현춘;신대식
    • 한국군사과학기술학회지
    • /
    • 제25권4호
    • /
    • pp.372-380
    • /
    • 2022
  • This study proposes a distributed parallel processing system, called the Fast Analysis System for remote sensing daTa(FAST), for large-scale satellite image processing and analysis. FAST is a system that designs jobs in vertices and sequences, and distributes and processes them simultaneously. FAST manages data based on the Hadoop Distributed File System, controls entire jobs based on Apache Spark, and performs tasks in parallel in multiple slave nodes based on a docker container design. FAST enables the high-performance processing of progressively accumulated large-volume satellite images. Because the unit task is performed based on Docker, it is possible to reuse existing source codes for designing and implementing unit tasks. Additionally, the system is robust against software/hardware faults. To prove the capability of the proposed system, we performed an experiment to generate the original satellite images as ortho-images, which is a pre-processing step for all image analyses. In the experiment, when FAST was configured with eight slave nodes, it was found that the processing of a satellite image took less than 30 sec. Through these results, we proved the suitability and practical applicability of the FAST design.

클라우드 환경에서 Log4J 취약점 분석을 통한 공격 탐지 기술 (Attack Detection Technology through Log4J Vulnerability Analysis in Cloud Environments)

  • 변정연;이상희;유채연;박원형
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.557-559
    • /
    • 2022
  • 오픈소스의 사용으로 개발 환경이 편리해지고 유지보수가 보다 용이해진 장점이 있지만 보안적인 측면에서 볼 때 취약점에 노출되기 쉽다는 한계점이 존재한다. 이와 관련하여 최근에는 아파치에서 매우 광범위하게 사용되고 있는 오픈소스 로깅 라이브러리인 LOG4J 취약점이 발견되었다. 현재 이 취약점의 위험도는 '최고' 수준이며 개발자들도 이와 같은 문제점을 인지하지 못한 채 많은 시스템에 사용하고 있어 향후 LOG4J 취약점으로 인한 해킹 사고가 지속적으로 발생할 우려가 있다. 본 논문에서는 클라우드 환경에서 LOG4J 취약점에 대해서 자세하게 분석하고, 보안관제시스템에서 보다 신속하고 정확하게 취약점을 탐지할 수 있는 SNORT 탐지 정책 기술을 제안한다. 이를 통해 향후 보안 관련 입문자, 보안 담당자 그리고 기업들이 LOG4J 취약점 사태에 대비하여 효율적인 모니터링 운영과 신속하고 능동적인 대처가 가능해질 것으로 기대 한다.

  • PDF

참치뼈로 부터 추출한 천연 Hydroxyapatite의 특성 (The Properties of Natural Hydroxyapatite Isolated from Tuna Bone)

  • 이창국;최진삼;전유진;변희국;김세권
    • 한국수산과학회지
    • /
    • 제30권4호
    • /
    • pp.652-659
    • /
    • 1997
  • 수산가공 공정에서 어육을 채취한 후 폐기되는 참치뼈와 같은 생물체를 회화시킨 후 이들의 고유물성과 아파타이트계 바이오세라믹스의 합성 출발물질에 이용되는 기존의 화학시약과 여러가지 상을 가지는 바이오세라믹의 합성에 사용되는 화학시약을 대체하기 위한 고찰에서 얻은 결론은 다음과 같다. 1. 회화 후 추출한 물질의 X-ray 분석결과, 결정상은 회화온도에 관계없이 $1350^{\circ}C$까지는 $Ca_{10}\;(PO_4)_6\;(OH)_2$ 조성을 가지는 hydroxyapatite상으로 나타나, 화학시약으로 합성한 아파타이트와는 상이한 열분해 반응기구가 나타났다. 2. 회화한 참치뼈의 입자 크기분포는 온도의 증가에 따라 점진적으로 감소하는 거동을 보였고, 입자 크기분포는 $1050^{\circ}C$에서 최저치를 나타내 생물체의 회화온도는 $1050^{\circ}C$ 이하가 적정하였다. 3. 온도변화에 따른 입자의 변화양상을 SEM으로 추적한 결과, 온도에 따른 입자 형상의 변화는 나타나지 않았다. 그러나 회화온도가 높아 질 수록 입자간의 재응집과 소결의 진행과정에서 나타나는 입자간의 neck에 인해서 입자크기 분포 역시 증가하는 경향을 나타내었다. 4. 참치뼈로부터 추출된 아파타이트는 생체재료로서 이용가능한 것으로 나타났다. 또한 glass-ceramic 등과 같은 바이오 세라믹 조성식에서 생물체에서 추출한 아파타이트로 화학시약의 부분적인 치환 역시 가능하였다.

  • PDF

IoT 기반 Apache Spark 분석기법을 이용한 과수 수확 불량 영역 모니터링 아키텍처 모델 (Using IoT and Apache Spark Analysis Technique to Monitoring Architecture Model for Fruit Harvest Region)

  • 오정원;김행곤
    • 스마트미디어저널
    • /
    • 제6권4호
    • /
    • pp.58-64
    • /
    • 2017
  • 현대 사회는 급속한 세계인구의 증가, 농촌 인구의 고령화, 산업화로 인한 농작물 재배 지역의 감소, 농촌 지역의 수익 구조의 불량 등으로 농부들의 탈농촌화 등으로 먹거리 문제 해결이 중요한 화두로 떠오르고 있다. 최근 농촌의 수익을 증대시키기 위해서 스마트 팜(Smart Farm) 분야의 연구가 활발하게 이루어지고 있다. 기존의 스마트 팜 연구는 주로 온실의 농작물의 재배 환경을 모니터링 하여 온실의 조도, 습도, 토양 등이 불량해지면 재배 환경인자를 제어하는 시스템을 자동으로 가동시켜 농작물의 재배 환경을 최적의 상태로 유지하는 데 중점을 두어 연구되고 있다. 즉, 실내에서 재배하는 농작물에 중점을 두어 연구가 이루어지고 있으며 실외에서 재배되는 농작물의 재배환경에 적용되는 연구는 많이 이루어지지 않았다. 본 논문에서는 과수원에서 자라는 과수의 수확 시기를 정확하게 예측하여 최상의 품질로 과일이 수확되게 지원하고 수확이 불량한 지역을 빅데이터 분석을 통해 모니터링하여 불량 지역의 수확성을 향상시키기 위해서 집중 관리할 수 있은 기능을 제공하는 아키텍처를 제안한다. 수확에 관련된 인자는 과일 색상 정보와 과일 무게 정보를 사용하며 실시간으로 수집되는 수확 상관인자 데이터를 Apache Spark 엔진을 이용하여 분석하도록 제안한다. Apache Spark 엔진은 대용량 배치성 데이터 분석 뿐만 아니라 실시간 데이터 분석에서도 우수한 성능을 보인다. 서비스를 수신하는 사용자 디바이스는 PC User 와 Smart Phone User를 지원한다. 센싱 데이터 수신 장치는 센싱되는 데이터를 수신한 후 서버로 전송하는 단순한 처리만 필요하므로 Arduino를 적용하였다. 과일의 수확시기를 조절하여 좋은 품질의 과일을 생산하려면 수확이 불량한 지역을 판단하여 불량지역을 집중 관리해야 한다. 본 논문에서는 빅 데이터 분석 기법을 이용해서 과일 수확의 불량지역을 판단하는 아키텍처 모델을 제안한다.

학습 기반의 동적 쓰레드 풀 기법을 적용한 웹 서버의 설계 및 구현 (Design and Implementation of a Web Server Using a Learning-based Dynamic Thread Pool Scheme)

  • 유서희;강동현;이권용;박성용
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권1호
    • /
    • pp.23-34
    • /
    • 2010
  • 네트워크의 발전에 따라 사용자들이 늘어나게 되면서 웹 서버들은 동시에 접속하는 다수 사용자의 서비스 요청을 처리할 수 있는 다중 쓰레드 기법을 활용하고 있다. 고정된 쓰레드 풀 기법은 고정적인 시스템 자원을 점유해야 하는 문제점이 있다. 반면에 동적으로 쓰레드 풀 기법인 워터마크 쓰레드 풀기법은 사용자의 요청량에 따라 쓰레드 수를 적절하게 조절하지만, 지정한 최대값을 넘는 요청량에 대해서는 응답이 제때에 이루이지지 않는 단점이 있다. 따라서 본 논문에서는 다양한 요청량이 존재하는 다중 쓰레드 환경의 서버 프로그래밍을 위한 학습 기반의 동적 쓰레드 풀 기법을 적용한 웹 서버를 제안한다. 제안하는 기법은 쓰레드 풀을 사용하는 웹 서버 중 아파치(Apache) worker 다중 처리 모듈(Multi processing Module)에 AR(Auto Regressive) 기법을 통해 다음 주기의 작업 요청량을 예측하고 사전에 쓰레드를 생성한다. 기존 기법과 달리, 일정주기의 증감 추세가 없는 작업 요청량에도 필요한 쓰레드의 수를 정확하게 설정하기 위해 최근접 이웃(K-Nearest Neighbor) 알고리즘을 사용하여 작업 요청량에 따른 쓰레드의 수를 사전에 학습한다. 필요한 쓰레드의 수를 설정하기 위해 사전에 학습 되어진 개체들과 비교하여 유사한 개체를 선택하여 예측된 작업 요청량에 따른 쓰레드의 수를 결정하고 쓰레드를 생성한다. 본 논문에서는 필요한 쓰레드의 수를 동적으로 변경함으로써 사용자 응답 시간을 빠르게 하고, 사용자의 요청량에 맞게 쓰레드 수를 관리함으로써 시스템 자원의 활용도를 높일 수 있다.

빅데이터 기반 관광지 추천 시스템 구현 - 한국관광공사 LOD를 중심으로 - (Big Data based Tourist Attractions Recommendation - Focus on Korean Tourism Organization Linked Open Data -)

  • 안진현;김응희;김홍기
    • 경영과정보연구
    • /
    • 제36권4호
    • /
    • pp.129-148
    • /
    • 2017
  • 기존 전시회 정보 제공 서비스는 전시회가 열리는 장소 주변의 관광지를 추천한다. 이러한 위치기반 추천의 경우 전시회의 내용과 관련이 없는 관광지를 추천할 수 있다는 한계점이 있다. 전시회 내용과 관련된 관광지를 관람객에게 추천함으로써 전시회에서 획득한 지식을 관광지에서 경험하는 데에 도움을 줄 필요가 있다. 전시회 큐레이터들이 전시회 내용과 관련된 관광지를 일일이 찾아 추천하는 방법이 있지만, 수작업이다 보니 큐레이터가 가지고 있는 배경지식의 범위 내에서만 추천이 가능하다는 한계점이 있다. 수작업에 따른 오류가 있을 수도 있기 때문에 자동화된 방법이 필요하다. 본 연구에서는 언어자원 빅데이터를 활용하여 전시회 내용과 관련된 관광지를 자동으로 추천하는 방법을 제안한다. 언어자원으로는 한국관광공사 LOD(Linked Open Data), 위키피디아, 국립국어원 사전 등을 활용했다. 단일 컴퓨터로는 이러한 대용량 언어자원을 효율적으로 처리하기 어렵기 때문에, 클라우드 컴퓨팅 프레임워크인 아파치 스파크(Apache Spark)에 기반하여 구현했다. 사용자가 웹브라우저를 통해 전시회 정보를 열람하면 본 알고리즘에 의해 추천된 관광지들을 같이 보여주는 웹인터페이스도 구현했다(http://bike.snu.ac.kr/WARP). 주요 전시회에 대한 관광지 추천 정확도에 대해 전문가 평가를 진행했다. 기존 방법에 비해 본 논문에서 제안한 방법의 정확도가 더 높았다. 본 연구를 활용하면 전시회 큐레이터의 수작업을 줄여줄 수 있고 전시회 관람자들을 관광지로 자연스럽게 유도할 수 있기 때문에, 전시산업과 관광산업 모두에게 도움이 될 수 있다.

  • PDF

스마트시티의 빅 센서 데이터와 빅 GIS 데이터를 융합하여 실시간 온라인 소음지도로 시각화하기 위한 분산병렬처리 방법론 (Real Time Distributed Parallel Processing to Visualize Noise Map with Big Sensor Data and GIS Data for Smart Cities)

  • 박종원;심예찬;정혜선;이용우
    • 인터넷정보학회논문지
    • /
    • 제19권4호
    • /
    • pp.1-6
    • /
    • 2018
  • 스마트시티는, 각종 센서들로부터의 데이터를 수집, 처리하여 시민들을 위하여, 다양한 스마트 서비스들을 제공한다. 본 논문에서는, 이과 같은 스마트시티 서비스 중의 하나로서, 소음지도를 시민에게 실시간으로 제공하기 위한 연구 결과를 발표한다. 본 논문은, 스마트 시티의 융복합된 유비쿼터스센서네트워크들로부터 끊임없이 전달되는 대량의 스트림 데이터를, 실시간으로 전달받아서, 지리정보시스템 (GIS)의 정보들과 융합하여, 시각적으로 소음정보를 표시하여 주는, 3차원 소음지도를 실시간으로 제작하는, 실시간 분산병렬처리 방법론을 제시하였다. 이 방법론을 오픈소스소프트웨어를 활용하여 실제 시스템으로 개발되어 구현하였다. 본 논문에서는, 이와 같이 구현된 시스템들 중에서, 아파치 스톰(Apache Storm) 프레임워크를 사용하여 구현한 실제 시스템을 소개한다. 본 연구에서는, 이 실제 구현된 시스템을 성능평가하였다. 대량의 비정형 데이터를 실시간으로 처리하려면, 큰 컴퓨팅 파워가 필요하며, 필요한 컴퓨팅 파워의 규모도 사전에 알 수 없다는 문제들이 있다. 이 문제들을 해결하기 위하여, 본 연구에서는, 컴퓨팅 파워를 자유롭게 조절하여 공급할 수 있는. 클라우드 컴퓨팅을 사용하여 성능평가를 하였다. 이와 같은 성능평가를 통하여, 본 논문에서 제시한 방법론이 적절함을 확인하였고, 개발하여 구현한 시스템이 잘 작동함도 확인하였다. 나아가서는. 실시간으로 소음지도를 생산할 수 있음을 확인하였다. 본 논문은 이와 같은 성능평가 내용도 소개하고 상세히 설명한다.

정보기술 아키텍처를 위한 기술참조모델을 지원하는 표준프로파일 관리시스템 개발에 관한 연구 (A Study on the Development of Standard Profiles Management System which supports the Technical Reference Model for Information Technology Architecture)

  • 양진혁;김영도;정희준;양진영;유명환
    • 정보처리학회논문지D
    • /
    • 제8D권6호
    • /
    • pp.665-672
    • /
    • 2001
  • 정보기술 아키텍처는 정보시스템에 대한 요구사항을 충족시키고, 상호운용성 및 보안성을 보장하기 위한 일환으로 정립된 개념으로서, 조직에서 사용되는 정보들을 지원하기 위한 정보기술과 그 구성요소들을 분석하고 이들간의 관계를 구조적으로 정리한 체계로서 정의된다. 정보기술 아키텍처는 전사적 아키텍처, 기술참조모델, 그리고 표준프로파일로 구성된다. 정보기술 아키텍처의 한 구성요소인 표준프로파일은 정보기술 표준들의 집합이다. 본 논문에서는 정보기술 아키텍처를 구성 및 활용하기 위하여 기술참조모델에 기반을 둔 표준프로파일 관리시스템 구축에 대한 정보기술의 활용에 대해 언급한다. 구현된 표준프로파일 관리시스템은 국내에서 최초로 시도되는 정보기술 아키텍처 분야에 대한 구현으로서, JSP 및 Java와 같은 객체지향 언어를 사용하여 소프트웨어를 설계하였다. 그리고, UML 표기법에 근거한 기본 및 상세 설계서의 작성, 소프트웨어 아키텍처를 구성하는 컴포넌트 및 디자인 패턴을 활용한 시스템 설계로 인하여 소프트웨어의 재사용성을 높였다. 또한, 리눅스의 활용, 국산 데이터 베이스의 사용, 아파치와 탐캣과 같은 공개 소프트웨어의 사용으로 인한 향후 시스템 유지보수비용을 절감할 수 있도록 하였다. 마지막으로 국외 표준정보 제공시스템에서는 찾아볼 수 없는 타기관에서 사용하는 표준정보에 대한 참조시스템이 포함되어있고 표준에 대한 제정 및 개정에 대한 일련의 업무처리를 인터넷으로 지원할 수 있는 모듈과 같은 다양한 부가적인 서비스들이 본 정보시스템에 통합되어있다.

  • PDF

Hadoop기반의 공개의료정보 빅 데이터 분석을 통한 한국여성암 검진 요인분석 서비스 (Analysis of Factors for Korean Women's Cancer Screening through Hadoop-Based Public Medical Information Big Data Analysis)

  • 박민희;조영복;김소영;박종배;박종혁
    • 한국정보통신학회논문지
    • /
    • 제22권10호
    • /
    • pp.1277-1286
    • /
    • 2018
  • 본 논문에서는 공개의료정보 빅데이터 분석을 위해 클라우드 환경에서 아파치 하둡 기반의 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하고 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함했다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 빅데이터 분석을 위해 빈도분석과 카이제곱검정을 수행하고 유의 수준 0.05를 기준으로 단변량 로지스틱 회귀분석과 모델별 의미 있는 변수들의 다변량 로지스틱 회귀분석을 시행 하였다. (p<0.05) 의미 있는 변수들을 모델별로 나누어 다변량 로지스틱 회귀 분석한 결과 Model 3으로 갈수록 적합도가 높아졌다.

IoT 환경에서 센서 데이터 처리율 향상을 위한 Apriori 기반 빅데이터 처리 시스템 (Apriori Based Big Data Processing System for Improve Sensor Data Throughput in IoT Environments)

  • 송진수;김수진;신용태
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제10권10호
    • /
    • pp.277-284
    • /
    • 2021
  • 최근 스마트 홈 환경은 무선 정보통신 기술과 융합을 통해서 다양한 데이터를 수집·통합·활용하는 플랫폼이 될 것으로 전망되고 있으며 실제로 스마트 홈 내부에는 다양한 센서를 탑재한 스마트 디바이스 수가 점점 증가하고 있다. 증가된 스마트 디바이스 수만큼 처리해야하는 데이터의 양도 증가하고 있으며 이를 효과적으로 처리하기 위해 빅데이터 처리 시스템이 활발하게 도입되고 있다. 그러나 기존 빅데이터 처리 시스템은 분산 노드에 할당되기 전 모든 요청이 클러스터 드라이버로 향하기 때문에 동시에 많은 요청이 발생하는 경우 분할 작업을 관리하는 클러스터 드라이버에 병목현상이 발생하고, 이는 네트워크를 공유하는 클러스터 전체의 성능감소로 이어진다. 특히 작은 데이터 처리를 지속해서 요청하는 스마트 홈 디바이스에서 지연율이 더 크게 나타난다. 이에 본 논문에서는 동시에 다수의 센서에서 요청이 발생하는 스마트 홈 환경에서 효과적인 데이터 처리를 위한 Apriori 기반 빅데이터 시스템을 설계하였다. 제안하는 시스템의 성능평가 결과에 따르면, 데이터 처리 시간은 기존 시스템에 비해 최소 19.2%에서 최대 38.6% 단축됐다. 이러한 결과가 발생한 이유는 측정되는 데이터의 형태와 관련이 있다. 스마트 홈 환경은 수집되는 데이터의 양은 방대하나 각 데이터의 용량은 작기 때문에 캐시 서버의 사용이 데이터 처리에 큰 역할을 하며, Apriori 알고리즘을 통한 연관도 분석으로 사용자의 행동 습관과 연관도가 높은 센서 데이터를 캐시에 저장하기 때문에 캐시 서버의 활용률이 매우 높다.