• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.05a
• /
• pp.599-602
• /
• 2005

본 논문에서는 운영 레거시 시스템으로부터 엔드 유저에까지 실시간으로 데이터를 전달하는 전체적인 프로세스를 정의한 ODS 레이어를 제시한다. ODS 의 레이어를 위하여 먼저 데이터 소스가 정의된다. 그 다음 데이터 소스로부터 ODS까지 데이터를 수집하는 방법이 정의된다. 마지막으로 엔드 유저 집단을 위한 ODS로의 데이터 접근을 준비한다. 운영 시스템과 ODS 간의 통합 레벨에 따른 ODS의 타입을 분류하고 특성을 요약한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.01a
• /
• pp.1-4
• /
• 2019

Edge Computing 환경에서는 데이터 처리와 시스템 제어를 위한 별도의 서버가 존재하지 않는다. 서버를 통한 중앙통제 방식이 아닌 Edge computing에 사용된 IoT기기들이 연동되어 데이터 분산 처리와 연산을 통해 전체 시스템이 동작된다. 이러한 Edge computing 시스템 구조 특성상 전체 시스템이 과부하를 피하기 위해 각 IoT 기기에서 동시다발적으로 감지되는 실시간 상황 정보를 효율적으로 처리 하여야한다. 이에 따라 실시간 상황 정보를 효율적으로 처리하거나, 다양한 데이터 분석처리 알고리즘들이 연구 개발되어 데이터 처리에 적용되어 왔다. 하지만 데이터의 정보 흐름과 타입에 초점을 맞춘 것이 아니라 예상분석 및 획일화된 알고리즘을 통해서 분석되기 때문에 해당 플랫폼이 주로 지향하는 데이터 형식에 맞지 않으면 성능저하를 수반하며 사용에 제약이 많은 문제점이 있다. 따라서 본 논문에서는 IoT 환경에서 실시간 반응성 향상을 목표로 오픈소스 기반 스트림 데이터 처리 방법에 대한 비교 분석과 Fast-reaction을 위한 데이터 처리 도구 비교 분석을 연구를 진행한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.172-175
• /
• 2013

사이버물리시스템(CPS)은 실시간 제약으로 타이밍에 민감한 특징이 있으며, 산업 영역에 적용시 시스템 동작과 안전필수 로그의 특정한 패턴을 나타내는 대용량의 실시간 데이터를 생성시킨다. 본 논문은 공개소스프로젝트인 하둡에코시스템을 이용한 CPS 데이터분석 아키텍처를 소개한다. CPS 처리의 특징 때문에 그 대용량의 데이터 처리는 하나의 머신에서 분석될 수 없으므로, 하둡에코시스템을 통하여 실시간 기반으로 생성되는 데이터를 저장하고 처리하는 시스템 아키텍처를 제안한다. 하둡분산파일시스템(HDFS)은 거대한 CPS 데이터의 저장을 위한 기본 파일시스템이고, 하이브는 데이터웨어하우징 처리를 위한 CPS 데이터분석에 사용된다. 플룸은 서버들로부터 데이터를 수집하고 HDFS에서 그 데이터를 처리하기 위해 사용되며, Rhive는 데이터 마이닝과 분석을 적용하기 위해 사용된다. 이러한 아키텍처를 개관하고, 또한 효과적인 데이터 분석을 위해 사용한 시스템 설계 전략을 소개한다.

• Proceedings of the KIEE Conference
• /
• 2002.11b
• /
• pp.293-295
• /
• 2002

국내에서 가장 많이 사용되고 있는 전력계통 해석프로그램 PSS/E의 데이터 파일을 전력계통 감시장치 송전망 감시 중앙시스템에서 제공하는 실시간 정보를 이용, PSS/E 데이터 구조로 변환하는 실시간 PSS/E 데이터 파일 작성 프로그램을 개발하여 실계통 검증결과 매우 정확함을 확인하였다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2015.05a
• /
• pp.637-637
• /
• 2015

2009년 미국에서 처음으로 스마트워터그리드의 개념이 도입된 이후로 국내외 국가 기관뿐만 아니라 민간 기업에서도 스마트워터그리드에 대한 관심이 높아지고 있다. 현재 스마트워터그리드는 IBM의 진출을 시작으로 Veolia, Suez 등 다국적 물관리 기업들이 사업을 추진 중이다. 국내의 ICT기술과 수자원시스템의 융합을 통하여 용수 수요 공급량을 실시간으로 파악하고 관리하여 수자원의 지역적 시간적 격차를 해소하는 스마트워터그리드 연구가 국내에서도 진행 중이다. 물관리 시장 주도권을 확보하기 위해 글로벌 물기업간 경쟁이 심화되고 있으며, 개별플랫폼을 구축 활용하여 신규기업의 물산업 진출을 가로막고 있는 실정이다. 이러한 상황에서 국외 물산업 시장 진출을 위하여 통합플랫폼 개발 및 체계적인 데이터 구조 설계가 필요하며, 본 연구는 스마트워터그리드를 운영하기 위해 여러 곳에 분산되어 관리 운영되어지고 있는 수자원 및 물관리 데이터의 통합을 위한 체계적인 데이터베이스 구조설계에 대한 연구를 수행하였다. 이에 본 연구에서는 스마트워터그리드 도메인 내에 주력하고 있는 통합데이터베이스 구조를 외부 데이터 마이닝과 연계하여 확장하는 구조로 현실적이고 단기적인 데이터 통합효과를 위해 ETL/데이터웨어하우스방식을 적용하여 데이터 통합을 추진하였다. 지자체간 분산되어 있는 데이터베이스간의 연동은 관련 법제도 및 지자체간 협의 등 다양한 문제가 연루되어 있어 단기적으로는 B2B 데이터 연동방식을 응용하여 구성하였다. 광역 중앙 제어를 위한 통합데이터베이스는 가상DB 방식을 고려하였으며, 이는 지자체별로 구성된 통합DB에 대한 인터페이스 및 Wrapper 플랫폼을 적용하였다. 이 플랫폼간의 연동은 WaterML2.0을 적용함으로써 단기간내 구현이 가능하도록 하고 상호운용성에 문제를 해결하며, 실시간 데이터 연계를 추구하였다. 본 연구를 통해서 궁극적으로는 수자원 및 물관리 데이터의 통합을 위해 해당플랫폼에서 스키마 맵핑, 프로토콜 변환 정합 등을 실시하며, 실시간 데이터 마이닝 및 통합이 가능하도록 구성함으로써 향후 스마트워터그리드의 빅데이터 플랫폼 개발까지 확장해나갈 수 있을 것으로 기대된다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.19 no.6
• /
• pp.79-85
• /
• 2019

Recently, small radar require the development of small millimeter wave radar with high distance resolution to disable the target's system with a single strike. Small millimeter wave radar with high distance resolution need to process large amounts of data in real time to acquire and track target. In this paper, we summarized the real-time data preprocessing method to process the large amount of data required for small millimeter wave radar. In addition, the digital IF(Intermediate Frequency) receiver, Window processing, and, DFT(Discrete Fourier Transform) functions presented by real-time data preprocessing are implemented using FPGA(Field Programmable Gate Array). Finally the implemented real-time data preprocessing module was applied to the signal processor for small millimeter wave radar and verified by performance test related to the real-time preprocessing function.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.23 no.10
• /
• pp.1179-1187
• /
• 2019

In today's technology environment, most big data-based applications and solutions are based on real-time processing of streaming data. Real-time processing and analysis of big data streams plays an important role in the development of big data-based applications and solutions. In particular, in the maritime data processing environment, the necessity of developing a technology capable of rapidly processing and analyzing a large amount of real-time data due to the explosion of data is accelerating. Therefore, this paper analyzes the characteristics of NiFi, Kafka, and Druid as suitable open source among various open data technologies for processing big data, and provides the latest information on external linkage necessary for maritime service analysis in Korean e-Navigation service. To this end, we will lay the foundation for applying open data framework technology for real-time data processing.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.10 no.11
• /
• pp.3207-3212
• /
• 2009

Automatic semiconductor manufacturing systems are demanded to improve the efficiency of the semiconductor production process. These systems include the functionalities such as the analysis and management schemes for very large real-time data in order to enhance the productivities. So, it requires the efficient storage management system to store very large real-time data. Traditional database management systems(e.g. Oracle, MY-SQL, MS-SQL) are based on disk. However, previous DBMS's have the limitation on the low storing performance. In this paper, we propose a compress-merge storing method of very large real-time data using insert transaction of a block unit. The proposed method shows better processing performances compare to conventional DBMS's. Also compress-merge method makes it possible that it can store large real-time data on low storage cost. Therefore, the proposed method can be applied to an efficient storage management system in the semiconductor production process.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10b
• /
• pp.211-213
• /
• 1998

실시간 응용을 위한 데이터베이스 시스템은 시간 제약 조건을 만족시켜야 하며, 데이터 일관성을 유지해야 한다. 또한 다중레벨을 지원하는 보안 프로토콜은 cover channel의 생성을 방지하는 것이 중요하다. Son과 Mukkamala는 primary copy와 secondary copy를 사용한 SRT-2PL을 개발하였다. 이 프로토콜은 보안 레벨간의 불간섭(non-interference)을 지원하며, covert channel의 발생을 막을 수 있으며, 지연이 적고 취소가 적으므로 실시간 데이터베이스 시스템에서 보안을 유지하는데 사용될 수 있다. 그러나 secondary copy를 모든 데이터 오브젝트에 대해 항상 보존해야 하므로 작업공간의 낭비가 있고, 데이터의 갱신을 위해 update queue를 관리해야 하는 오버헤드와 그에 따른 예측성 결여가 문제점으로 나타난다. 따라서, 본 논문에서는 불간섭을 지원하여 covert channel의 발생을 방지하면서, 복사본의 유지 기간을 줄여 실시간 지원을 강화시키고, 예측성을 좀더 높인 개선된 SRT-2PL 실시간 데이터베이스 보안 프로토콜을 제안한다. 본 논문에서 제안하는 동적 복사 알고리즘은 트랜잭션의 동작에 따라 동적으로 복사본을 생성하여 레벨간의 불간섭을 제공함과 동시에, 복사본의 유지 기간을 줄여 작업공간의 낭비를 줄이고 예측성을 높일 수 있다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2019.05a
• /
• pp.429-429
• /
• 2019

최근 들어 이상기후 등 다양한 환경적 요인으로 인해 국지적이고 집중적인 호우가 빈발하고 있으며 도로상의 교통체증과 도로재해가 사회적으로 큰 문제가 되고 있다. 이러한 문제를 해결하기 위해서는 실시간, 단기간 이동성 강우정보 기술과 도로 기상정보를 활용할 수 있는 방법에 대한 연구가 필요하다. 본 연구는 차량의 AW(AutoWiping) 기능을 위해 장착된 강우센서를 이용하여 강우정보를 생산하는 기술을 개발하고자 하였다. 강우센서는 총 4개의 채널로 이루어져있고, 초당 250개의 광신호 데이터를 수집하며, 1시간이면 약 360만 개의 데이터가 생산되게 된다. 5단계의 인공강우를 재현하여 실내 인공강우실험을 실시하고 이를 통해 강우센서 데이터와 강우량과의 상관성을 W-S-R관계식으로 정의하였다. 실내실험데이터와 비교하여 외부환경 및 데이터 생성조건이 다른 실외 데이터의 누적값을 계산하기 위해 Threshold Map 방식을 개발하였다. 강우센서에서 생산되는 대량의 데이터를 이용하여 실시간으로 정확한 강우정보를 생산하기 위해 빅 데이터 처리기법을 사용하여 계산된 실내 데이터의 Threshold를 강우강도 및 채널에 따라 평균값을 계산하고 $4{\times}5$ Threshold Map(4 = 채널, 5 = 강우정보 사상)을 생성하였고 강우센서 기반의 강우정보 생산에 적합한 빅데이터 처리기법을 선정하기 위하여 빅데이터 처리기법 중 Gradient Descent와 Optima Rainfall Intensity을 적용하여 분석하고 결과를 지상 관측강우와 비교검증을 하였다. 이 결과 Optima Rainfall Intensity의 적합도를 검증하였고 실시간으로 관측한 8개 강우사상을 대상으로 강우센서 강우를 생산하였다.