• 제목/요약/키워드: main-stream

검색결과 1,063건 처리시간 0.038초

실시간 공간 빅데이터 스트림 분산 처리를 위한 부하 균형화 방법 (Load Balancing for Distributed Processing of Real-time Spatial Big Data Stream)

  • 윤수식;이재길
    • 정보과학회 논문지
    • /
    • 제44권11호
    • /
    • pp.1209-1218
    • /
    • 2017
  • 최근 스마트 자동차, 스마트폰과 같은 다양한 소스로부터 공간 빅데이터 스트림을 수집하는 것이 매우 용이해졌다. 공간 데이터 스트림은 편중되고 동적으로 변화하는 분포를 지니기 때문에 전체 부하가 분산 클러스터 내의 작업자들에게 효율적으로 분배되지 않을 경우 전체 시스템의 성능이 저하된다. 본 연구에서는 공간 데이터 스트림에 특화된 부하 균형화 알고리즘인 적응적 공간 키 그룹핑(ASKG)을 제안한다. ASKG의 핵심 아이디어는 공간 데이터 스트림의 최근 분포를 학습하고 이를 기반으로 향후 유입되는 데이터 스트림이 각 작업자에게 고르게 분배되도록 하는 새로운 그룹핑 스키마를 제안하는 것이다. 이를 공간 분포의 변화에 맞춰 주기적으로 반복함으로서 적응적으로 부하 불균형을 해결할 수 있다. 실제 데이터셋에 대해 작업자의 수, 입력 속도, 공간 질의 처리 시간을 변화시키며 성능을 평가한 결과, 대안 알고리즘 대비 제안 방법이 부하 불균형, 처리량, 지연 시간에서 높은 개선효과를 보였다.

저서성 대형무척추동물을 이용한 한국오수생물지수의 개발과 생물학적 하천환경평가 적용 (Development of Konan Saprobic Index using Benthic Macroinvertebrates and Its Application to Biological Stream Environment Assessment)

  • 원두희;전영철;권순직;황순진;안광국;이재관
    • 한국물환경학회지
    • /
    • 제22권5호
    • /
    • pp.768-783
    • /
    • 2006
  • Biological stream environment assessment has been an essential trend of aquatic ecosystems among advanced countries, because the chemical water quality assessment has limitations that only represent temporal water environmental status. Benthic macroinvertebrates are the most popular bioindicator group useful to biological water quality assessment for a long time. In addition, a number of indices using benthic macroinvertebrates have recently been developed not only for water quality assessment but also for ecological health assessment. In this paper Korean Saprobic Index (KSI) based on Zelinka-Marvan's saprobic valency concept is developed by applying DIN 38410 in Germany. The KSI value was widely applicable to most Korean streams with the exception of sand-based large streams, for example main stream of Nakdong River. But as a result of non-linear regression analysis the correlation between KSI and $BOD_5$ concentration was high and KSI reflected water quality alteration for mid and long-term period. In spite of applicability of KSI, it should be supplemented and developed to make it strong by accumulating field data as well as to manage integrated water environment in general through continuous biomonitoring.

짧은 구간을 갖는 범위 질의의 효율적인 질의 색인 기법 (Efficient Query Indexing for Short Interval Query)

  • 김재인;송명진;한대영;김대인;황부현
    • 정보처리학회논문지D
    • /
    • 제16D권4호
    • /
    • pp.507-516
    • /
    • 2009
  • 데이터 스트림 환경에서는 지속적으로 입력되는 데이터에 대한 실시간 처리를 수행하기 위하여 범위를 갖는 다수의 질의를 시스템에 미리 등록한다. 등록된 질의를 입력 스트림에 따라 빠르게 검색하기 위해 질의 색인 기법을 사용하는데, 질의 색인은 메인 메모리 기반에서 동작하기 위해 색인 정보의 저장 비용이 낮아야 하고 빠른 질의 탐색을 실시해야 한다. 본 논문에서는 다수의 범위 질의에 대하여 색인 정보의 저장 비용이 낮고 빠른 질의 탐색을 실시하는 질의 색인 기법으로 LVC-based(Limited Virtual Construct-based) 기법을 제안한다. 해시기반으로 동작하는 LVC-based 색인 기법은 입력 스트림의 범위를 가상의 분할 구조로 나눈 LVC를 이용한다. 각 LVC는 식별자가 할당되고 각 LVC에 구간에 해당하는 범위 질의를 저장하며 색인을 실시한다. LVC-based 기법은 입력 스트림의 범위가 길고 범위가 짧은 다수의 질의를 색인할 때 저장비용과 탐색 비용에서 좋은 효율을 보이며 이는 기 제안된 CEI-based 색인 기법과의 비교를 통하여 입증하였다.

Hazelcast Vs. Ignite: Opportunities for Java Programmers

  • Maxim, Bartkov;Tetiana, Katkova;S., Kruglyk Vladyslav;G., Murtaziev Ernest;V., Kotova Olha
    • International Journal of Computer Science & Network Security
    • /
    • 제22권2호
    • /
    • pp.406-412
    • /
    • 2022
  • Storing large amounts of data has always been a big problem from the beginning of computing history. Big Data has made huge advancements in improving business processes by finding the customers' needs using prediction models based on web and social media search. The main purpose of big data stream processing frameworks is to allow programmers to directly query the continuous stream without dealing with the lower-level mechanisms. In other words, programmers write the code to process streams using these runtime libraries (also called Stream Processing Engines). This is achieved by taking large volumes of data and analyzing them using Big Data frameworks. Streaming platforms are an emerging technology that deals with continuous streams of data. There are several streaming platforms of Big Data freely available on the Internet. However, selecting the most appropriate one is not easy for programmers. In this paper, we present a detailed description of two of the state-of-the-art and most popular streaming frameworks: Apache Ignite and Hazelcast. In addition, the performance of these frameworks is compared using selected attributes. Different types of databases are used in common to store the data. To process the data in real-time continuously, data streaming technologies are developed. With the development of today's large-scale distributed applications handling tons of data, these databases are not viable. Consequently, Big Data is introduced to store, process, and analyze data at a fast speed and also to deal with big users and data growth day by day.

강릉 남대천에서 소상하는 연어(Chum salmon, Oncorhynchus keta) 분포와 행동 특성 (Distribution and Behavioral Characteristics of Chum Salmon (Oncorhynchus keta) in Namdae Stream, Korea)

  • 김범식;정용우;김우보;홍성익;이충일
    • 한국환경과학회지
    • /
    • 제31권10호
    • /
    • pp.861-868
    • /
    • 2022
  • The Namdae stream in Gangneung-si is one of the rivers where salmon stock is mainly maintained by natural spawning rather than artificial seedlings. There are structures including weir, and fish distribution and movement characteristics can be different by these structures. In this study, we investigated the distribution and behavioral characteristics of salmon by sighting survey within 12 km immediately upstream of the river mouth between October 2021 and February 2022. As a result, salmon distributed within 9 km from rivermouth. There were more salmon in the lower reaches of Doosan weir than in the upper reaches of that. The main spawning ground for salmon was between 7-9 km from rivermouth and around the lower part of Doosan weir. Salmon behaved for spawning in the gravel-bed area and undercut slope of the mainstream, such as mating, digging the riverbed, and competition among males. Salmon moved more slowly in the gravel-bed area than sand-bed area. Doosan weir hinders the spawning migration of salmon by frequent flow changes and terraced fishway. This study provides primary information to understand the ecological changes of salmon by environmental changes in the Namdae stream.

Rotational instability as a source of asteroidal dust near Earth

  • Jo, Hangbin;Ishiguro, Masateru
    • 천문학회보
    • /
    • 제46권1호
    • /
    • pp.44.2-45
    • /
    • 2021
  • As implied by the zodiacal light and spacecraft impact measurements, the space between large bodies in our Solar System is filled with interplanetary dust particles (IDPs). IDPs give us deeper insight into the composition and evolution of the Solar System, as well as being a crucial reference for extrasolar research. IDPs can be interpreted as bearers of carbon and organic materials, and thus, their interaction with Earth can be considered as important factors for the birth of terrestrial life. One of the key routes of IDPs entering Earth is via meteoroid streams (Love and Brownlee 1993). The Geminid meteoroid stream is a notable example. Together with its source asteroid (3200) Phaethon, the Phaethon-Geminid stream complex (PGC) (Whipple 1983; Gustafson 1989) can potentially provide information on the properties and evolution of IDPs in near-Earth space. DESTINY+* is a JAXA/ISAS spacecraft planned to launch in 2024 to explore the physical and chemical features of near-Earth IDPs and uncover the dust ejection mechanism of active near-Earth asteroids, especially Phaethon (Arai et al. 2018). Previous studies on the dust ejection mechanism of Phaethon have various degrees of success in explaining the ejection of submillimeter particles and try to recreate the dust replenishment rate of the Geminid stream. However, none of them are satisfactory for explaining the observed Geminid stream, especially for larger particles of a millimeter and centimeter scales. Inspired by the discovery of rotational mass shedding in the Main Belt region (Jewitt et al., 2014), we investigate a dust ejection scenario by rotational instability on Phaethon. Using the N-body integrator MERCURY6 (Chambers 1999; modified by Jeong 2014), we performed a long-term integration of dust particles of various sizes ejected at ~1 m/s. Through this process, we discuss the implications Phaethon's rotation may have on its ejection, the formation and evolution of IDP by this mechanism, and contribute to the DESTINY+ mission.

  • PDF

형광스펙트럼을 이용한 유역 하류 저수지의 유입 유기물 내 유기인 기여도 평가 (Estimating the Relative Contribution of Organic Phosphorus to Organic Matters with Various Sources Flowing into a Reservoir Via Fluorescence Spectroscopy)

  • 이미희;이승윤;허진
    • 한국물환경학회지
    • /
    • 제40권2호
    • /
    • pp.67-78
    • /
    • 2024
  • The introduction of a significant amount of phosphorous into aquatic environments can lead to eutrophication, which can in turn result in algal blooms. For the effective management of watersheds and the prevention of water quality problems related to nonpoint organic matter (OM) sources, it is essential to pinpoint the predominant OM sources. Several potential OM sources were sampled from upper agricultural watersheds, such as fallen leaves, riparian reeds, riparian plants, paddy soil, field soil, riparian soil, cow manure, and swine manure. Stream samples were collected during two storm events, and the concentrations of dissolved organic carbon (DOC) and phosphorous (DOP) from these OM sources and stream samples were assessed. DOM indicators using fluorescence spectroscopy, including HIX, FI, BIX, and EEM-PARAFAC, were evaluated in terms of their relevance in discerning DOM sources during storm events. Representative DOM descriptors were chosen based on specific criteria, such as value ranges and pronounced differences between low and high-flow periods. Consequently, the spectral slope ratio (SR) paired with fluorescence index (FI) using end-member mixing analysis (EMMA) proved to be suitable for estimating the contribution of organic carbon (OC). The contribution of each organic phosphorous (OP) in stream samples was determined using the phosphorous-to-carbon (P/C) ratio in conjunction with the OC contribution. Notably, OP derived from swine manure in stream samples was found to make the most dominant contribution, ranging from 61.3% to 94.2% (average 78.1% ± 12.7%). The results of this research offer valuable insights into the selection of suitable indicators to recognize various OM sources and highlight the main sources of OP in forested-agricultural watersheds.

농촌유역(農村流域)에서의 수질오염(水質汚染) 특성(特性)에 관한 연구(硏究) (A Study on the Characteristics of Water Pollution in Rural Areas)

  • 김한태;권순국
    • 한국환경농학회지
    • /
    • 제12권2호
    • /
    • pp.129-143
    • /
    • 1993
  • 본 연구에서는 복하천의 상류유역을 농촌유역에서의 수질오염 특성을 밝히기 위한 대표시험유역으로 선정하여 오염원 및 하천수질, 기여율, 자정계수를 조사${\cdot}$분석하므로서 농촌지역의 수질환경 관리에 필요한 기초자료를 제공하고자 하였다. 조사${\cdot}$분석한 결과를 요약하면 다음과 같다. 1. 하천수질오염에 기여하는 오염배출부하는 축산폐수가 전체 BOD 배출부하량의 69%로 가장높았고 그 다음은 생활하수로 12%, 토지이용은 9%, 공장폐수는 8%로 나타났으며 T-N, T-P도 같은 경향으로 본 유역에서는 축산폐수가 수질오염에 가장 큰 기여를 하는 것으로 판단되었다. 2. 하천의 수질은 BOD가 1mg/L 수준이었고, COD가 3.0${\sim}$5.0mg/L, T-P는 0.5${\sim}$0.7mg/L 범위로 조사되었으며 T-N의 농도가 1.0${\sim}$7.0mg/L으로 높은 수치를 나타내고 있어 영양물질에 의한 오염이 심각한 상태임을 알수 있다. DO의 농도는 전구간에서 평균 8.2${\sim}$10.5mg/L로 매우 높게 조사되었는데 이는 하천의 수심이 얕고 유속이 빨라 재폭기 작용이 활발하기 때문이라고 판단된다. 3. 하천의 수질에 영향을 끼치는 소유역별 오염원의 기여율은 BOD와 T-P의 경우 가축에 의한 기여율이 가장 높았으며 상류유역에 비하여 하류유역이 높은 기여율을 보이고 있다. T-N의 기여율은 토지와 가축이 비슷한 수준으로 이 두 가지의 오염원을 합하면 90%이상의 기여율을 나타내고 있어 전형적인 농촌 유역의 오염부하 특성을 보이고 있다 4. 지천에서의 BOD 유달율은 유량과의 상관관계(R=0.67${\sim}$0.99)로 알 수 있듯이 유량의 증감에 따라 같은 양상으로 변화하는 경향을 보이고 있으며 유로연장이 짧은 지천의 유달율이 크고, 유량과의 상관관계도 R=0.90 이상으로 높게 나타났다. T-N, T-P의 유달율은 유역면적이 적은 지천에서 높게 나타났으며 T-N의 유달율은 BOD와 마찬가지로 유량과의 상관관계가 높게 나타났다. 5. 자정계수의 값은 17.31${\sim}$5.31로 하류구간이 상류, 중류구간에 비하여 적게 나타났는데 이는 하류에서는 하천의 경사가 완만하여 유속이 느리고 갈수시 하류부에 위치한 보(洑)를 이용하여 농업용수를 취수하기 때문에 수심이 깊어져 재폭기작용이 상류에 비하여 활발하지 못하고, 하류부 수질오염의 증가는 상류측에 비하여 많아지므로 자정능력이 떨어지는 것으로 판단된다.

  • PDF

휴폐광산 지역에서 유출되는 하천수의 오염도 평가 (Assessment of Water Pollution by Discharge of Abandoned Mines)

  • 김휘중;양재의;옥용식;이재영;박병길;공성호;전상호
    • 한국지하수토양환경학회지:지하수토양환경
    • /
    • 제10권5호
    • /
    • pp.25-36
    • /
    • 2005
  • 옥동천 유역의 상류에 위치한 명진탄광, 서진탄광, 옥동탄광 등이 1988년 이후 석탄합리화 사업으로 인하여 휴폐광 되었다. 따라서 많은 양의 광산 폐재가 적당한 처리시설이 없이 그대로 유입되어 하류지역의 수질오염을 야기 시킨다. 폐탄광으로부터 유출되는 침출수와 산성광산배수는 pH $2.7\sim4.5$의 강한 산성을 나타내며, 총용존물질은 $1,030\sim1,947mg/L$로 높은 범위를 나타낸다. 또한 Fe, Cu, Cd 같은 중금속의 농도와 음이온인 황산이온 등도 매우 높은 농도를 보인다. 옥동천내에 포함된 중금속의 농도는 Fe>Al>Mn>Zn>Cu>Pb>Cd 순으로 나타났으며, 철의 경우 산성광산배수와 침출수로 부터 옥동천 하류의 수질과 토양의 질을 나타내는 지표가 된다. 구리농도는 풍수기에 공재댐 배출수에서 높은 농도를 나타냈다. 표층수의 수질오염지표는 폐탄광의 산성광산배수가 유입되는 옥동천 본류 상류에서 $16.3\sim47.1$을 나타냈다. 반면에 구광재댐과 신광재댐 및 폐탄광의 배출수가 유입되는 중류에서 $10.6\sim19.5$를, 하류에서는 평균값인 $10.6\sim14.9$를 보여, 상류지역의 폐탄광의 산성광산배수가 옥동천의 주 오염원인 것으로 나타났다.

고해상도 위성영상과 GIS를 이용한 인공습지 적지 분석 -경안천을 대상으로- (An Analysis of Suitable site of Constructed Wetland using High Resolution Satellite Image and GIS in Kyoung-An Stream)

  • 고창환;진도;하성룡
    • 한국습지학회지
    • /
    • 제10권2호
    • /
    • pp.115-128
    • /
    • 2008
  • 도시화 및 산업화 등 인간의 다양한 활동은 하천의 주요 오염원으로 평가되어져 왔다. 현재 하천의 수질에 악영향을 미치는 요인으로 토지의 이용 및 축산업에 따른 비점오염원을 관리하기 위한 다양한 연구들이 이루어고 있으며, 이 가운데 서울을 비롯한 경기도의 상수원을 공급하는 주요 수자원으로 이용되고 있는 팔당호의 관리 방안에 대한 초유의 관심이 모아지고 있는 실정이다. 지금까지 팔당호의 수질개선을 위한 노력의 일환으로 경안천 살리기 운동과 같은 지자체의 노력이 이루어지고 있으며, 상당한 액수의 경비를 소요하고 있는 실정이다. 특히, 경안천 하류에 대단위 인공습지 조성사업을 계획 시행하고 있으며, 이와 더불어 하수처리장의 신설 및 증설이 이루어지고 있어 팔당호 수질의 주요인으로 인정되고 있는 경안천의 수질이 상당 부분 개선될 것으로 전망되어지고 있다. 하지만 지금까지의 그러한 수질개선사업은 근본적인 원인 분석 및 적극적 대안 제시가 아닌 아쉬움을 내포하고 있어 보다 세밀하고 과학적인 분석이 우선시되어져야 한다. 따라서 본 연구에서는 경안천 수질 개선을 위한 수질 및 부하량 분포를 공간적으로 파악함과 동시에 고해상도 위성영상을 통한 대상지의 토지이용행태 분석과 GIS분석을 통한 습지의 입지 가능성을 분석하고, 이들의 종합적인 조건에 부합할 수 있는 인공습지의 위치 및 규모를 산정하고자 하였다. 연구의 진행은 (1) 수질 및 부하량에 대한 공간분석을 통한 최대 오염부하 구역을 선정, (2)고해상도 위성영상을 통한 토지이용 현황 파악, (3) 습지 조성 가능 대상지의 위치 선정, (4) GIS를 이용한 인공습지의 면적 및 체적 산정 등으로 이루어졌다. 기본적으로 인공습지의 규모는 수자원공사에서 제공하고 있는 습지처리효율에 따른 설계기준을 통해 유도되었으며, 그 결과 경안천 일대에 2개 구역(용인하수처리장 부근, 대대천 주북천 일대)에서 인공습지의 조성이 필요하다고 판단되었고, 그 면적은 각각 $127,586m^2$$1,647m^2$로 책정되었다.

  • PDF