• Title/Summary/Keyword: 데이터편향

Search Result 166, Processing Time 0.028 seconds

A stochastic rainfall generation model that accurately reproduces the various statistical properties at the timescales from 5 minutes through decades, making it suitable for complex disaster simulations (5분에서 수십년 사이의 모든 타임스케일에서 강수의 다양한 통계적 특성을 정확히 재현하여 복합재난 모의에 적합한 추계학적 강수생성모형)

  • Dongkyun Kim
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.117-117
    • /
    • 2023
  • 도시 홍수, 하천 범람, 산사태와 같은 폭우와 관련된 재해는 자주 동시에 발생하며, 각 재해는 서로 다른 범위의 시간 스케일에서 강우 변동성에 민감하게 반응한다. 따라서 재해 복합화 모델링에 적합한 확률 강우 모델은 모든 유형의 재해와 관련된 모든 시간 스케일에서 강우 변동성을 잘 재현할 수 있어야 한다. 본 연구에서는 5분에서 10년 사이의 시간 스케일에서 다양한 강우통계특성을 재현할 수 있는 추계학적 강우 생성기를 제안하였다. 이 모델은 우선 Randomized Bartlett-Lewis Rectangular Pulse (RBLRP) 모델을 사용하여 미세 규모의 강우량 시계열을 생성한 후, 연속된 폭풍 사이의 상관관계 구조가 유지되도록 폭풍우의 순서를 섞는다. 마지막으로, 별도의 월별 강우량 모델링 결과에 따라 월 단위로 시계열을 재배열한다. 독일 보훔에서 기록된 69년간의 5분 강우량 데이터를 사용하여 본 모형을 검증한 결과, 평균, 분산, 공분산, 왜곡도 및 강우 간헐성은 5분에서 10년에 이르는 시간 스케일에서 체계적인 편향 없이 잘 재현됨은 물론, 5분에서 3일 사이의 시간 스케일에서의 극한 강수량 값도 잘 재현음을 확인하였다. 아울러, 극한 강우 및 산사태에 큰 영향을 주는 극한 강우 발생 전 과거 7일간의 강수량도 정확히 재현되었다.

  • PDF

A Study on the Direction of Funeral service focused on Thick Data Analysis (Thick데이터 분석에 기반한 장례서비스 방향성 연구)

  • Ahn, Jinho;Lee, Jeungsun
    • Journal of Service Research and Studies
    • /
    • v.10 no.1
    • /
    • pp.85-96
    • /
    • 2020
  • In Asia, where the aging population is growing rapidly, as the funeral service industry develops and the market grows. The economic value and interest of funeral services is increasing. However, Korea's funeral services are being developed in a biased direction, focusing only on funeral services, after death. Compared to the case of advanced funeral services in the United States, the United Kingdom, and Japan, not only the funeral but also the care of the deceased's family and acquaintances around us are developing. It is appropriate to use a method based on ethnography and User eXperience. For this purpose, the method of collecting and analyzing the ethnography and user experience data of actual resident and visitor was deduced in persona method in the next ten years, and funeral service centered on resident and visitor. In this study, qualitative data centered on the future direction of funeral services, focusing on the resident (family) and the guest who are the principals of services from the perspective of service science. It is difficult to derive meaningful results from the process of collecting, processing, and interpreting big data in general, and in this case, the data analysis method is based on ethnography and user eXperience.) Is appropriate. For this purpose, the method of collecting and analyzing the ethnography and user experience data of the actual resident and the visitor was deduced in the persona method in detail after 10 years. In addition, the future direction of funeral services centered on residence and visitor was presented.

An Adaptive Cell Selection Scheme for Ultra Dense Heterogeneous Mobile Communication Networks (초밀집 이종 이동 통신망을 위한 적응형 셀 선택 기법)

  • Jo, Jung-Yeon;Ban, Tae-Won;Jung, Bang Chul
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.19 no.6
    • /
    • pp.1307-1312
    • /
    • 2015
  • As smart-phones become popular, mobile data traffic has been dramatically increasing and intensive researches on the next-generation mobile communication network is in progress to meet the increasing demand for mobile data traffic. In particular, heterogeneous network (HetNet) is attracting much interest because it can significantly enhance the network capacity by increasing the spatial reuse with macro and small cells. In the HetNet, we have several problems such as load imbalance and interference because of the difference in transmit power between macro and small cells and cell range expansion (CRE) can mitigate the problems. In this paper, we propose a new cell selection scheme with adaptive cell range expansion bias (CREB) for ultra dense HetNet and we analyze the performance of the proposed scheme in terms of average cell transmission rate through system-level simulations and compare it with those of other schemes.

A New Cell Selection Scheme with Adaptive Bias for Ultra Dense Heterogeneous Mobile Communication Networks (초밀집 이종 이동 통신망을 위한 적응형 편향치를 활용한 새로운 셀 선택 기법)

  • Jo, Jung-Yeon;Ban, Tae-Won;Jung, Bang Chul
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2015.05a
    • /
    • pp.63-66
    • /
    • 2015
  • As smart-phones become popular, mobile data traffic has been dramatically increasing and intensive researches on the next-generation mobile communication network is in progress to meet the increasing demand for mobile data traffic. In particular, heterogeneous network (HetNet) is attracting much interest because it can significantly enhance the network capacity by increasing the spatial resue with macro and small cells. In the HetNet, we have several problems such as load imbalance and interference because of the difference in transmit power between macro and small cells and cell range expansion (CRE) can mitigate the problems. In this paper, we propose a new cell selection scheme with adaptive cell range expansion bias (CREB) for ultra dense HetNet and we analyze the performance of the proposed scheme in terms of average cell transmission rate through system-level simulations and compare it with those of other schemes.

  • PDF

Network Intrusion Detection with One Class Anomaly Detection Model based on Auto Encoder. (오토 인코더 기반의 단일 클래스 이상 탐지 모델을 통한 네트워크 침입 탐지)

  • Min, Byeoungjun;Yoo, Jihoon;Kim, Sangsoo;Shin, Dongil;Shin, Dongkyoo
    • Journal of Internet Computing and Services
    • /
    • v.22 no.1
    • /
    • pp.13-22
    • /
    • 2021
  • Recently network based attack technologies are rapidly advanced and intelligent, the limitations of existing signature-based intrusion detection systems are becoming clear. The reason is that signature-based detection methods lack generalization capabilities for new attacks such as APT attacks. To solve these problems, research on machine learning-based intrusion detection systems is being actively conducted. However, in the actual network environment, attack samples are collected very little compared to normal samples, resulting in class imbalance problems. When a supervised learning-based anomaly detection model is trained with such data, the result is biased to the normal sample. In this paper, we propose to overcome this imbalance problem through One-Class Anomaly Detection using an auto encoder. The experiment was conducted through the NSL-KDD data set and compares the performance with the supervised learning models for the performance evaluation of the proposed method.

Revolutionizing rainfall estimation through convolutional neural networks leveraging CCTV imagery (CCTV 영상을 활용한 합성곱 신경망 기반 강우강도 산정)

  • Jongyun Byun;Hyeon-Joon Kim;Jinwook Lee;Changhyun Jun
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.120-120
    • /
    • 2023
  • 본 연구에서는 CCTV 영상 내 빗줄기의 특성을 바탕으로 강우강도를 산정하기 위한 합성곱 신경망(CNNs, Convolutional Neural Networks) 기반 강우강도 산정 모형을 제안하였다. 중앙대학교 및 한국건설생활환경시험연구원 내 대형기후환경시험실에서 얻은 CCTV 영상들을 대상으로 연구를 수행하고, 우적계 등과 같은 지상 관측자료와 강우강도 산정 결과를 비교·검증하였다. 먼저, CCTV 영상 내 빗줄기의 미세한 변동 특성을 반영하기 위해 데이터 전처리 작업을 진행하였다. 이는 원본 영상으로부터 빗줄기 층을 분리해내는 과정, 빗줄기 층에서 빗물 입자를 분리해내는 과정, 그리고 빗물 입자를 인식하는 과정 등 총 세 단계로 구분된다. 합성곱 신경망 기반 강우강도 산정 모형 구축을 위해 영상 전처리가 완료된 데이터들을 입력값으로 설정하고, 촬영 시점에 대응되는 지상관측 자료를 출력값으로 고려하여 강우강도 산정모형을 훈련시켰다. CCTV 원자료 내 특정 영역에 편향되어 강우강도를 산정하는 과적합 현상의 발생을 방지하기 위해 원자료 내 5개의 관심 영역(ROI, Region of Interest)을 설정하였다. 추가로, CCTV의 해상도를 총 4개(2560×1440, 1920×1080, 1280×720, 720×480)로 구분함으로써 해상도 변화에 따른 학습 결과의 차이를 분석·평가하였다. 이는 기존 사례들과 비교했을 때, CCTV 영상을 기반으로 빗줄기의 거동 특성과 같은 물리적인 현상을 직간접적으로 고려하여 강우강도를 산정했다는 점과 더불어 머신러닝을 적용하여 강우 이미지가 갖는 본질적인 특징들을 파악했다는 측면에서, 추후 본 연구에서 제안한 모형의 활용 가치가 극대화될 수 있을 것으로 판단된다.

  • PDF

Uncertainty of the operational models in the Nakdong River mouth (낙동강 하구 환경변화 예측모형의 불확실성)

  • Cho, Hong Yeon;Lee, Gi Seop
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.4-4
    • /
    • 2022
  • 낙동강 하구 환경/생태 복원을 위하여 "해수유입"으로 하구환경을 조성하는 사업이 추진되고 있으며, 해수 유입 규모와 빈도에 따른 생태환경변화를 예측하는 연구수요가 증가하고 있는 상황이다. 보다 구체적으로는 단기간의 해수유입에 의한 흐름 및 염분 확산범위 예측과 더불어 보다 장기간의 지형변화, 수질환경 변화, 생태환경 변화 등에 대한 예측이 필요한 상황이다. 그리고 그 예측의 대부분을 수치모델에 크게 의존하고 있는 상황이다. 그러나, 수치모형을 이용한 단기 예측은 가까운 미래에 대한 입력조건을 사용하여야 하기 때문에 입력조건에 대한 불확실성이 포함되고, 환경생태모형의 불확실성에 따른 예측 한계 등으로 인하여 오차가 누적되기 때문에 직접적인 활용에 크게 제한이 따를 수 있다. 또한 운영과정에서 어떤 분산, 편향 오차 등이 지속적으로 발생하는 경우, 모델 예측 결과에 대한 신뢰수준이 크게 감소하기 때문에 모델의 적절한 운영기법이 요구된다. 모델은 관심을 가지는 자연현상에 대한 근사(approximation)이고, 예상하지 못한 오차가 발생할 수 있기 때문에 관측 자료를 이용한 자료동화(data assimilation) 과정이 운영모델에서는 필수적인 부분이다. 이론적인 기반이 탄탄한 유체역학 기반 기상예측의 경우에도, 가용한 모든 지점의 관측 자료를 이용한 자료 동화과정을 통하여 모델 예측 결과를 개선하여 나가는 과정을 포함하여 운영하고 있다. 이 과정이 포함하는 중요한 개념은 수치모델이 가지고 있는 (예측 수준의) 한계를 인정하고, 수치모델에 전적으로 의존하는 것이 아니라 관측 자료를 이용하여 그 한계를 저감하여 나가는 과정이다. 모니터링은 모델의 한계를 알려주는 지표이다. 모델링과 모니터링의 불가피한 상호의존 관계를 의미하는 이 개념은 단기간의 흐름, 염분 확산 예측으로 한정되지 않고, 장기적인 변화가 예상되는 생태환경변화 모델에도 적용이 된다. 즉각적인 변화보다는 장기적인 관점에서 파악하여야 하는 생태학적인 변화는 보다 다양한 인자가 관여하기 때문에 어떤 측면에서는 모델보다는 적절한 빈도와 항목에 대한 관측계획 수립(monitoring design)이 더 중요하다고 할 수 있다. 이론적인 질량보존(mass conservation) 방정식을 기반으로 하는 모델은 다양한 현실적인 인자의 영향을 받기 때문에 모델의 한계를 인정하고, 모니터링 자료를 적극적으로 활용하여 불확실성을 저감하는 접근방식이 요구된다.

  • PDF

An Improved Skyline Query Scheme for Recommending Real-Time User Preference Data Based on Big Data Preprocessing (빅데이터 전처리 기반의 실시간 사용자 선호 데이터 추천을 위한 개선된 스카이라인 질의 기법)

  • Kim, JiHyun;Kim, Jongwan
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.11 no.5
    • /
    • pp.189-196
    • /
    • 2022
  • Skyline query is a scheme for exploring objects that are suitable for user preferences based on multiple attributes of objects. Existing skyline queries return search results as batch processing, but the need for real-time search results has increased with the advent of interactive apps or mobile environments. Online algorithm for Skyline improves the return speed of objects to explore preferred objects in real time. However, the object navigation process requires unnecessary navigation time due to repeated comparative operations. This paper proposes a Pre-processing Online Algorithm for Skyline Query (POA) to eliminate unnecessary search time in Online Algorithm exploration techniques and provide the results of skyline queries in real time. Proposed techniques use the concept of range-limiting to existing Online Algorithm to perform pretreatment and then eliminate repetitive rediscovering regions first. POAs showed improvement in standard distributions, bias distributions, positive correlations, and negative correlations of discrete data sets compared to Online Algorithm. The POAs used in this paper improve navigation performance by minimizing comparison targets for Online Algorithm, which will be a new criterion for rapid service to users in the face of increasing use of mobile devices.

Data-Driven Approach to Identify Research Topics for Science and Technology Diplomacy (과학외교를 위한 데이터기반의 연구주제선정 방법)

  • Yeo, Woon-Dong;Kim, Seonho;Lee, BangRae;Noh, Kyung-Ran
    • The Journal of the Korea Contents Association
    • /
    • v.20 no.11
    • /
    • pp.216-227
    • /
    • 2020
  • In science and technology diplomacy, major countries actively utilize their capabilities in science and technology for public diplomacy, especially for promoting diplomatic relations with politically sensitive regions and countries. Recently, with an increase in the influence of science and technology on national development, interest in science and technology diplomacy has increased. So far, science and technology diplomacy has relied on experts to find research topics that are of common interest to both the countries. However, this method has various problems such as the bias arising from the subjective judgment of experts, the attribution of the halo effect to famous researchers, and the use of different criteria for different experts. This paper presents an objective data-based approach to identify and recommend research topics to support science and technology diplomacy without relying on the expert-based approach. The proposed approach is based on big data analysis that uses deep-learning techniques and bibliometric methods. The Scopus database is used to find proper topics for collaborative research between two countries. This approach has been used to support science and technology diplomacy between Korea and Hungary and has raised expectations of policy makers. This paper finally discusses aspects that should be focused on to improve the system in the future.

A Study on the Extraction of Psychological Distance Embedded in Company's SNS Messages Using Machine Learning (머신 러닝을 활용한 회사 SNS 메시지에 내포된 심리적 거리 추출 연구)

  • Seongwon Lee;Jin Hyuk Kim
    • Information Systems Review
    • /
    • v.21 no.1
    • /
    • pp.23-38
    • /
    • 2019
  • The social network service (SNS) is one of the important marketing channels, so many companies actively exploit SNSs by posting SNS messages with appropriate content and style for their customers. In this paper, we focused on the psychological distances embedded in the SNS messages and developed a method to measure the psychological distance in SNS message by mixing a traditional content analysis, natural language processing (NLP), and machine learning. Through a traditional content analysis by human coding, the psychological distance was extracted from the SNS message, and these coding results were used for input data for NLP and machine learning. With NLP, word embedding was executed and Bag of Word was created. The Support Vector Machine, one of machine learning techniques was performed to train and test the psychological distance in SNS message. As a result, sensitivity and precision of SVM prediction were significantly low because of the extreme skewness of dataset. We improved the performance of SVM by balancing the ratio of data by upsampling technique and using data coded with the same value in first content analysis. All performance index was more than 70%, which showed that psychological distance can be measured well.