• Title/Summary/Keyword: 데이터 분할 평가

Search Result 502, Processing Time 0.023 seconds

A Sampling based Pruning Approach for Efficient Angular Space Partitioning based Skyline Query Processing (효율적인 각 기반 공간 분할 병렬 스카이라인 질의 처리를 위한 데이터 샘플링 기반 프루닝 기법)

  • Choi, Woo-Sung;Min, Jong-Hyeon;Chung, Jaehwa;Jung, SoonYoung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.04a
    • /
    • pp.55-58
    • /
    • 2016
  • 스카이라인 질의란 다수의 선택지 중 '선호될 만한(preferable)' 선택지를 요청하는 질의이다. 사용자가 검토해야하는 선택지의 수를 대폭 감소시키는 스카이라인 질의는 데이터가 폭증하는 빅데이터 환경에서 매우 유용하게 활용된다. 이러한 배경에서 대용량 데이터에 대한 스카이라인 질의를 분산 병렬 처리하는 기법이 각광을 받고 있으며, 특히 맵리듀스(MapReduce) 기반의 분산 병렬 처리 기법 연구가 활발히 진행 중이다. 맵리듀스 기반 알고리즘의 병렬성 제고를 위해서는 부하 불균등 문제 중복 계산 문제 과다한 네트워크 비용 발생 문제를 해소해야 한다. 최근 각 기반 공간분할 기법을 사용하여 부하 불균등 문제와 중복 계산 문제를 해소하는 맵리듀스 기반 스카이라인 질의 처리 기법이 제안되었으나 해당 기법은 네트워크 비용 관점에서 최적화되어있지 않다. 본 논문에서는 부하 불균등 문제와 중복 계산 문제를 해소하면서도 프루닝을 통해 네트워크 비용 절감 시킬 수 있는 새로운 맵리듀스 기반 병렬 스카이라인 질의 처리 기법인 MR-SEAP(MapReduce sample Skyline object Equality Angular Partitioning)을 제안한다. MR-SEAP에서는 데이터를 샘플링하여 샘플 스카이라인 객체를 추출한 뒤 해당 객체들을 균등 분배하는 각도를 기준으로 공간을 분할하여 스카이라인 질의를 병렬 계산하되, 샘플 스카이라인을 이용하여 다수의 객체를 사전에 프루닝함으로써 네트워크 비용을 절감한다. 본 논문에서는 다양한 데이터 수량(cardinality) 및 분포(distribution)에 따른 제안 기법의 성능을 실험 평가함으로써 제안 기법의 우수성을 검증한다.

Pavement Crack Detection and Segmentation Based on Deep Neural Network

  • Nguyen, Huy Toan;Yu, Gwang Hyun;Na, Seung You;Kim, Jin Young;Seo, Kyung Sik
    • The Journal of Korean Institute of Information Technology
    • /
    • v.17 no.9
    • /
    • pp.99-112
    • /
    • 2019
  • Cracks on pavement surfaces are critical signs and symptoms of the degradation of pavement structures. Image-based pavement crack detection is a challenging problem due to the intensity inhomogeneity, topology complexity, low contrast, and noisy texture background. In this paper, we address the problem of pavement crack detection and segmentation at pixel-level based on a Deep Neural Network (DNN) using gray-scale images. We propose a novel DNN architecture which contains a modified U-net network and a high-level features network. An important contribution of this work is the combination of these networks afforded through the fusion layer. To the best of our knowledge, this is the first paper introducing this combination for pavement crack segmentation and detection problem. The system performance of crack detection and segmentation is enhanced dramatically by using our novel architecture. We thoroughly implement and evaluate our proposed system on two open data sets: the Crack Forest Dataset (CFD) and the AigleRN dataset. Experimental results demonstrate that our system outperforms eight state-of-the-art methods on the same data sets.

Efficient Data Compression and Decompression of Stereo Video by using Interative 2D Warping (반복적 2D 워핑을 이용한 효율적인 스테레오 비디오 데이터 압축 및 복원)

  • Park, Il-Kwon;Hye, Ran-Byun
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2008.11a
    • /
    • pp.117-120
    • /
    • 2008
  • 본 논문은 스테레오 비디오 데이터 압축 및 복원을 위한 그리드(Grid) 기반 2D 워핑 방법을 제안한다. 스테레오 비디오에 대한 데이터 표현 방법으로 깊이지도 및 매쉬(mesh)를 이용한 방법이 주로 사용되어 왔으며 매쉬를 이용한 방법은 두 영상간의 매칭되는 노드를 이용하여 데이터 압축 효율을 높일 수 있다. 그러나, 두 영상에서 매칭되는 노드의 위치를 찾는 것은 매우 어려운 일일 뿐만 아니라 매쉬에 의해서 워핑된 영상과 목적이 되는 스테레오 영상의 좌측 또는 우측 영상간의 왜곡이 불가피하다. 따라서 이러한 왜곡을 보정하기 위하여 잔여영상(Residual image) 정보를 추가로 요구하게 된다.제안된 논문은 이러한 잔여영상 정보를 최소화 하기 위하여 반복적으로 2D워핑을 수행하며 최적화된 워핑 영상을 생성함으로써 목적영상과의 오차를 최소로 유지하여 추가정보인 잔여 영상의 데이터 용량을 최소화 한다. 전체영상에 대하여 2D워핑을 수행하며 각각의 노드를 변경하는 것은 많은 비용을 감수해야 하기 때문에 오차영역에 대하여 지역단위로 분할하고 단계적으로 최적화를 이루는 분할정복 방법을 사용하였다. 본 논문의 실험에서는 스테레오 영상에 대하여 각각의 신호대 잡음비(PSNR)를 통해 제안한 방법의 품질을 평가하였을 뿐만 아니라 기존의 메쉬 기반한 방법과 깊이지도를 이용한 방법과의 데이터량을 비교하였다. 실험결과를 통하여 제안한 방법의 데이터 압축의 효율성 및 품질의 우수성을 확인하였다.

  • PDF

A Study on Gene Algorithm Application for Efficient Clustring of Data Mining (데이터 마이닝의 능률적인 군집화를 위한 유전자 알고리즘 적용에 관한 연구)

  • Choi, Ho-Jin;Hong, Sung-Pye
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2009.01a
    • /
    • pp.41-44
    • /
    • 2009
  • 데이터 마이닝의 대표적인 기법인 군집화는 군집내의 유사성을 최대화하고, 군집들간의 유사성을 최소화 시키도록 데이터의 집합을 분할하는 것이다. 대용량의 데이터베이스에서 최적의 효율화를 내기 위해서는 원시데이터에 대한 접근 횟수를 줄이고, 이것을 알고리즘 적용 대상이 데이터 구조의 크기를 줄이는 군집화 기법에 많은 관심이 보이고 있다. 본 논문에서는 유전자 알고리즘을 이용하여 자동으로 군집의 개수를 결정하는 군집화 알고리즘을 제안하는 적합도 함수는 보다 양질의 군집을 찾아내는 것으로 평가 되었다. 또한 유전자 알고리즘 중 8가지를 세부 분석하여 평가하였다.

  • PDF

A study on Scene-Change Detection Using Histogram Characteristic and Region-based Edge Characteristic (히스토그램 특징과 영역기반의 에지 특징에 의한 장면 전환 검출에 관한 연구)

  • 이득재;최기호
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2002.11b
    • /
    • pp.110-113
    • /
    • 2002
  • 통신과 멀티미디어 기술의 발전으로 대용량의 멀티미디어 자료에 대한 효율적인 검색 방법이 대두되고 있다. 본 논문에서 다루고자 하는 동영상 장면전환 검출 연구는 멀티미디어 데이터베이스의 내용기반 비디오 정보검색 및 비디오 데이터 인덱싱 구현의 기반이 되는 첫번째 단계의 핵심적인 분야에 속한다. 비디오 데이터를 내용기반으로 처리 하기 위해서는 우선 비디오데이터를 연속성에 의한 유사 영역으로 분할하여야 한다. 동영상을 분할하기 위한 방법으로 비디오의 불연속점을 찾아내는 장면전환 검출이 널리 사용되어 이에 관한 연구가 활발하게 진행되고 있다. 본 논문에서는 기존의 방법인 히스토그램 방식과 에지검출 방식의 장단점을 비교하고 두 알고리즘의 장점을 혼합한 방식을 제안하였다. 영상을 1차로 히스토그램의 피크값과 계곡특징값을 이용하고 2차로 에지검출 방식으로 두 단계로 나누어 처리하여 속도향상과 정확도를 높이고자 하는 방법을 제안하였다. 그리고 실험을 통하여 기존의 방법들과의 비교 분석을 통하여 성능평가를 하고자 한다.

  • PDF

Application of Image Processing on the Laser Welded Defects Estimation (레이저 용접물 결함 평가에 대한 화상처리의 이용)

  • Lee, Jeong-Ick;Koh, Byung-Kab
    • Transactions of the Korean Society of Machine Tool Engineers
    • /
    • v.16 no.4
    • /
    • pp.22-28
    • /
    • 2007
  • The welded defects are usually called user's unsatisfaction for appearance and functional usage. For checking these defects effectively without time loss, setup of weldability estimation system is an important for detecting whole specimen quality. In this study, after catching a rawdata on welded specimen profiles and treating vision processing with these data, the qualitative defects are estimated from getting these information by laser vision camera at first. At the same time, the weldability estimation for whole specimen is produced. For user friendly, the weldability estimation results are shown each profiles, final reports and visual graphics method. So, user can easily determined weldability. By applying these system to welding fabrication, these technologies are contribution to on-line setup of weldability estimation system.

Lifetime assessment using Weibull probability distribution according to treeing breakdown (트리잉 파괴에 대한 와이블 확률 분포을 이용한 수명 평가)

  • 신성권;김경민;김탁용;이덕진;박세화;김경환;김재환
    • Proceedings of the Korean Institute of Electrical and Electronic Material Engineers Conference
    • /
    • 2000.07a
    • /
    • pp.620-623
    • /
    • 2000
  • 본 논문은 절연재료의 보이드(void)나 크랙(crack)과 같은 결함이 부분방전을 일으킴으로서 절연재료가 열화되어 최종적으로 파괴에 이른다. 특히 부분방전 중에서 트리잉 열화는 절연재료에 매우 치명적이다. 또한 고전압,고전계 기술분야에서 절연파괴전압이나 일정전압 인가시 수명 시간 데이터는 중요하다. 파괴 통계에 주로 많이 사용하는 와이블 확률 분포를 이용하여 트리잉 파괴에 대한 수명을 평가를 시도하였다. 시료의 형태는 침대 평판전극이고 시료는 저밀도 폴리에틸렌이다 인가 전압은 상용 교류 전압 8,10,12[kV]를 인가하였다. 척도 파라메타는 전압이 증가함에 따라 128.7$\longrightarrow$96.4$\longrightarrow$85.4로 감소하고 형상 파라메타는 전압이 증가함에 따라 2.39$\longrightarrow$2.19$\longrightarrow$2.02로 감소한다. 따라서 시료의 추정 수명은 110분, 81.57분, 49.27분으로 전압이 증가함에 따라 수명이 급격히 단축됨을 알 수 있다.

  • PDF

Analysis and New Indices of Cluster Validity Indices in Summation Type (합형식의 군집 유효화 지수의 분석과 새로운 지수 개발)

  • Kim Minho;Ramakrishna R.S.
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07b
    • /
    • pp.598-600
    • /
    • 2005
  • 군집 유효화 평가란 기본적으로 클래스 (Class)에 대한 정보가 주어지지 않은 상태에서 다양한 입력 변수에 의해 발생되는 군집화의 결과들을 평가하여 그들 중에서 주어진 데이터 집합의 자연적인 분할 상태에 가장 적합한 결과를 찾는 기법을 말한다. 군집 유효화 평가에서 그 척도로 사용되는 것이 군집 유효화 지수이다. 본 논문에서는 우선 현존하는 다양한 군집 유효화 지수들 중에서 합 형식을 가지는 지수들을 다룬다. 구체적으로 이 지수들의 설계 원리와 각 지수들의 부합성 (Compliance) 분석한다. 다음으로 분석을 통해 밝혀진 그들의 단점을 보완할 수 있는 새로운 군집 유효화 지수들을 제안한다. 마지막으로 기존의 군집 유효화 지수들을 포함한 새로이 제안한 지수들의 성능을 실험 학습을 통해 평가한다.

  • PDF

A Solution to The Data Dependency Problem from the Big Data on Parallel Distributed Systems (병렬 분산 시스템에서 대용량 데이터의 의존성 해결을 위한 방법)

  • Kim, Hyun-Jun;Kim, Tae-Won;Kim, Joon-Mo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06c
    • /
    • pp.163-165
    • /
    • 2012
  • 본 논문은 대용량 데이터를 분할하여 병렬 처리하는 경우 데이터간의 의존성성에 의해 발생할 수 있는 문제점을 회피하거나 극복하기 위한 방법에 대한 연구이다. 의존성 문제를 해소하기 위한 병렬 분산 처리 시스템을 개발하여, 대용량 파일 처리의 효율을 높이고자 한다. 분산처리의 성능 평가를 위하여 동영상 파일의 분산 저장 및 재인코딩 시간을 측정하여 성능의 지표로 활용한다.

Unsupervised Vortex-induced Vibration Detection Using Data Synthesis (합성데이터를 이용한 비지도학습 기반 실시간 와류진동 탐지모델)

  • Sunho Lee;Sunjoong Kim
    • Journal of the Computational Structural Engineering Institute of Korea
    • /
    • v.36 no.5
    • /
    • pp.315-321
    • /
    • 2023
  • Long-span bridges are flexible structures with low natural frequencies and damping ratios, making them susceptible to vibrational serviceability problems. However, the current design guideline of South Korea assumes a uniform threshold of wind speed or vibrational amplitude to assess the occurrence of harmful vibrations, potentially overlooking the complex vibrational patterns observed in long-span bridges. In this study, we propose a pointwise vortex-induced vibration (VIV) detection method using a deep-learning-based signalsegmentation model. Departing from conventional supervised methods of data acquisition and manual labeling, we synthesize training data by generating sinusoidal waves with an envelope to accurately represent VIV. A Fourier synchrosqueezed transform is leveraged to extract time-frequency features, which serve as input data for training a bidirectional long short-term memory model. The effectiveness of the model trained on synthetic VIV data is demonstrated through a comparison with its counterpart trained on manually labeled real datasets from an actual cable-supported bridge.