• 제목/요약/키워드: 데이터 불확실성

검색결과 494건 처리시간 0.026초

빅 데이터의 자율 속성 감축을 위한 확장된 정보 엔트로피 기반 상관척도 (Extended Information Entropy via Correlation for Autonomous Attribute Reduction of BigData)

  • 박인규
    • 한국게임학회 논문지
    • /
    • 제18권1호
    • /
    • pp.105-114
    • /
    • 2018
  • 고객 유형 분석에 쓰이는 다양한 데이터 분석 방법은 고객들을 위한 맞춤형 콘텐츠를 기획하고, 보다 편리한 서비스를 제공하기 위하여 고객들의 유형과 특성을 정확히 파악하는 것이 매우 중요하다. 본 논문에서는 정보의 손실을 줄이기 위한 일환으로 정보 엔트로피를 확장하여 속성의 불확실성을 이용한 k-modes 군집분석 알고리즘을 제안한다. 따라서 속성에 대한 유사도의 측정은 두 가지의 측면에서 고려되어진다. 하나는 각 분할의 중심에 대한 각 속성간의 불확실성을 측정하는 것이고, 다른 하나는 각 속성이 가지는 불확실성에 대한 확률적 분포에 대한 불확실성을 측정하는 것이다. 특히 속성내의 불확실성은 속성의 엔트로피를 확률적 정보로 변환하여 불확실성을 측정하기 때문에 최종적인 불확실성은 비확률적인 척도와 확률적인 척도에서 고려되어 진다. 여러 실험과 척도를 통하여 제안한 알고리즘의 정확도가 최적의 초기치를 기반으로 군집분석을 수행한 결과에 준수함을 보인다.

상수도관망 내 데이터 불확실성에 따른 절점 압력 예측 ANN 모델 수행 성능 비교 (Comparison of ANN model's prediction performance according to the level of data uncertainty in water distribution network)

  • 장혜운;정동휘;전상훈
    • 한국수자원학회논문집
    • /
    • 제55권spc1호
    • /
    • pp.1295-1303
    • /
    • 2022
  • 안정적인 수도 공급을 위한 상수도관망의 역할이 더욱 주목받음에 따라 비정상 상황에 대한 신속한 탐지와 적절한 대처 역시 중요시되고 있다. 장치에 의존한 탐지기법 등 기존의 방법론에는 한계가 존재하므로 데이터를 이용한 모델 기반의 방법이 개발되었다. 하지만 상수도관망 내 측정 데이터는 불확실성을 가져 실제 사용량과 다르다. 따라서 본 연구에서는 기계학습 방법의 하나인 인공신경망 모델을 이용하여 상수도관망 압력값을 예측함에 있어 데이터 불확실성의 영향을 조사한다. 정규분포를 따르는 임의의 값을 고려하여 데이터에 측정치 오류를 형성하고 측정치 오류 여부 및 종류에 따라 총 9가지 데이터를 인공신경망 모델을 통해 예측해 경향성을 비교한다. 분석을 통해 데이터 불확실성이 증가할수록 모델 성능이 감소하며, 출력데이터의 측정치 오류가 모델 성능에 미치는 정도가 더 큼을 확인하였다. 특히 입력데이터와 출력데이터의 측정 오차 크기가 동일한 경우 예측 정확도는 각각 72.25%, 38.61%로 큰 차이를 보였다. 따라서 ANN 모델 예측 성능 향상을 위해서는 입력 데이터보다 출력데이터인 주절점의 측정 오류 크기를 줄이는 것이 중요하다.

빅데이터 분석 교육의 문제점과 개선 방안 -학생 과제 보고서를 중심으로 (Problems of Big Data Analysis Education and Their Solutions)

  • 최도식
    • 한국융합학회논문지
    • /
    • 제8권12호
    • /
    • pp.265-274
    • /
    • 2017
  • 본 논문은 빅데이터 분석 교육의 문제점을 고찰해 그 개선 방안을 제시한다. 빅데이터의 특성은 V3에서 V5로 진화하고 있다. 이에 빅데이터 분석 교육도 V5를 감안한 데이터 분석 교육이 되어야 한다. 작금 불확실성의 증대는 데이터 분석의 리스크를 증가시키기에 내적 외적 구조화/비구조화 데이터를 비롯해 교란 요인마저 분석할 때 데이터의 신뢰성은 증가될 수 있다. 그리고 평판분석을 활용할 때 범하기 쉬운 오류가 가변성과 불확실성에 대한 상황 인식이다. 가변성의 측면을 고려해, 다양한 변수와 옵션에 의한 불확실성의 상황을 인식하고 대비한 데이터 분석이 이뤄질 때 데이터에 대한 신뢰성과 정확성은 증가할 수 있다. 사회관계망 분석에서 학생들과 일반 연구자들이 주로 활용하는 것이 텍스톰과 노드엑셀의 노드 분석이다. 사화관계망 분석은 매개중심성에 의한 상황 분석을 통해 다크 데이터를 찾아 이상 현상을 감지하고 현 상황을 분석하여 유용한 의미를 얻고 미래를 예측할 수 있어야 한다.

데이터 클러스터링 기법을 이용한 퍼지 질의 처리

  • 김태희;김선경
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 1997년도 춘계학술대회 발표논문집
    • /
    • pp.129-139
    • /
    • 1997
  • 다양한 실세계의 표현은 주관적인 의미가 내포되어 있어 데이터의 모델링 과정이 보다 중요하며 이 과정에서 데이터 손실을 최소화시켜야 한다. 이러한 성향의 모든 데이터를 수용하기위한 퍼지데이터베이스 시스템 구축시에는 데이터가 퍼지 집합으로 표현되어야 하고 불확실하고 다양한 형태의 질의가 가능하며 신뢰성 있는 응답 제시되어야 한다. 본 논문에서는 불활실함의 의미를 최대한 반영하여 표현을 다양화 시키고 사용자의 주관적인 인식수용을 위한 데이터의 개별화와 레벨의 다양화를 위한 클러스터링(clustering)기법을 보인다. 이를 통해 영역구조를 병합 분리시켜 데이터베이스의 릴레이션에서의 도메인요소의 첨가와 삭제를 통하여 자유로운 질의에 대한 불확실성이 감소된 응답과 융통성이 부여된 퍼지질의 처리를 보여준다.

강건한 객체탐지 구축을 위해 Pseudo Labeling 을 활용한 Active Learning (Active Learning with Pseudo Labeling for Robust Object Detection)

  • 김채윤;이상민
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.712-715
    • /
    • 2023
  • 딥러닝 기술의 발전은 고품질의 대규모 데이터에 크게 의존한다. 그러나, 데이터의 품질과 일관성을 유지하는 것은 상당한 비용과 시간이 소요된다. 이러한 문제를 해결하기 위해 최근 연구에서 최소한의 비용으로 최대의 성능을 추구하는 액티브 러닝(active learning) 기법이 주목받고 있는데, 액티브 러닝은 모델 관점에서 불확실성(uncertainty)이 높은 데이터들을 샘플링 하는데 중점을 둔다. 하지만, 레이블 생성에 있어서 여전히 많은 시간적, 자원적 비용이 불가피한 점을 고려할 때 보완이 불가피 하다. 본 논문에서는 의사-라벨링(pseudo labeling)을 활용한 준지도학습(semi-supervised learning) 방식과 학습 손실을 동시에 사용하여 모델의 불확실성(uncertainty)을 측정하는 방법론을 제안한다. 제안 방식은 레이블의 신뢰도(confidence)와 학습 손실의 최적화를 통해 비용 효율적인 데이터 레이블 생성 방식을 제안한다. 특히, 레이블 데이터의 품질(quality) 및 일관성(consistency) 측면에서 딥러닝 모델의 정확도 성능을 높임과 동시에 적은 데이터만으로도 효과적인 학습이 가능할 수 있는 메커니즘을 제안한다.

전력시장가격 예측을 위한 구조적 모델링 (Structural Model of Electricity Market for Forecasting the Market Price)

  • 강동주;정해성;허진;김태현;문영환;정구형;김발호
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2004년도 하계학술대회 논문집 A
    • /
    • pp.648-651
    • /
    • 2004
  • 현재 원가반영발전경쟁시장(CBP : Cost Based Pool)에서는 발전사업자의 변동비용에 기초하여 공급곡선을 형성하게 된다. 그래서 공급 곡선에 있어서 는 비교적 불확실성이 덜하다고 할 수 있다. 그러나 양방향입찰시장에서의 가격결정은 발전사업자와 전력구매자의 입찰데이터(bidding data)로 결정되므로 불확실성의 정도가 매우 심해진다. 즉 가격결정에 있어서 입찰데이터는 매우 중요하며 입찰전략에 따라 사업자의 수익이 달라지기 때문이다. 또한 수직통합체제 때와는 달리 설비용량의 증설도 계통의 부하를 충족시키기 위해서가 아니라 각 발전사업자의 수익성을 고려하여 수행된다. 따라서 중장기적으로는 설비용량계획의 불확실성이 존재하고 단기적으로는 각 발전사업자의 수익 극대화를 위한 입찰 전략에 있어서의 불확실성이 존재하게 된다. 이와 같은 상황에서는 과거의 역사적 데이터를 바탕으로 해당시장에서 발전사업자들의 형태를 분석하는 실증적 분석(empirical analysis)이 가장 설득력이 있지만 현재 우리나라의 전력 시장은 CBP 체제이고 TWBP 시장은 열리지도 않았기 때문에 축적된 데이터는 전무하다. 이러한 현실적 여건 때문에 불확실성의 정도는 더욱 심해지고 TWBP 시장에서의 가격을 예측하는 과정에서도 어려움이 더욱 커지게 된다. 따라서 본 연구에서는 가능한 다양한 해외 연구 사례를 참조하여 시장에서의 발전사업자 중장기적(설비), 단기적(입찰전략) 행위를 어떤식으로 모델링하고 시장가격과 어떤 식으로 연결되는지를 분석해보고자 한다.

  • PDF

Type-2 퍼지 논리 시스템의 시계열 예측 공정으로 응용 (Application of Type-2 Fuzzy Logic System to Forecasting Time-Series Process)

  • 백진열;오성권;김현기
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2008년도 심포지엄 논문집 정보 및 제어부문
    • /
    • pp.95-96
    • /
    • 2008
  • 본 논문에서는 시계열 예측 공정의 모델링을 위해 Type-2 퍼지 논리 집합을 이용하여 불확실성 문제를 다룬다. 기존의 Type-1 퍼지 논리 시스템(Fuzzy Logic System, FLS)은 외부의 노이즈와 같은 불확실성에 민감한 단점이 있다. 그러나 Type 퍼지 논기 시스템은 불확실한 정보까지 멤버쉽 함수로 표현함으로서 효과적으로 취급할 수 있다. 여기서 불확실한 정보를 표현하기 위해 규칙의 전 후반부 멤버쉽 함수로 삼각형 형태의 Type-2 퍼지 집합을 사용한다. 전반부의 경우 HCM 클러스터링을 사용하여 입력 데이터들 간의 거리를 중심으로 멤버쉽 함수를 정의하고, 후반부는 입자 군집 최적화(Particle Swarm Optimization) 알고리즘으로 멤버쉽 함수의 정점을 동조한다. 제안된 모델은 표준 모델 평가에 주로 사용되는 가스로 시계열 데이터를 적용하고, 특정 데이터로 노이즈에 영향 받은 데이터를 사용하여 수치 석인 예를 보인다.

  • PDF

모호성 식별에 의한 불확실성 제거에 관한 연구 (Study for Remove of Uncertainty by Identification of Ambiguity)

  • 이은서
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권1호
    • /
    • pp.31-36
    • /
    • 2015
  • 많은 불확실성 항목들은 소프트웨어 실행 시에 존재한다. 특히, 유사한 분야에서 전반적인 시스템에 많은 영향을 주게 된다. 불확실성 요소와 같은 모호성 요소의 관리는 소프트웨어 신뢰성을 위하여 중요한 요소가 된다. 따라서 모호성을 식별하여 불확실성 요소를 제거하도록 판단기준을 프로세스화 하였다. 또한 본 연구에서는 소프트웨어 개발 시, 모호성을 제거하기 위한 불확실성 식별 기준과 불확실성 처리 프로세스 및 정량적인 평가에 대하여 제시한다.

불확실성을 고려한 퍼지 클러스터링 기반 퍼지뉴럴네트워크 설계 (Design of Fuzzy Neural Networks Based on Fuzzy Clustering with Uncertainty)

  • 박건준;김용갑;황근창
    • 한국인터넷방송통신학회논문지
    • /
    • 제17권1호
    • /
    • pp.173-181
    • /
    • 2017
  • 산업이 발달함에 따라서 빅데이터가 무수히 생산되고 있으며 이에 따라서 데이터에 내재된 불확실성도 증가하고 있다. 본 논문에서는 데이터에 내재된 불확실성을 다루기 위해 interval type-2 퍼지 클러스터링 방법을 제안하고 이를 이용하여 퍼지뉴럴네트워크를 설계하고 최적화한다. 제안한 클러스터링 방법을 이용하여 퍼지 규칙을 설계하고 학습을 수행한다. 최적화하는 방법으로서 유전자 알고리즘을 이용하고 모델 파라미터들을 최적 탐색한다. 실험에서는 두 가지 패턴 분류를 시행하였으며 두 가지 실험 모두 우수한 패턴 인식 결과를 보여준다. 제안한 네트워크는 증가하는 불확실성을 다룰 수 있는 방법을 제공할 수 있을 것이다.

퍼지값을 갖는 데이터에 대한 퍼지 클러스터링 (Fuzzy Clustering for Fuzzy Data1)

  • 이건명
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
    • /
    • pp.27-29
    • /
    • 1998
  • 클러스터링은 데이터의 특성 추출, 데이터의 압축 등을 목적으로 동일 클러스터에 속하는 데이터간에는 유사성이 크도록 하면서 다른 클러스터에 속하는 데이터간에는 유사성이 작도록 데이터를 군집화하는 것이다. 일상에서 발생하는 많은 데이터에는 관측 오류, 불확실성, 주관적인 판정 등으로 인해서 데이터의 속성값이 정확한 값으로 주어지지 않은 경우가 있다. 본 논문에서는 분명한 값뿐만 아니라 퍼지값도 포함한 데이터들에 대해서 퍼지 클러스터링하는 방법을 제안한다.

  • PDF