• 제목/요약/키워드: 베이지안 정보

검색결과 545건 처리시간 0.03초

학습문서의 개수에 따른 편차기반 분류방법의 분류 정확도 (Classification Accuracy by Deviation-based Classification Method with the Number of Training Documents)

  • 이용배
    • 디지털융복합연구
    • /
    • 제12권6호
    • /
    • pp.325-332
    • /
    • 2014
  • 일반적으로 자동분류는 학습문서의 개수에 영향을 받는다고 알려져 있지만 실제로 학습문서의 수가 텍스트 자동분류에 어떻게 영향을 주는지 입증한 연구는 거의 없었다. 본 연구에서는 학습문서 수가 자동분류에 어떤 영향을 주는지 알아보기 위해 최근에 개발된 편차기반 분류방법을 중심으로 다른 분류 알고리즘과 비교하는데 초점을 두었다. 실험결과, 편차기반 분류모델은 학습문서의 수가 총 21개(7개 장르)인 상황에서 정확도가 0.8로 베이지안이나 지지벡터기계보다 우수하게 나타났다. 이것은 편차기반 분류모델이 장르내의 주제정보를 이용하여 학습하기 때문에 학습문서의 수가 적더라도 다른 학습방법보다 좋은 자질 선택 능력을 갖는다는 것을 입증한 것이다.

집중호우사상의 발생횟수 분석을 위한 확률분포의 비교 (Comparison of probability distributions to analyze the number of occurrence of torrential rainfall events)

  • 김상욱;김형배
    • 한국수자원학회논문집
    • /
    • 제49권6호
    • /
    • pp.481-493
    • /
    • 2016
  • 본 연구에서는 최근 기후변화로 인한 집중호우의 발생횟수의 경향을 확률적으로 분석함에 있어 1개월 동안 80 mm/day 이상의 강우사상을 집중호우로 정의하여, 대구 및 부산 강우관측소로부터 수집된 384개월 동안의 집중호우를 분석하였다. 집중호우 월별 발생횟수와 같은 형식의 자료의 확률적 분석은 대개 Poisson 분포 (POI)가 사용되나 자료에 포함된 0자료의 과잉은 확률분포를 왜곡시키는 문제를 발생시킨다. 본 연구에서는 이 문제를 개선하기 위하여 개발된 일반화 Poisson 확률분포 (GPD), 0-과잉 Poisson 확률분포 (ZIP), 0-과잉 일반화 Poisson 확률분포 (ZIGP), Bayesian 0-과잉 일반화 Poisson 확률분포 (Bayesian ZIGP)를 집중호우 자료에 적용하고, 5개 모형의 특성을 비교분석하였으며, Bayesian ZIGP 모형의 구축에 있어서는 정보적 사전분포를 사용함으로써 모형의 정확도를 개선하였다. 분석결과 분석하고자 하는 자료에 0이 과다하게 포함되어 있는 경우 POI 및 GPD 분포는 관측결과와는 다른 결과를 제시하여 적절한 모형으로 고려되지 못함을 알 수 있었다. 5가지 모형 중 정보적 사전분포를 탑재한 Bayesian ZIGP 모형이 가장 관측 자료와 유사한 결과를 도출하였으나 모형의 구축에 수반되는 실용적인 측면을 고려하면 ZIP 모형도 충분히 사용될 수 있는 모형으로 추천되었다.

Support Vector Machine 기법을 이용한 고객의 구매의도 예측 (Forecasting of Customer's Purchasing Intention Using Support Vector Machine)

  • 김진화;남기찬;이상종
    • 경영정보학연구
    • /
    • 제10권2호
    • /
    • pp.137-158
    • /
    • 2008
  • 기업 경쟁력 강화의 중요한 이슈인 대량 개별화(mass-customization)의 실행을 위하여 통합 고객관계 관리 프로세스로서의 CRM(customer relationship management)에 대한 관심과 활용에 대한 필요성은 점점 더 높아지고 있다. 특히, 기존 고객들의 구매 정보를 기반으로 고객의 구매 패턴을 파악하고 의도를 예측하는 것은 오늘날 실질적인 판매 전략을 수립하는 마케팅 분야에서 상당히 큰 비중을 차지하고 있다. 고객의 구매의도 예측에는 대량의 데이터로부터 과거에 인지하지 못했던 의미 있고, 근거 있는 정보를 추출하는 데이터마이닝(datamining)이 주로 사용되고 있다. 기존의 구매의도 예측에 사용된 데이터마이닝 기법들은 주로 신경망(neural networks)과 로지스틱 회귀분석(logistic regression analysis)이었는데, 예측 정확성 및 모형 구축의 어려움으로 인한 다양한 문제점들이 제기되고 있는 실정이다. 따라서, 본 논문에서는 기존의 기법들이 가지고 있는 단점들을 개선하기 위하여 신경망과 로지스틱 회귀분석 외에 연관규칙(association rule), 연관성 매트릭스(association matrix), 의사결정 나무(decision tree), 베이지안 망(bayesian network), SVM(support vector machine) 기법들을 추가로 제안하였다. 본 연구의 목적은 고객의 특정 상품에 대한 구매의도 예측을 위하여 새로운 알고리즘을 제시하기보다는 기존의 다양한 데이터마이닝 기법들을 적용시켜 봄으로써, 가장 우수한 예측성과를 나타내는 기법을 발견하는 것이다. 연구에 사용된 자료는 기존의 연구에서는 적용되지 않았던 편의점의 영수증 데이터이다. 예측 목표상품은 카테고리화 된 '우유'와 '냉동식품'이며, 제안된 기법들의 신뢰성을 위하여 전체 데이터를 10개의 training과 test 셋으로 중복되지 않게 구분함과 동시에 10번의 교차 검증(cross validation)을 실시하였다. 실험 결과 SVM이 영수증 데이터를 이용한 고객의 특정 상품에 대한 구매의도 예측에서 가장 우수한 성과를 나타내는 것을 확인하였다.

효과적인 이메일 분류를 위한 빈발 항목집합 기반 최적 이메일 폴더 추천 기법 (A proper folder recommendation technique using frequent itemsets for efficient e-mail classification)

  • 문종필;이원석;장중혁
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권2호
    • /
    • pp.33-46
    • /
    • 2011
  • 이메일이 중요한 정보 전달과 의사소통의 수단으로 널리 활용된 이래 사람들은 이메일을 내용에 따라 적절하게 분류하는 작업에 많은 노력을 기울려 왔다. 이메일은 문서의 길이나 문체가 다양하며 사용되는 단어들이 비정규적이다. 또한 이메일 분류 기준은 일반적으로 해당 이메일 사용자의 주관에 따라 정의된다. 따라서 기존의 일반적인 문서분류 기법으로는 이메일을 효율적으로 분류하는데 어려움이 있다. 상업용 이메일 프로그램에서 제공되는 분류 기능은 메일 클라이언트에서 지원하는 텍스트 필터링을 이용한다. 한편 이메일의 자동 분류에 관한 연구는 확률 기반의 나이브 베이지안 기법을 응용하여 정확도를 높일 수 있는 연구가 주로 진행되어 왔으며, 대부분 영문 이메일에 대한 연구이다. 본 논문에서는 빈발 패턴 마이닝 기법을 적용하여 한글 이메일에 대한 개인 맞춤형 폴더 추천기법을 제시한다. 이메일의 맞춤형 폴더 추천 기법은 이메일에 대한 전처리 과정과 빈발 항목집합을 이용한 메일 폴더의 프로파일 생성과정으로 구성된다. 생성된 프로파일은 분류 대상이 되는 각 메일이 개인별 맞춤형 기준에 따라 가장 적합한 이메일 폴더로 효과적으로 분류되는데 활용된다. 또한 제안된 기법을 적용한 이메일 분류 시스템을 구현한다.

속성선택방법과 워드임베딩 및 BOW (Bag-of-Words)를 결합한 오피니언 마이닝 성과에 관한 연구 (Investigating Opinion Mining Performance by Combining Feature Selection Methods with Word Embedding and BOW (Bag-of-Words))

  • 어균선;이건창
    • 디지털융복합연구
    • /
    • 제17권2호
    • /
    • pp.163-170
    • /
    • 2019
  • 과거 10년은 웹의 발달로 인한 데이터가 폭발적으로 생성되었다. 데이터마이닝에서는 대용량의 데이터에서 무의미한 데이터를 구분하고 가치 있는 데이터를 추출하는 단계가 중요한 부분을 차지한다. 본 연구는 감성분석을 위한 재표현 방법과 속성선택 방법을 적용한 오피니언 마이닝 모델을 제안한다. 본 연구에서 사용한 재표현 방법은 백 오즈 워즈(Bag-of-words)와 Word embedding to vector(Word2vec)이다. 속성선택(Feature selection) 방법은 상관관계 기반 속성선택(Correlation based feature selection), 정보획득 속성선택(Information gain)을 사용했다. 본 연구에서 사용한 분류기는 로지스틱 회귀분석(Logistic regression), 인공신경망(Neural network), 나이브 베이지안 네트워크(naive Bayesian network), 랜덤포레스트(Random forest), 랜덤서브스페이스(Random subspace), 스태킹(Stacking)이다. 실증분석 결과, electronics, kitchen 데이터 셋에서는 백 오즈 워즈의 정보획득 속성선택의 로지스틱 회귀분석과 스태킹이 높은 성능을 나타냄을 확인했다. laptop, restaurant 데이터 셋은 Word2vec의 정보획득 속성선택을 적용한 랜덤포레스트가 가장 높은 성능을 나타내는 조합이라는 것을 확인했다. 다음과 같은 결과는 오피니언 마이닝 모델 구축에 있어서 모델의 성능을 향상시킬 수 있음을 나타낸다.

점진적 기계학습 기반의 레이더 위협체 역추정 모델 생성 및 갱신 (Managing the Reverse Extrapolation Model of Radar Threats Based Upon an Incremental Machine Learning Technique)

  • 김철표;노상욱
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제13권4호
    • /
    • pp.29-39
    • /
    • 2017
  • 다양한 전자전 상황에서 단위 위협체에 대하여 전자전 모델링과 시뮬레이션을 수행할 수 있는 통합 전자전 시뮬레이터의 개발 필요성이 대두되고 있다. 본 논문에서는 전자전 상황에서 전자정보 수집신호의 변수를 기반으로 전자파 신호를 발산하는 레이더 위협을 역추정하기 위한 시뮬레이션 시스템의 구성요소를 분석하고, 역추정 모델을 점진적으로 유지할 수 있는 방법을 제안한다. 또한, 실험을 통하여 점진적 역추정 모델 갱신 기법의 유효성 및 개별 역추정 결과의 통합 기법을 평가한다. 개별 역추정 모델의 생성을 위하여 의사결정트리, 베이지안 분류기, 인공신경망 및 유클리디안 거리 측정방식과 코사인 유사도 측정방식을 활용하는 군집화 알고리즘을 이용하였다. 첫 번째 실험에서 레이더 위협체에 대한 역추정 모델을 구축하기 위한 위협 예제의 크기를 점진적으로 증가시키면 역추정 모델의 정확도는 향상되었으며, 이러한 과정이 반복되면 역추정 모델에 대한 정확도는 일정한 값으로 수렴하였다. 두 번째 실험에서는 개별 역추정 모델의 결과를 통합하기 위하여 투표, 가중투표 및 뎀스터-쉐이퍼 알고리즘을 이용하였으며, 역추정 모델의 통합 결과는 뎀스터-쉐이퍼 알고리즘에 의한 역추정 정확도가 가장 좋은 성능을 보였다.

고속도로 네트워크에서 동적기종점수요 추정기법 비교연구 (Comparison of Dynamic Origin Destination Demand Estimation Models in Highway Network)

  • 이승재;조범철;김종형
    • 대한교통학회지
    • /
    • 제18권5호
    • /
    • pp.83-97
    • /
    • 2000
  • 직접적인 신호제어 및 정보제공을 이용한 교통혼잡의 완화는 링크수준(Link-level)의 자료와 통행수준(Trip-level)의 자료를 동시에 이용하는 것이 효율적이나, 통행수준의 자료인 교통수요의 기점과 종점, 그리고 출발시간 등이 검지체계를 통해서 직접적으로 얻을 수 없어 이를 간접적으로 추정하는 것이 필요하다. 따라서, 본 연구의 목적은 기존의 기종점 추정 모형과는 달리, 교통류 시뮬레이션 모형이나 기종점 수요에 대한 시계열자료 등의 사전정보 없이도 링크교통량만을 가지고도 해당 네트워크에 가능한 모든 O-D조합에 대한 분할비를 동시에 시간 효율적으로 추정 가능한 모형을 개발, 비교하는 것이다 이 모형에는 비통행배정기반 모형에 적합한 칼만필터를 베이지안 갱신법에 기초하여 개발하고 최소자승법과 이를 토대로한 정규화 최소자승법도 함께 제시하였다. 본 연구에서 개발한 3가지의 모형을 가상의 고속도로 네트워크에 적용한 결과, 갑작스러운 수요 변화를 가지는 교통수요 패턴과 첨두를 3개 가지는 하루 24시간 교통수요 패턴에도 적응성 있는 결과를 보였다. 따라서, 본 모형은 연속류에서 수요관리 및 제어, 여행시간 예측과 동적통행배정, 차종분류 등의 기초적인 자료획득을 위해 사용될 수 있을 것으로 판단된다.

  • PDF

Weight of Evidence를 활용한 성폭력 범죄 위험의 확률적 예측 (Probabilistic Prediction of the Risk of Sexual Crimes Using Weight of Evidence)

  • 김보은;김영훈
    • 한국지리정보학회지
    • /
    • 제22권4호
    • /
    • pp.72-85
    • /
    • 2019
  • 본 연구는 일상생활 가운데 누구나 겪을 수 있는 성폭력 범죄 위험의 예측을 목적으로 한다. 2011-2015년 5년 간 청주시 일부 지역에서 발생한 성폭력 범죄를 대상으로 베이지안 통계 기반의 Weight of Evidence를 적용·분석하였다. Weight of Evidence를 활용하여 분석한 결과 첫째, 투입된 관련요인(Evidence) 총 26개 중 주거용도면적, 건축물 사용승인일, 개별주택가격, 용적률, 지하층 수, 대지면적, 보안등, 오락시설 8개만이 신뢰도를 만족하여 각각의 가중치(Weight)가 산출되었다. 둘째, 가중치가 산출된 8개의 관련요인을 결합하여 최종적으로 예측 지도를 도출하였다. 성폭력 범죄가 발생할 위험이 75.5%인 지역은 대상지역 전체면적의 20.7%(2.0㎢)를 차지하였으며 16.5% 지역은 3.3%(0.3㎢), 34.5% 지역은 19.0%(1.8㎢)로 나타났다. 본 연구는 성폭력 범죄 위험의 발생 확률과 이를 감소시킬 수 있는 환경적 요인 또는 조건을 도출하였다. 이와 같은 결과는 경찰의 범죄예방 활동 등 성폭력 범죄 피해 최소화를 위한 선제적 대응방안 마련의 기초자료로서 활용될 수 있을 것이다.

멀티모달 개념계층모델을 이용한 만화비디오 컨텐츠 학습을 통한 등장인물 기반 비디오 자막 생성 (Character-based Subtitle Generation by Learning of Multimodal Concept Hierarchy from Cartoon Videos)

  • 김경민;하정우;이범진;장병탁
    • 정보과학회 논문지
    • /
    • 제42권4호
    • /
    • pp.451-458
    • /
    • 2015
  • 기존 멀티모달 학습 기법의 대부분은 데이터에 포함된 컨텐츠 모델링을 통한 지식획득보다는 이미지나 비디오 검색 및 태깅 등 구체적 문제 해결에 집중되어 있었다. 본 논문에서는 멀티모달 개념계층모델을 이용하여 만화 비디오로부터 컨텐츠를 학습하는 기법을 제안하고 학습된 모델로부터 등장인물의 특성을 고려한 자막을 생성하는 방법을 제시한다. 멀티모달 개념계층 모델은 개념변수층과 단어와 이미지 패치의 고차 패턴을 표현하는 멀티모달 하이퍼네트워크층으로 구성되며 이러한 모델구조를 통해 각각의 개념변수는 단어와 이미지패치 변수들의 확률분포로 표현된다. 제안하는 모델은 비디오의 자막과 화면 이미지로부터 등장 인물의 특성을 개념으로서 학습하며 이는 순차적 베이지안 학습으로 설명된다. 그리고 학습된 개념을 기반으로 텍스트 질의가 주어질 때 등장인물의 특성을 고려한 비디오 자막을 생성한다. 실험을 위해 총 268분 상영시간의 유아용 비디오 '뽀로로'로부터 등장인물들의 개념이 학습되고 학습된 모델로부터 각각의 등장인물의 특성을 고려한 자막 문장을 생성했으며 이를 기존의 멀티모달 학습모델과 비교했다. 실험결과는 멀티모달 개념계층모델은 다른 모델들에 비해 더 정확한 자막 문장이 생성됨을 보여준다. 또한 동일한 질의어에 대해서도 등장인물의 특성을 반영하는 다양한 문장이 생성됨을 확인하였다.

클래스 영역의 다차원 구 생성에 의한 프로토타입 기반 분류 (Prototype based Classification by Generating Multidimensional Spheres per Class Area)

  • 심세용;황두성
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권2호
    • /
    • pp.21-28
    • /
    • 2015
  • 본 논문에서는 최근접 이웃 규칙을 이용한 프로토타입 선택 기반 분류 학습을 제안하였다. 각 훈련 데이터가 대표하는 클래스 영역을 구(sphere)로 분할하는데 최근접 이웃 규칙을 적용시키며, 구의 내부는 동일 클래스 데이터들만 포함하도록 한다. 프로토타입은 구의 중심점이며 프로토타입의 반지름은 가장 인접한 다른 클래스 데이터와 가장 먼 동일 클래스 데이터의 중간 거리 값으로 결정한다. 그리고 전체 훈련 데이터를 대표하는 최소의 프로토타입 집합을 선택하기 위해 집합 덮개 최적화를 이용하여 프로토타입 선택 문제를 변형시켰다. 제안하는 프로토타입 선택 방법은 클래스 별 적용이 가능한 그리디 알고리즘으로 설계되었다. 제안하는 방법은 계산 복잡도가 높지 않으며, 대규모 훈련 데이터에 대한 병렬처리의 가능성이 높다. 프로토타입 기반 분류 학습은 선택된 프로토타입 집합을 새로운 훈련 데이터 집합으로 사용하고 최근접 이웃 규칙을 적용하여 테스트 데이터의 클래스를 예측한다. 실험에서 제안하는 프로토타입 기반 분류기는 최근접 이웃 학습, 베이지안 분류 학습과 다른 프로토타입 분류기에 비해 일반화 성능이 우수하였다.