• 응용통계연구
• /
• 제34권1호
• /
• pp.9-23
• /
• 2021

본 논문에서는 평균장 방법(mean-field methods)을 기반으로 사후 분포(posterior distribution)를 근사하는 방법인 변분 베이즈 방법(variational Bayes methods)에 대해 소개한다. 특히, 모수들을 실수공간으로 변환 후의 결합 사후분포를 가우시안 분포(Gaussian distribution)들의 곱(product)으로 근사하는 방법인 자동 미분 변분 추론(automatic differentiation variational inference)방법에 대해 자세히 소개하고, 환자에게 약물을 투여한 후 시간에 따라 약물의 흐름을 파악하는 연구인 약물동태학 모형(pharmacokinetic models)에 적용한다. 소개된 변분 베이즈 방법을 이용하여 자료분석을 실시하고 마코프 체인 몬테 카를로(Markov chain Monte Carlo)방법을 기초로한 자료분석의 결과와 비교한다. 알고리즘의 구현은 Stan을 이용한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.93-96
• /
• 2019

최근 딥러닝 모델을 다양한 도메인에 적용하여 뛰어난 성능을 보여주고 있다. 하지만 딥러닝 모델은 정답으로 제시된 결과가 정상적으로 예측된 결과인지, 단순히 오버피팅에 의해 예측된 결과인지를 구분하기 어렵다. 이러한 불확실성(Uncertainty)을 측정 할 수 없다는 문제점을 해결하기 위해서 본 논문에서는 베이지안 딥러닝 방법 중 하나인 변분추론(Variational Inference)과 몬테카를로 Dropout을 오픈도메인(Open-Domain) 태스크에 적용하고, 예측 결과에 대한 불확실성을 측정하여 예측결과에 영향을 주는 모델의 성능을 측정해 효과성을 보인다.

• 정보과학회지
• /
• 제32권7호
• /
• pp.15-20
• /
• 2014

• 응용통계연구
• /
• 제35권3호
• /
• pp.445-455
• /
• 2022

본 논문에서는 고차원 희소 회귀분석을 위한 기존의 베이지안 방법들을 소개하고, 다양한 모의실험 세팅에서 성능을 비교한다. 특히, 확장 가능하고 정확한 베이지안 추론을 가능하게 하는 변분 베이즈 방법(variational Bayes method) (Ray와 Szabó, 2021) 에 중점을 둔다. 시뮬레이션 자료를 기반으로 한 희소 고차원 선형회귀분석을 실시하고 변분 베이즈 방법의 성능을 다른 베이지안 및 빈도론 방법들과 비교한다. 로지스틱 회귀분석에서 변분 베이즈 방법의 실제 성능을 확인하기 위해 백혈병 유전자 발현 자료를 사용하여 실자료 분석을 수행한다.

• 한국정보통신학회논문지
• /
• 제23권9호
• /
• pp.1060-1069
• /
• 2019

보행자 기반의 카메라 자가 보정 방법들은 복잡한 보정 장치나 절차가 필요하지 않기 때문에 비디오 감시 시스템에 적합하다. 하지만 임의 보행자를 보정 대상으로 사용하는 경우 보행자들의 키를 모르기 때문에 보정 정확도가 저하될 수 있다. 본 논문은 실제 감시 환경에서 이 문제를 해결하기 위한 베이지안 보정 방법을 제안한다. 제안하는 방법에서는 감시 지역 사람들의 키에 대한 통계가 있다고 가정하고, 발-머리 호몰로지(foot-head homology)를 사용하여, 발과 머리의 좌표와 보행자 키의 불확실성을 모두 고려하는 확률 모델을 구성한다. 이 확률 모델을 직접 푸는 것은 난해하므로, 본 연구에서는 근사적 방법인 변분 베이지안 추론(variational Bayesian inference)을 사용한다. 따라서, 이를 통해 관측된 보행자들의 키를 추정함과 동시에 정확한 카메라 파라미터를 구할 수 있다. 다양한 실험을 통해 제안된 방법이 노이즈에 강하며, 보정에 대한 정확한 신뢰도를 제공함을 보였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
• /
• pp.619-621
• /
• 2005

은닉 마코프 모델은 이산 동역학을 표현할 수 있는 확률 모형이다. 우도 함수 최적화를 수행하는 전통적인 Baum-Welch 학습 알고리즘은 국소해로 수령하기 쉬우며, 우도함수의 특성상 복잡한 모델을 선호하는 바이어스가 존재한다. 베이지안 프레임워크에서는 파라미터를 랜덤 변수로 보고 이에 대한 사후 확률 분포를 추정하여 이 문제를 해결할 수 있다. 본 논문에서는 베이지안 추정을 위한 결정론적 근사화 기법인 변분 베이지안 방법을 이용, 출력 노드에 가우시안 혼합 노드를 지니는 일반화된 HMM의 추론 방법을 유도한다. 인공 데이터에 대한 실험을 통해, 본 방법이 효과적인 HMM 학습을 수행할 수 있음을 보인다.

• 응용통계연구
• /
• 제28권2호
• /
• pp.251-267
• /
• 2015

인도부페 프로세스는 유한개의 행과 무한개의 열로 이루어진 이진행렬의 분포와 관련된 확률과정이다. 무한특성모형을 유한개의 행과 무한개의 열로 이루어진 이진행렬을 이용해서 표현할 때, 이진행렬에 대한 사전분포로써 인도부페 프로세스가 이용될 수 있다. 본 논문에서는 인도부페 프로세스를 유한특성모형과 연관지어서 유도하는 방법을 소개하고, 베타프로세스와의 관련성을 간략히 설명한다. 실제 모형의 추론에 인도부페 프로세스가 이용되는 예제를 살펴보기 위해서 가우시안 선형모형에 인도부페 프로세스를 적용한 모형화 방법을 언급하고, 깁스표집 알고리즘, 막대 자르기 알고리즘, 변분방법을 이용한 추론방법을 설명한다. 그리고 이 세 가지 알고리즘을 이용하여 이미지 자료를 분석하는데 적용해본다. 나아가 쌍자료 분석, 네트워크 분석, 독립성분 분석에서 인도부페 프로세스가 어떻게 이용될 수 있는지도 알아본다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권12호
• /
• pp.519-524
• /
• 2023

해싱 기반 이미지 검색에서는 조작된 이미지의 해시코드가 원본 이미지와 달라 동일한 이미지 검색이 어렵다. 본 논문은 이미지의 질감, 모양, 색상 등 특징 정보로부터 지각적 해시코드를 생성하는 자기 감독 기반 딥해싱 모델을 제안하고 평가한다. 비교 모델은 오토인코더 기반 변분 추론 모델들이며, 인코더는 완전 연결 계층, 합성곱 신경망과 트랜스포머 모듈 등으로 설계된다. 제안된 모델은 기하학적 패턴을 추출하고 이미지 내 위치 관계를 활용하는 SimAM 모듈을 포함하는 변형 추론 모델이다. SimAM은 뉴런과 주변 뉴런의 활성화 값을 이용한 에너지 함수를 통해 객체 또는 로컬 영역이 강조된 잠재 벡터를 학습할 수 있다. 제안 방법은 표현 학습 모델로 고차원 입력 이미지의 저차원 잠재 벡터를 생성할 수 있으며, 잠재 벡터는 구분 가능한 해시코드로 이진화 된다. CIFAR-10, ImageNet, NUS-WIDE 등 공개 데이터셋의 실험 결과로부터 제안 모델은 비교 모델보다 우수하며, 지도학습 기반 딥해싱 모델과 동등한 성능이 분석되었다.

• 정보과학회 논문지
• /
• 제43권7호
• /
• pp.795-800
• /
• 2016

이미지 분류 문제는 인간 수준의 성능을 보이지만 일반적인 인식 문제는 어려운 점들이 남아있다. 실내 환경은 다양한 정보를 담고 있어 정보 처리의 양을 효율적으로 줄일 필요성이 있다. 정보의 양을 효율적으로 줄일 수 있도록 대상 객체의 위치 측정을 위한 변분 추론, 변분 베이지안 등의 방법이 소개되었지만, 모든 경우에 대한 주변(marginal) 확률 분포를 구하기 어렵기 때문에 현실적으로 계산하기 어렵다. 본 연구에서는 공간 변형 네트워크(Spatial Transformer Networks)을 응용하여 능동 시각을 이용한 이미지-텍스트 통합 인지 체계를 제안한다. 이 체계는 주어진 텍스트 정보를 바탕으로 이미지의 일부를 효율적으로 샘플링 하도록 학습한다. 이를 통해 전통적인 방법으로 해결하기 어려운 문제를 상당한 격차로 성능을 향상 시킬 수 있다는 것을 보인다. 제안하는 모델을 통해 샘플링 된 이미지를 정성적으로 분석하여 이 모델이 가지는 특성도 함께 살펴본다.