• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (2)
• /
• pp.57-59
• /
• 1999

본 논문에서는 최대 엔트로피 원리에 기반한 문서 분류기의 학습을 제안한다. 최대 엔트로피 기법은 자연언어 처리에서 언어 모델링(Language Modeling), 품사 태깅 (Part-of-Speech Tagging) 등에 널리 사용되는 방법중의 하나이다. 최대 엔트로피 모델의 효율성을 위해서는 자질 선정이 중요한데, 본 논문에서는 자질 집합의 선택을 위한 기준으로 chi-square test, log-likelihood ratio, information gain, mutual information 등의 방법을 이용하여 실험하고, 전체 후보 자질에 대한 실험 결과와 비교해 보았다. 데이터 집합으로는 Reuters-21578을 사용하였으며, 각 클래스에 대한 이진 분류 실험을 수행하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제32권5호
• /
• pp.385-395
• /
• 2005

긴 문장 분석은 높은 분석 복잡도로 인해 기계 번역에서 매우 어려운 문제이다. 구문 분석의 복잡도를 줄이기 위하여 문장 분할 방법이 제안되었으며 본 논문에서는 문장 분할의 적용률과 정확도를 높이기 위한 최대 엔트로피 확률 모델 기반의 문장 분할 방법을 제시한다. 분할 위치의 어휘 문맥적 특징을 추출하여 후보 분할 위치를 선정하는 규칙을 학습을 통해 자동적으로 획득하고 각 후보 분할 위치에 분할 확률 값을 제공하는 확률 모델을 생성한다. 어휘 문맥은 문장 분할 위치가 표시된 말뭉치로부터 추출되며 최대 엔트로피 원리에 기반하여 확률 모델에 결합된다. Wall Street Journal의 문장을 추출하여 학습 데이타를 생성하는 말뭉치를 구축하고 네 개의 서로 다른 영역으로부터 문장을 추출하여 문장 분할 실험을 하였다. 실험을 통해 약 $88\%$의 문장 분할의 정확도와 약 $98\%$의 적용률을 보였다. 또한 문장 분할이 효율적인 파싱에 기여하는 정도를 측정하여 분석 시간 면에서 약 4.8배, 공간 면에서 약 3.6배의 분석 효율이 향상되었음을 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제3권2호
• /
• pp.131-138
• /
• 1998

통상 통계적인 데이터 해석에서 취급되는 데이터는 확정된 값으로서 통계 처리를실시한다. 그러나 복잡˙대규모화하는 현대의 시스템에 있어서는 정확하게 측정된 데이터만을 취급하는 것은 곤란하며 인간의 주관적인 판단에 따른 데이터를 수집하는 경우가 발생하게 된다. 본 연구에서는 이러한 인간의 주관적인 판단에 따른 데이터를 퍼지 관측 데이터로하여(언어 변수에 의해 Membership 함수를 정의한다.) 최대 엔트로피 원리를 이용한 새로운 분석 방법을 제안한다. 또한 보다 현실적인 상황 아래 시뮬레이션을 실시함으로서 제안모델의 유효성을 검증한다.

• 한국인지과학회:학술대회논문집
• /
• 한국인지과학회 2000년도 한글 및 한국어 정보처리
• /
• pp.127-132
• /
• 2000

본 논문에서는 격조사의 구문적인 특성을 이용하여, 수식어까지 포함한 명사구 추출 방법을 연구한다. 명사구 판정을 위해 연속적인 형태소열을 문맥정보로 사용하던 기존의 방법과 달리, 명사구의 처음과 끝 그리고 명사구 주변의 형태소를 이용하여 명사구의 수식 부분과 중심 명사를 문맥정보로 사용한다. 다양한 형태의 문맥 정보들은 최대 엔트로피 원리(Maximum Entropy Principle)에 의해 하나의 확률 분포로 결합된다. 본 논문에서 제안하는 명사구 추출 방법은 먼저 구문 트리 태깅된 코퍼스에서 품사열로 표현되는 명사구 문법 규칙을 얻어낸다. 이렇게 얻어낸 명사구 규칙을 이용하여 격조사와 인접한 명사구 후보들을 추출한다. 추출된 각 명사구 후보는 학습 코퍼스에서 얻어낸 확률 분포에 기반하여 명사구로 해석될 확률값을 부여받는다. 이 중 제일 확률값이 높은 것을 선택하는 형태로 각 격조사와 관계있는 명사구를 추출한다. 본 연구에서 제시하는 모델로 시험을 한 결과 평균 4.5개의 구를 포함하는 명사구를 추출할 수 있었다.

• 전산구조공학
• /
• 제6권4호
• /
• pp.10-13
• /
• 1993

본 고에서는 불확정적 Approach에 의한 구조물 거동파악의 일례를 소개한다. 이 예에서는 극치통계와 엔트로피 최대원리를 이용하여, 부동침하를 받은 쉘구조물의 응력을 추정하는 이론을 취급한다. 부동침하는 불확정적 특성을 비교적 많이 지니고 있으며, 특히 구조물을 지지하고 있는 지반의 경우는 그 물리적 정수와 침하특성이 확정론적으로는 취급이 곤란한 경우가 많다고 생각된다. 구체적으로 극치통계법에서는 부동침하를 기초 Ring의 원주방향으로의 Fourier 계수로 가정하여, 위상각과 침하의 2승평균치가 확정치로 주어졌을 때, 진폭 Spectrum을 불확정변수로 간주하여 추정하는 방법을 소개한다. 일단 진폭 Spectrum이 구해지면 응력은 간단히 구해지므로 여기서는 Spectrum에 관해서만 언급하기로 한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2000년도 제12회 한글 및 한국어 정보처리 학술대회
• /
• pp.127-132
• /
• 2000

본 논문에서는 격조사의 구문적인 특성을 이용하여, 수식어까지 포함한 명사구 추출 방법을 연구한다. 명사구 판정을 위해 연속적인 형태소열을 문맥정보로 사용하던 기존의 방법과 달리, 명사구의 처음과 끝 그리고 명사구 주변의 형태소를 이용하여 명사구의 수식 부분과 중심 명사를 문맥정보로 사용한다. 다양한 형태의 문맥정보들은 최대 엔트로피 원리(Maximum Entropy Principle)에 의해 하나의 확률 분포로 결합된다. 본 논문에서 제안하는 명사구 추출 방법은 먼저 구문 트리 태깅된 코퍼스에서 품사열로 표현되는 명사구 문법 규칙을 얻어낸다. 이렇게 얻어낸 명사구 규칙을 이용하여 격조사와 인접한 명사구 후보들을 추출한다. 추출된 각 명사구 후보는 학습 코퍼스에서 얻어낸 확률 분포에 기반하여 명사구로 해서될 확률값을 부여받는다. 이 중 제일 확률값이 높은 것을 선택하는 형태로 각 격조사와 관계있는 명사구를 추출한다. 본 연구에서 제시하는 모델로 실험을 한 결과 평균 4.5개의 구를 포함하는 명사구를 추출할 수 있었다.

• 응용통계연구
• /
• 제32권5호
• /
• pp.763-782
• /
• 2019

텍스트 문서 집합에 대한 정보검색에서는 주어진 질의에 부합하는 각 문서의 적합도 확률을 계산하고 이 확률이 높은 것부터 낮은 순으로 문서 순위를 정하여 사용자에게 제공한다, 각 문서의 적합도 확률 계산에 많이 사용되는 모형은 단어들이 확률적으로 독립이라는 가정 하에 확률을 추정한다. 이 모형은 단어들의 결합 확률을 계산하는 것이 현실적으로 어렵다는 점에서 많이 이용되고 있지만 질의에 사용되는 단어들이 대개 서로 관련성을 가지고 있다는 사실을 고려하고 있지 않다. 본 논문에서는 단어 자질들의 의존 구조를 고려하여 문서의 적합도 확률을 계산하기 위하여 단어들의 결합 패턴의 확률을 다항분포 모형으로 가정하고, 최대 엔트로피 방법으로 확률을 추정하여 문서 순위를 매기는 정보검색 모형을 제안한다. 여러 가지 다항분포 상황에서 시뮬레이션 실험을 한 결과 변수들의 독립을 가정한 모형보다 더 우수한 추정 결과를 보여 준다. 실제 LETOR OHSUMED 데이터 이용한 문서 순위 매기기 실험의 결과도 더 나은 검색 결과를 보여 준다.

• 한국정보과학회논문지:데이타베이스
• /
• 제28권3호
• /
• pp.324-333
• /
• 2001

본 논문에서는 가우시안 혼합모형을 이용한 새로운 칼라 영상의 분할 알고리즘을 제안한다. 기존의 EM 알고리즘의 문제점인 국부적 최대값의 문제를 해결하기 위하여 최대 엔트로피의 원리를 이용하는 결정적 어닐링 EM 알고리즘을 소개하였고, 여러 색상들로 구성된 영상에 대하여 가우시안 혼합모형을 가정하였으며, 결정적 어닐링 EM 알고리즘을 사용하여 이들의 모수를 추정하는 방법을 알아보았다. 또한 혼합모형에 성분의 수를 자동으로 결정할 수 있는 방법을 제시하였으며 선택된 최적의 혼합모형을 사용하여 각 화소에 대한 사후확률을 계산하고 이들의 최대값을 이용하여 영상분할을 실시하였다. 결정적 어닐링 EM 알고리즘이 기존의 EM 알고리즘보다 혼합모형의 모수를 더 정확하게 추정한다는 것과 혼합모형의 성분의 수를 결정하는 제안된 방법의 성능을 실험결과를 통하여 고찰하였고, 또한 두 가지 실제 영상을 통하여 제안된 알고리즘이 기존의 알고리즘 보다 영상을 더 효율적으로 분할 할 수 있음을 보였다.

• Nuclear Engineering and Technology
• /
• 제21권3호
• /
• pp.193-204
• /
• 1989

본 논문에서는 정보 이론의 maximum entropy Principle을 이용하여 중성자속 분포를 재생하는 새로운 방법을 시도하였다. 어떤 대상에 대한 부분적인 정보가 있을 때, 이 정보의 한도 내에서 entropy를 최대화시키는 확률 분포는 가장 객관적인 것이 된다. Nodal method계산결과인 평균 중성자속과 current의 값을 prior information으로 삼고, 핵 연료 집합체의 경계에서의 중성자속 분포를 확률의 형태로 변환해서 확률로써 다룬다. Prior information의 한도 내에서 entropy를 최대화시키는 경계에서의 확률 분포를 구하면 핵연료 집합체의 경계에서의 중성자속 분포가 구해지는데, 이것을 경계조건으로 heterogeneous assembly calculation을 행하여 세부적인 중성자속 분포를 구한다. 이 새로운 방법을 몇 개의 benchmark problem assembly에 응용해 본 결과, 노심의 안쪽 부분에서는 이 방법이 form function method에 의한 것과 비슷한 정확도를 보였고 바깥 부분에서는 다소 큰 오차를 보였다. 본 논문에서는 surface-averaged neutron current를 prior in-formation에 포함시키지 못했는데, 이것을 포함시키면 결과가 훨씬 개선 될 것으로 보인다.