• 정보과학회 논문지
• /
• 제44권3호
• /
• pp.239-245
• /
• 2017

확률문법은 자연어처리에서 사용되며, 확률문법에 대한 구문분석의 결과인 파스는 문법의 확률을 그대로 보존해야 한다. 대표적인 구문분석방법인 LL 파싱과 LR 파싱의 확률파싱 가능성을 살펴볼 때 LL 파싱은 문법의 확률정보를 그대로 유지하는 반면에 LR 파싱은 그렇지 않다. 확률문법과 확률파싱오토마톤과의 관계에 관한 기존 연구로 확률보존조건을 충족하는 오토마톤의 특성에 관한 연구는 진행된 바 있다. 그렇지만, 현재로서는 확률보존조건을 충족하는 오토마톤 생성모델에 관해서는 알려진 바가 없다. 본 논문에서는 단일상태파싱오토마타에 기반한 확률파싱오토마타 모델을 제안한다. 제안 모델로부터 생성되는 오토마톤은 확률보존조건을 보장하기에 별도의 확률파싱 가능 여부를 테스팅하는 단계가 불필요하고, 별도의 확률 함수를 정의하지 않아도 된다. 또한 매개인자를 적절하게 선택하여 효율적인 오토마톤의 생성이 가능하다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권8호
• /
• pp.510-515
• /
• 2017

웹 어플리케이션은 로딩 시간을 빠르게 하는 것이 중요하다. 파싱은 로딩 과정 중 하나로서 로딩을 길어지게 하는 원인이 되고 있다. 이러한 이유로 파싱 쓰레드를 만들어 파싱을 병렬화 시킨 동시 파싱 기법이 제안되었다[3]. 그러나 동시 파싱은 파싱 순서에 대한 고려가 없다는 한계가 있었다. 본 논문에서는 동시 파싱을 사용할 때 어떤 함수를 먼저 파싱해야 하는가에 대한 휴리스틱을 제안한다. 파싱 우선 순위를 정하기 위해 실제 웹 어플리케이션의 자바스크립트 함수들을 분석하여 함수를 세 가지 기준으로 분류하였고, 각 분류의 호출 확률(call probability)을 구하였다. 조사한 호출 확률을 이용하여 높은 호출 확률을 갖는 함수들에 높은 파싱 우선 순위를 주었고, 반대로 낮은 호출 확률의 함수들은 낮은 우선 순위를 주었다. 정의한 우선 순위를 토대로 휴리스틱을 제안했고 이를 검증하기 위해 실제 웹 어플리케이션에서 로딩 시간을 측정하여 최대 3.8%, 평균 2.6%의 로딩 시간을 단축하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (B)
• /
• pp.419-421
• /
• 2003

본 논문에서는 진화 연산 기법을 이용한 자연어 구운 분석 기법을 제시한다 기존의 확률 문맥 무관문법(PCFG)에 관한 연구는 차트 파싱 방법을 구문 분석을 위한 기법으로 가정하고 있다. 하지만, 차트 파싱은 문장의 길이가 늘어날수록 복잡도가 크게 증가하는 문제를 안고 있다. 따라서, 차트 파서의 대안으로서 진화 연산 기법을 사용하여 이 문제를 해결하였다. 진화 연산의 적합도 함수로는 생성된 파스트리의 확률을 사용하였다. 작은 규모의 자연어 문제에 적용한 결과, 진화 연산이 파싱 문제를 성공적으로 해결할 수 있음을 확인할 수 있었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권1_2호
• /
• pp.81-92
• /
• 2003

일반화 LR(Generalized LR, 이하 GLR) 파싱은 선형 스택을 사용하는 전통적인 LR 파싱 방식의 한계를 극복하도록 만들어진 LR 파싱 기법의 하나로서, LR 기법에 여러 가지 매커니즘을 통합하여 자연어 파싱에 응용하는 작업의 토대가 되어 왔다. 본 논문에서는 기존의 확률적 LR 파싱 기법이 가지고 있는 문제를 개선한 조건부 연산 모델(Conditional Action Model)을 제안한다. 기존의 확률적 LR 파싱 기법은 그래프 구조 스택의 복잡성으로 인해 상대적으로 제한된 문맥 정보만을 사용하여 왔다. 제안된 모델은 부분 생성 파스의 표현을 위하여 표층 구문 타입(Surface Phrasal Type)을 사용하여 그래프 구조 스택에 들어 있는 구문 구조를 기술함으로써 좀 더 세분된 구조적 선호도를 파서에 반영시킬 수 있다. 실험 결과, 어휘를 고려하지 않고 학습한 조건부 연산 모델로 구현된 본 GLR 파서는 기존의 방식보다 약 6-7%의 정확도 향상을 보였으며, 본 모델을 통해 풍부한 스택 정보를 확률적 LR 파서의 구조적 중의성 해결에 효과적으로 사용할 수 있음을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2005년도 제17회 한글 및 한국어 정보처리 학술대회
• /
• pp.105-111
• /
• 2005

정형적인 프로그래밍 언어에서는 언어를 기계적으로 해석하기 위해 입력의 구조적인 형태를 구축하는 파싱이 필수적인 과정으로 여겨진다. 기계에 기반 해서 개발된 프로그래밍 언어와 달리, 인간의 자유로운 의사소통을 위해 형성된 자연어는 특유의 다양성으로 인해 어휘, 구문, 의미 분석이 매우 어렵다. 반대로 자연어 구조 분석이 성공적으로 이루어지면 응용 시스템의 성능 향상에 상당한 기여를 할 것이라고 여겨지고, 이로 인해 끊임없이 자연어 처리, 특히 구문 분석에 많은 연구가 이루어지고 있다. 본 논문에서는 파싱에 사용되는 문법 전체를 말뭉치로부터 자동 구축하여 영역별 이식성 및 문법의 효율성을 도모했다. 또한 확률적 차트 파싱 기법과 immediate-head 파싱 모델을 적용하여 기존 파싱 시스템의 성능 향상을 시도했다. 세종 말뭉치를 이용한 파서의 성능은 각각 LP/LR 78.98%/79.55%로 나타났다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2011년도 제23회 한글 및 한국어 정보처리 학술대회
• /
• pp.61-66
• /
• 2011

본 논문은 한국어 복합명사 구조의 분석을 목적으로 한다. 연구는 이론 언어학뿐만이 아니라 정보처리, 정보검색과 같은 언어의 전산적 처리에서도 중요한다. 복합명사 구조는 크게 외심구조와 내심구조로 나뉘며 내심구조의 경우에 좌분지나 우분지 구조로 분석이 되어야 하는 중의성이 있다. 기존의 Lauer 모델은 사전적 정보에서 발견되는 확률 정보를 구조 정보에 연결하기 위한 모델로 의존모델과 인접모델을 제시하였다. 본 연구에서는 구조에 기반을 둔 확률정보를 결합하기 위한 확률적 CFG 파싱 방법을 활용하고자 하였다. 이를 위해서 실제 코퍼스상에서 발견되는 복합명사 패턴을 대상으로 구조적 분석을 화자 직관을 통해서 진행하고, 이를 다시 Lauer 모델과 확률적 CFG 파싱 방법 응용과 비교해 보았다. 결과적으로 화자 직관에 가장 일치한 예측을 하였으며, 구조에 대한 정보 해석이 가능하였다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제28권5호
• /
• pp.48-460
• /
• 2001

국어사전의 뜻풀이말은 표제어의 의미를 기술할 뿐만 아니라, 상위/하위개념, 부분-전체개념, 다의어, 동형이의어, 동의어, 반의어, 의미속성 등의 많은 의미정보를 내재하고 있다. 본 연구는 뜻풀이말에서 다양한 의미정보를 획득을 위한 기본적인 도구로서 국어사전의 뜻풀이말 구문분석기를 구현하는 것을 목적으로 한다. 이를 위해서 우선 국어사전의 뜻풀이말을 대상으로 일정한 수준의 품사 및 구문 부착 말 뭉치를 구축하고, 이 말뭉치들로부터 품사 태그 중의성 어절의 빈도 정보와 통계적 방법에 기반한 문법규칙과 확률정보를 자동으로 추출한다. 본 연구의 뜻풀이말 구문분석기는 이를 이용한 확률적 차트파서이다. 품사 태그 중의성 어절의 빈도 정보와 문법규칙 및 확률정보는 파싱 과정의 명사구 중의성을 해소한다. 또한, 파싱 과정에서 생성되는 노드의 수를 줄이고 수행 속도를 높이기 위한 방법으로 문법 Factoring, Best-First 탐색 그리고 Viterbi 탐색의 방법을 이용한다. 문법규칙의 확률과 왼쪽 우선 파싱 그리고 왼쪽 우선 탐색 방법을 사용하여 실험한 결과, 왼쪽 우선 탐색 방식과 문법확률을 혼용하는 방식이 가장 정확한 결과를 보였으며 비학습 문장에 대해 51.74%의 재현률과 87.47%의 정확률을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.108-111
• /
• 2020

한국어 의존 파싱은 전이 기반 방식과 그래프 기반 방식의 두 갈래로 연구되어 왔으며 현재 가장 높은 성능을 보이고 있는 그래프 기반 파서인 Biaffine 어텐션 모델은 입력 시퀀스를 다층의 LSTM을 통해 인코딩 한 후 각각 별도의 MLP를 적용하여 의존소와 지배소에 대한 표상을 얻고 이를 Biaffine 어텐션을 통해 모든 의존소에 대한 지배소의 점수를 얻는 모델이다. 위의 Biaffine 어텐션 모델은 별도의 High-Order 정보를 활용하지 않는 first-order 파싱 모델이며 학습과정에서 어떠한 트리 관련 손실을 얻지 않는다. 본 연구에서는 같은 부모를 공유하는 형제 노드에 대한 점수를 모델링하고 정답 트리에 대한 조건부 확률을 모델링 하는 Second-Order TreeCRF 모델을 한국어 의존 파싱에 적용하여 실험 결과를 보인다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
• /
• pp.502-504
• /
• 2003

사전식 압축 방식이라 불리는 LZ-압축은 빠르고도 좋은 압축률을 가지고 있기 때문에 널리 이용되고 있다. 그래서 LZ-압축 방식을 이미지 압축에 적용하는 시도가 이루어지고 있으나 아직 명확하게 정의가 이루어지지 않거나, 정확한 실험 결과가 제시되지 않은 경우가 많다. 이 논문에서는 기존의 정사각형을 이용한 압축 과정 중 다소 모호했던 파싱 과정을 명확히 하며, 매칭에 사용된 정사각형들이 겹쳐지는 비율에 관한 확률적 분석 및 실험 결과를 제시한다. 또한 Test Image Set에 관한 정확한 압축률을 제시한다. 특히 이 논문은 정사각형들이 겹쳐지는 비율에 관한 최초의 확률적 분석을 제시하고 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2001년도 추계학술발표논문집 (상)
• /
• pp.507-510
• /
• 2001

본 논문에서는 코퍼스를 이용한 확률 의존문법 자동 생성 기술을 다룬다. 특히 의존 문법 생성을 위해 확률 재추정 알고리즘을 의존문법생성에 맞도록 변형하여 학습하였으며 정확한 문법 생성 및 회귀데이터(Data Sparseness)문제 해결을 위해서 구성요소의 대표 지배소들 간의 의존관계 만을 학습했던 기존 연구와는 달리 구성요소 내부의 의존관계까지 학습하는 방법을 제안한다. KAIST 의 트리 부착 코퍼스 31,086 문장에서 추출한 25,000 문장의 Tagged Corpus 을 가지고 한국어 확률 의존 문법 학습을 시도 하였다. 그 결과 초기문법을 10.97% 에서 23.73% 까지 줄인 2,349 개의 정확한 문법을 얻을 수 있었다. 문법의 정확성을 실험 하기 위해 350 개의 실험문장을 Parsing 한 결과 69.61%의 파싱 정확도를 보였다. 이로서 구성요소 내부의 의존관계 학습으로 얻어진 의존문법이 더 정확했으며, 회귀데이터 문제 또한 극복할 수 있음을 알 수 있었다.