• 제목/요약/키워드: 자질 생성

검색결과 102건 처리시간 0.03초

X-바 이론을 변형한 자질기반의 한국어 구구조 문법 (Feature-based Korean Phrase Structure Grammar adjusting X-bar Theory)

  • 박소영;황영숙;정후중;곽용재;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1998년도 제10회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.222-229
    • /
    • 1998
  • 본 논문에서는 X-바 이론을 한국어에 적용하여 서로 다른 범주들간의 구조적 일반성을 파악하고, 한국어에 가능한 규칙만을 허용하여 불가능한 규칙을 배제시킬 수 있는 틀을 제시하고자 한다. 한국어가 비중심어간 어순이 자유롭고 기능어가 발달했다는 점을 고려하여, 중심어와 보충어 관계 중심의 기존 X-바 이론을 통사적 파생과 의미적 파생, 수식 및 하위범주의 관계를 중심으로 변형한다. 또한, 한국어의 빈번한 생략현상과 부분 자유 어순에 효과적으로 대응할 수 있도록 이진결합 중심의 CNF(Chomsky Normal Form)를 따른다. 제안하는 자질기반의 한국어 구구조 문법은 직관적이고 간단하면서도 대부분의 문장을 처리할 수 있을 만큼 표현력이 뛰어나다는 장점이 있다. 신문기사에서 454문장을 추출하여 실험한 결과, 약 97%의 문장에 대해 올바른 구문 분석 결과를 생성할 수 있음을 보였다.

  • PDF

자질 기반 구 구조 문법을 위한 문법 개발 환경 (A Grammar Development Environment for Feature-based APSG)

  • 심광섭;양재형
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권10호
    • /
    • pp.1418-1429
    • /
    • 2004
  • 본 논문에서는 자질 기반 구 구조 문법 형식의 자연어 문법 개발에 필요한 환경을 제공하는 GrammE를 소개한다. 문법 개발 단계에서는 텍스트 형식의 문법을 인터프리트하여 구문 분석을 하기 때문에 문법 수정 후 바로 문법을 테스트할 수 있어 문법 개발이 용이해 진다. 일단 문법 개발이 끝나면 GrammE에 포함된 문법 컴파일러를 이용하여 C++로 쓰여진 구문 분석기 프로그램을 생성할 수 있다. 이렇게 해서 만들어진 구문 분석기는 구문 분석을 필요로 하는 여러 가지 자연어 처리 시스템에 활용할 수 있다. GrammE는 언어 독립적인 시스템이며, 현재까지 한국어 문법과 중국어 문법을 개발하는 데 사용되었다.

한국어와 영어 스팸메일의 필터링 성능 분석 (Analysis of filtering performance of Korean and English spam-mails)

  • 황운호;강신재;김태희;김희재;김종완
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 2006년도 춘계 국제학술대회 논문집
    • /
    • pp.389-396
    • /
    • 2006
  • 본 연구에서는 한국어와 영어 메일을 대상으로 2단계 스팸 메일 필터링 시스템을 구축하여 성능평가를 수행한다. 2단계 스팸 메일 필터링 시스템은 블랙리스트를 활용하는 1단계와 기계학습을 통한 지능적인 분류를 하는 2단계로 구성된다. 만약 새로 도착한 메일이 블랙리스트의 내용을 포함한다면 이 메일은 스팸 메일로 분류되고 그렇지 않은 메일은 2단계로 넘어가서 스팸 메일 여부를 판단하게 된다. 메일의 본문이 영어로 작성된 영어 스팸 메일을 일반 메일로부터 분류해내기 위해서는 우선 Stemming과 Stopping 기법을 이용하여 본문에서 정형화된 어휘정보들을 추출한다. 추출된 어휘정보들을 대상으로 속성벡터를 구축한 후 SVM 기계 학습을 시켜 SVM 분류기를 생성하여 지능적인 스팸 메일 필터링을 수행한다. 속성벡터를 구축할 때 기준이 되는 자질을 어떻게 선택하느냐에 따라 스팸 메일 필터링 시스템의 성능이 좌우된다. 따라서 SYM 기계 학습을 위한 속성벡터를 구축할 때 기준이 되는 자질을 선택하는 여러 알고리즘들을 적용하여 성능을 비교 분석한다. 그리고 한국어 스팸 메일 필터링 시스템과 비교하여 영어 스팸 메일 필터링 시스템의 전체적인 성능을 비교 분석한다.

  • PDF

지역적 유사도를 이용한 이미지 색상 정보 추출 (Extraction of Color Information from Images using Grid Kernel)

  • 손정우;박성배;김상수;김구진
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (B)
    • /
    • pp.182-187
    • /
    • 2007
  • 본 논문에서는 이미지 상에 나타난 색상 정보를 추출하기 위한 새로운 커널 메소드(Kernel method)인 Grid kernel을 제안한다. 제안한 Grid kernel은 Convolution kernel의 하나로 이미지 상에 나타나는 자질을 주변 픽셀에서 나타나는 자질로 정의 하고 이를 재귀적으로 적용함으로써 두 이미지를 비교한다. 본 논문에서는 제안한 커널을 차량 색상 인식 문제에 적용하여 차량 색상 인식 모델을 제안한다. 이미지 생성시 나타나는 주변 요인으로 인해 차량의 색상을 추출하는 것은 어려운 문제이다. 이미지가 야외에서 촬영되기 때문에 시간, 날씨 등의 주변 요인은 같은 차량이라 하더라도 다른 색상을 보이게 할 수 있다. 이를 해결하기 위해 Grid kernel이 적용된 차량 색상 인식 모델은 이미지를 HSV (Hue-Saturation-Value) 색상 공간으로 사상하여 명도를 배제하였다. 제안한 커널과 색상 인식 모델을 검증하기 위해 5가지 색상을 가진 차량 이미지를 이용하여 실험을 하였으며, 실험 결과 92.4%의 정확율과 92.0%의 재현율을 보였다.

  • PDF

일-한 기계 번역에 있어서 한국어 술부의 생성과 평가 (Generation of Korean Predicates for Japanese-Korean Machine Translation System and its Evaluation)

  • 김정인;문경희;이종혁;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1996년도 제8회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.329-337
    • /
    • 1996
  • 일-한 기계 번역을 연구하는 많은 연구자들은 양국어의 문절-어절 단위의 어순 일치와 같은 구조적 유사성을 최대한 이용하기 위해 직접 번역 방식을 채택하고 있다. 그러나, 일본어와 한국어 술부간에는 대응하는 품사의 불일치 및 국부적인 어순의 불일치 등이 어려운 문제로 남아 있다. 본 논문에서는 이들 술부 표현의 불일치를 해결하기 위해 이미 제안하였던 "양상 테이블을 기반으로 한 한국어 술부의 생성 방법"에 대해 좀더 체계적인 평가를 하고자 한다. 이 방법은 술부만을 대상으로 하는 추상적이고 의미 기호적인 양상 자질(modality feature)을 테이블화(양상 테이블)하여, 양국어의 술부 표현의 피봇(pivot)으로 이용함으로써 술부 양상 표현의 효과적인 번역을 가능하게 하였다. 일본어 499 문을 대상으로 실제 술부의 번역처리를 시행해 본 결과, 약 97.7%가 자연스럽게 번역됨을 확인하였다. 특히, 술부의 생성 부분은 일본어에 의존하지 않는 양상 테이블을 도입함으로써 일-한뿐만 아니라 다른 언어로부터의 한국어 술부 생성에도 적용시킬 수 있을 것이다.

  • PDF

Doc2Vec을 활용한 CNN기반 한국어 신문기사 분류에 관한 연구 (A Study on Categorization of Korean News Article based on CNN using Doc2Vec)

  • 김도우;구명완
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.67-71
    • /
    • 2016
  • 본 논문에서는 word2vec과 doc2vec을 함께 CNN에 적용한 문서 분류 방안을 제안한다. 먼저 어절, 형태소, WPM(Word Piece Model)을 각각 사용하여 생성한 토큰(token)으로 doc2vec을 활용하여 문서를 vector로 표현한 후, 초보적인 문서 분류에 적용한 결과 WPM이 분류율 79.5%가 되어 3가지 방법 중 최고 성능을 보였다. 다음으로 CNN의 입력자질로써 WPM을 이용하여 생성한 토큰을 활용한 word2vec을 범주 10개의 문서 분류에 사용한 실험과 doc2vec을 함께 사용한 실험을 수행하였다. 실험 결과 word2vec만을 활용하였을 때 86.89%의 분류율을 얻었고, doc2vec을 함께 적용한 결과 89.51%의 분류율을 얻었다. 따라서 제안한 모델을 통해서 분류율이 2.62% 향상됨을 확인하였다.

  • PDF

정보검색 기법을 이용한 산업/직업 코드 분류 도구 (An automatic Industrial/Occupational Code Classification Tool Using Information Retrieval Technique)

  • 임희석;박두순
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2001년도 춘계학술발표논문집
    • /
    • pp.75-78
    • /
    • 2001
  • 본 논문은 통계청에서 실시하는 인구주택 총조사로부터 획득된 각 개인의 직업 및 직종을 기술하고 있는 자연어를 입력받아 입력된 자연어가 의미하는 한국 표준 산업/구업 분류 코드의 후보들을 생성하는 산업/직업 코드 분류 도구를 제안한다. 코드 분류는 분류할 코드를 문서 범주로 간주하면 문서 분류와 동일한 문제로 생각할 수 있다. 하지만 본 산업/직업 코드 분류 문제는 입력되는 자연어의 길이가 한 두 문장 정도로 매우 짧아 문서 분류에 사용될 자질들이 개수가 주어 기존의 문서 분류 기법을 적용하기 어렵다. 이에 본 논문은 표준 코드를 기술하고 있는 내용을 미리 색인하고 입력된 자연어로부터 질의어를 생성하여 벡터공간모델로 질의어를 검색후 질의어와 일치율이 가장 높은 코드들을 분류될 후보 코드로 계시하는 정보검색 기법을 이용한 산업/직업 코드 분류 도구를 개발하였다.

  • PDF

의미그룹을 이용한 단어 중의성 해소 (Word Sense Disambiguation using Meaning Groups)

  • 김은진;이수원
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권6호
    • /
    • pp.747-751
    • /
    • 2010
  • 본 연구에서는 기계 가독형 사전 정보를 이용하여 중의어 의미 태깅을 위한 학습에 사용될 양질의 의미부착 데이터를 자동 생성하여 중의어 태깅 정확도를 향상시키는 방법을 제안한다. 또한 중의어의 의미별로 특징있는 주변 단어를 원소로 갖는 의미그룹을 생성하고, 의미그룹내 중요 자질의 가중치 선정에 집중도 개념을 도입하여 태깅 정확도를 높인다. SENSEVAL-2 데이터를 사용하여 태깅 정확도를 평가한 결과 본 연구에서 제안한 방법이 기존의 방법보다 정확도를 향상시킨 것으로 나타났다.

CRFs를 이용한 의존구조 구문 레이블링 (Labeling Dependency Structures using CRFs)

  • 정석원;최맹식;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2013년도 제25회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.137-138
    • /
    • 2013
  • 본 논문에서는 의존구조 분석 결과로부터 구문 레이블을 생성하는 방법을 제안한다. 제안 시스템은 의존 구조 분석 결과의 의존소-지배소 쌍에 대해 자질을 생성하고, 문장 단위로 CRFs를 이용하여 구문 레이블을 부착한다. 실험을 통해 90.8%의 정확도를 보였고, 구문 레이블이 없는 의존구조 시스템의 후처리로 사용 가능하다.

  • PDF

Doc2Vec을 활용한 CNN기반 한국어 신문기사 분류에 관한 연구 (A Study on Categorization of Korean News Article based on CNN using Doc2Vec)

  • 김도우;구명완
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.67-71
    • /
    • 2016
  • 본 논문에서는 word2vec과 doc2vec을 함께 CNN에 적용한 문서 분류 방안을 제안한다. 먼저 어절, 형태소, WPM(Word Piece Model)을 각각 사용하여 생성한 토큰(token)으로 doc2vec을 활용하여 문서를 vector로 표현한 후, 초보적인 문서 분류에 적용한 결과 WPM이 분류율 79.5%가 되어 3가지 방법 중 최고 성능을 보였다. 다음으로 CNN의 입력자질로써 WPM을 이용하여 생성한 토큰을 활용한 word2vec을 범주 10개의 문서 분류에 사용한 실험과 doc2vec을 함께 사용한 실험을 수행하였다. 실험 결과 word2vec만을 활용하였을 때 86.89%의 분류율을 얻었고, doc2vec을 함께 적용한 결과 89.51%의 분류율을 얻었다. 따라서 제안한 모델을 통해서 분류율이 2.62% 향상됨을 확인하였다.

  • PDF