• Title/Summary/Keyword: 언어 사용역

Search Result 122, Processing Time 0.024 seconds

Machine Learning of Information Extract ion Patterns for Web Data Mining (웹 데이터 마이닝을 위한 정보 추출패턴의 기계학습)

  • Kim, Dong-Seok;Cha, Jeong-Won;Lee, Gary Geun-Bae
    • Annual Conference on Human and Language Technology
    • /
    • 2001.10d
    • /
    • pp.115-122
    • /
    • 2001
  • 정보추출 기법을 논의할 때 핵심 역할을 차지하는 것이 추출 패턴(규칙)을 표현하는 종류와 규칙을 만들어 내는 기계학습의 방법이다. 본 논문에서는 mDTD(modified Document Type Definition)라는 새로운 추출패턴을 제안한다. mDTD는 SGML에서 사용되는 DTD를 구문과 해석 방식을 변형하여 일반적인 HTML에서의 정보추출에 활용되도록 설계하였다. 이러한 개념은 DTD가 문서에 나타나는 객체를 지정하는 역할을 하는 것을 역으로 mDTD를 이용하여 문서에 나타는 객체를 식별하는데 사용하는 것이다. mDTD 규칙을 순차기계학습으로 확장시켜서 한국어와 영어로된 인터넷 쇼핑몰 중에서 AV(Audio and Visual product) 도메인에 적용하여 실험하였다 실험 결과로 정보추출의 평균 정확도은 한국어와 영어에 대해서 각각 91.3%와 81.9%를 얻었다.

  • PDF

A Comment Spam Filter System based on Inverse Chi-Square Using of Co-occurrence Feature Between Comment and Blog Post (본문과 덧글의 동시출현 자질을 이용한 역 카이제곱 기반 블로그 덧글 스팸 필터 시스템)

  • Jeon, Hee-Won;Rim, Hae-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2007.10a
    • /
    • pp.122-127
    • /
    • 2007
  • 최근 대표적인 1인 미디어의 형태인 블로그는 개인 기록의 수단뿐만 아니라 기업의 홍보에까지 널리 사용되는 인터넷 미디어이다. 그러나 누구나 글을 쓸 수 있다는 자유로움 이면에 이를 이용한 덧글 스팸이 성행이 성행하고 있다. 일반적인 스팸 필터의 경우 그 해당 덧글만을 가지고 스팸 필터링을 한다. 그러나 특성상 스팸인 덧글이 정상인 덧글보다 상대적으로 짧기 때문에 일반적인 덧글 자체만의 필터링 방법으로는 높은 정확도를 기대하기 힘든 단점이 있다. 본 논문에서는 정상인 덧글과 본문간의 내용상의 유사도가 있음을 가정해 이런 정보를 역카이제곱 분류기에 동시출현(co-occurrence) 정보로 부여함으로써 스팸 필터의 정확도를 높이고자 했으며, 실제 그러한 정보를 추가함으로 단순한 확률기반 스팸 필터링 방법을 사용하는 것보다 스팸 필터의 전반적인 성능이 상승되었음을 실험 결과를 통해 알 수 있었다.

  • PDF

Extraction of English-Korean Compound Noun Translation through Automatic Alignment Method (자동 정렬을 통한 영한 복합어의 역어 추출)

  • Lee, Ju-Ho;Choi, Key-Sun;Lee, Jae-Sung
    • Annual Conference on Human and Language Technology
    • /
    • 2000.10d
    • /
    • pp.309-314
    • /
    • 2000
  • 본 논문에서는 양국어로 된 병렬 코퍼스로부터 복합어의 역어를 추출하기 위한 정렬 방법을 제시한다. 여기에서는 개념어에 대한 양국어 공기정보를 사용하여 기본 정렬을 하고, 인접한 개념어로 정렬의 단위를 확장했다. 또한 재추정 기법을 사용하여 대역 확률을 계산함으로써 보다 높은 정확률을 얻을 수 있었다. 본 논문에서 제안한 방법을 적용하여 139,265개의 영어 어절로 이루어진 우루과이 라운드 영한 병렬 코퍼스에 대해서 실험한 결과 2,290개의 대역어 쌍을 얻었고, 그 정확률은 74%였다.

  • PDF

Texture Feature-Based Language Identification Using Gabor Feature and Wavelet-Domain BDIP and BVLC Features (Gabor 특징과 웨이브렛 영역의 BDIP와 BVLC 특징을 이용한 질감 특징 기반 언어 인식)

  • Jang, Ick-Hoon;Lee, Woo-Shin;Kim, Nam-Chul
    • Journal of the Institute of Electronics Engineers of Korea SP
    • /
    • v.48 no.4
    • /
    • pp.76-85
    • /
    • 2011
  • In this paper, we propose a texture feature-based language identification using Gabor feature and wavelet-domain BDIP (block difference of inverse probabilities) and BVLC (block variance of local correlation coefficients) features. In the proposed method, Gabor and wavelet transforms are first applied to a test image. The wavelet subbands are next denoised by Donoho's soft-thresholding. The magnitude operator is then applied to the Gabor image and the BDIP and BVLC operators to the wavelet subbands. Moments for Gabor magnitude image and each subband of BDIP and BVLC are computed and fused into a feature vector. In classification, the WPCA (whitened principal component analysis) classifier, which is usually adopted in the face identification, searches the training feature vector most similar to the test feature vector. Experimental results show that the proposed method yields excellent language identification with rather low feature dimension for a document image DB.

DEA optimization for operating tunnel back analysis (운영 중 터널 역해석을 위한 차분진화 알고리즘 최적화)

  • An, Joon-Sang;Kim, Byung-Chan;Moon, Hyun-Koo;Song, Ki-Il;Su, Guo-Shao
    • Journal of Korean Tunnelling and Underground Space Association
    • /
    • v.18 no.2
    • /
    • pp.183-193
    • /
    • 2016
  • Estimation of the stability of an operating tunnel through a back analysis is a difficult concept to analyze. Specially, when a relatively thick lining is constructed as in case of a subsea tunnel, there will be a limit to the use of displacement-based tunnel back analysis because the corresponding displacement is too small. In this study, DEA is adopted for tunnel back analysis and the feasibility of DEA for back analysis is evaluated. It is implemented in the finite difference code FLAC3D using its built-in FISH language. In addition, the stability of a tunnel lining will be evaluated from the development of displacement-based algorithm and its expanded algorithm with conformity of several parameters such as stress measurements.

Unsupervised Semantic Role Labeling for Korean Adverbial Case (비지도 학습을 기반으로 한 한국어 부사격의 의미역 결정)

  • Kim, Byoung-Soo;Lee, Yong-Hun;Na, Seung-Hoon;Kim, Jun-Gi;Lee, Jong-Hyeok
    • Annual Conference on Human and Language Technology
    • /
    • 2006.10e
    • /
    • pp.32-39
    • /
    • 2006
  • 본 논문은 한국어정보처리 과정에서 구문 관계를 의미 관계로 사상하는 의미역 결정 문제에 대해 다루고 있다. 한국어의 경우 대량의 학습 말뭉치를 구하기 힘들며, 이를 구축하기 위해서는 많은 시간과 노력이 필요한 문제점이 있다. 따라서 본 논문에서는 학습 말뭉치를 직접 태깅하지 않고 격틀사전을 이용하여 자동으로 학습 말뭉치를 구축하고 간단한 확률모델을 적용하여 점진적으로 모델을 학습하는 수정된 self-training 알고리즘을 사용하였다. 실험 결과, 4개의 부사격 조사에 대해 평균적으로 81.81%의 정확률을 보였으며, 수정된 self-training 방법은 기존의 방법에 비해 성능 및 실행시간에서 개선된 결과를 보였다.

  • PDF

The Declarations Reconstruction Technique for the Symbol Table Verification of the Object-oriented Compiler (객체지향 컴파일러의 심벌 테이블 검증을 위한 선언문 복원 기법)

  • Son, Min-Sung;Kwon, Hyeok-Ju;Kim, Young-Keun;Lee, Yang-Sun
    • Annual Conference of KIPS
    • /
    • 2006.11a
    • /
    • pp.669-672
    • /
    • 2006
  • 본 연구팀은 유비쿼터스 게임 플랫폼을 위한 Embedded C++ 컴파일러를 개발하였으며, 컴파일러 개발 과정에서 객체지향언어인 C++과 Java 언어를 모두 수용할 수 있는 심벌 테이블을 설계하였다. 심벌 테이블은 컴파일러의 어휘 분석과 구문 분석 과정을 거친 후 SDT(syntax-directed translation)에 의해 생성된 AST(Abstract Syntax Tree)를 분석하여 인식된 명칭(identifier)과 그 속성(attribute)들을 수집하여 저장하는 자료구조로써, 심벌 테이블에 저장된 속성들은 의미 분석(semantic analysis) 단계에서 수집된 속성과 참조된 명칭의 사용이 타당한지를 검사하고, 코드 생성(code generation) 단계에서 올바른 코드가 생성되도록 하는 중요한 요소이다. 따라서 심벌 테이블의 설계가 올바른지와 입력된 속성이 정확한지에 대한 검증과 분석은 필수 불가결하다. 본 논문에서는 컴파일러 개발과정에서 설계한 심벌 테이블을 검증하고 분석하기 위한 목적으로써 심벌 테이블을 이용하여 선언문을 복원시키는 역번역기(detranslator)에 대하여 기술한다. 구현된 역번역기는 C++ 컴파일러와 Java 컴파일러의 선언문 처리 과정에서 심벌 테이블에 입력된 속성들을 본래의 입력 프로그램으로 역번역한다. 따라서 역번역기를 통하여 심벌 테이블의 완전성과 심벌 테이블에 입력된 속성 정보의 정확성을 쉽게 검증할 수 있으며, 역번역과 함께 출력되는 디버그 정보를 이용하여 효율적으로 컴파일러의 개발과 수정을 할 수 있다.

  • PDF

Determination of Thematic Roles according to Syntactic Relations Using Rules and Statistical Models in Korean Language Processing (한국어 전산처리에서 규칙과 확률을 이용한 구문관계에 따른 의미역 결정)

  • 강신재;박정혜
    • Journal of Korea Society of Industrial Information Systems
    • /
    • v.8 no.1
    • /
    • pp.33-42
    • /
    • 2003
  • This paper presents an efficient determination method of thematic roles from syntactic relations using rules and statistical model in Korean language processing. This process is one of the main core of semantic analysis and an important issue to be solved in natural language processing. It is problematic to describe rules for determining thematic roles by only using general linguistic knowledge and experience, since the final result may be different according to the subjective views of researchers, and it is impossible to construct rules to cover all cases. However, our hybrid method is objective and efficient by considering large corpora, which contain practical usages of Korean language, and case frames in the Sejong Electronic Lexicon of Korean, which is being developed by dozens of Korean linguistic researchers. To determine thematic roles more correctly, our system uses syntactic relations, semantic classes, morpheme information, position of double subject. Especially by using semantic classes, we can increase the applicability of our system.

  • PDF

Processing Korean Relative Adnominal Clauses (한국어 관계관형절의 전산처리)

  • Hong, Jung-Ha;Lee, Ki-Yong
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10e
    • /
    • pp.265-271
    • /
    • 1999
  • 이 논문은 한국어 관계관형절(relative adnominal clause)의 전산처리에 적합한 통사 의미 표상 모형을 제시하고, 그 결과를 전산적 구현을 통해서 검증하는 것이 목적이다. 이를 위해 이 논문에서는 다음의 두 가지 문제를 중심으로 관계관형절의 통사 의미 표상과 전산적 구현 문제를 다룬다. 첫째, 관계관형절의 수식을 받는 머리 명사(head noun)는 관계관형절과 모문(matrix sentence)에서 각각 다른 의미역할을 하는 논항이다. 즉, 하나의 논항이 두 개의 의미역을 표상한다. 이 논문의 첫째 과제는 이러한 관계관형절 구문에서 머리 명사의 이중의미역을 표상하는 방법을 모색하는 것이다. 둘째, 관계관형절이 일항술어로 구성될 때, 서술어 단독으로 머리 명사를 수식할 수 있을 뿐만 아니라, 주격중출 구문을 관계화하여 미리 명사를 수식할 수도 있다. 그러나 모든 일항술어가 주격중출 구문을 구성할 수 있는 것은 아니기 때문에 주격중출 구문의 관계화가 가능한 경우와 그렇지 않은 경우를 구별할 필요가 있다. 이 논문의 둘째 과제는 이러한 주격중출 구문의 관계화와 그 표상의 문제를 다루는 것이다. 이 논문에서는 이러한 문제들을 단순히 기술하는 데 그치지 않고 전산 구현을 통해 문제해결을 제시한다. 이를 위해 구현 도구로 C-언어를 보강하여 개발한 문법개발 도구언어인 말라가(Malaga)를 사용하며, 분석결과를 자질구조(feature structure)로 명시하여 그 타당성을 검토한다.

  • PDF

Generation of a Semantic Structure on a Conventional Goods Search System (대화형 상품 검색 시스템에서 의미 구조 생성에 관한 연구)

  • Jung, Hae-Kyung;Bae, Woo-Jung;Lee, Yong-Seok
    • Annual Conference on Human and Language Technology
    • /
    • 2006.10e
    • /
    • pp.197-204
    • /
    • 2006
  • 인터넷 쇼핑몰 분야에서 한국어 인터페이스에 대한 필요성이 대두되면서 이와 관련한 연구가 진행되어 왔다. 이러한 기존 연구들의 문제점은 다른 응용 분야에 대한 확장성이 떨어지고, 대화식 질의 문장을 처리하기 위해 필요한 상황 지식을 사용할 수 없다는 것이다. 확장성을 위해 한국어 인터페이스는 내부 구현의 변경 없이 도메인 지식의 교체만으로 다른 분야에 대한 적용이 쉬워야 한다. 아울러, 한국어 질의 문장을 SQL이나 ACL과 같은 여러 응용 분야의 인공 언어에 쉽게 변환할 수 있으려면 모호성이 전혀 없는 의미 구조로 표현되어야 한다. 이렇게 표현된 의미 구조는 상황 지식의 표현과 적용을 용이하게 한다. 본 논문은을 Sowa의 개념 구조를 이용하여 의사 의미 구조를 유형 정의, 관계형 정의, 액터와 같은 도메인 지식베이스를 이용하여 표준 의미 구조로 변환하는 시스템을 제안한다. 본 논문은 먼저 필요한 도메인 지식베이스의 종류와 역할 등을 설명하고, 상황 지식을 이용하여 불완전한 의미 구조를 완전한 의미 구조로 변환하는 방법을 보인다. 아울러, 같은 의미를 갖는 여러 형태의 의사 의미 구조가 하나의 표준 의미 구조로 변환됨으로서 시스템의 일관성을 유지하는데 용이함을 보일 것이다. 본 시스템에서 생성한 의미구조는 중간 언어의 역할을 하므로, 제안하는 한국어 인터페이스 시스템은 데이터베이스 분야뿐만 아니라 에이전트 분야, 시맨틱 웹 분야 등에서도 손쉽게 적용할 수 있다는 장점을 가진다.

  • PDF