• 제목/요약/키워드: Lexical processing

검색결과 142건 처리시간 0.027초

한국어 병렬문의 통사, 의미, 문맥 분석을 위한 결합범주문법 (Combinatory Categorial Grammar for the Syntactic, Semantic, and Discourse Analyses of Coordinate Constructions in Korean)

  • 조형준;박종철
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제27권4호
    • /
    • pp.448-462
    • /
    • 2000
  • 자연언어처리에 있어서 병렬구문은 분석의 복잡성, 단어의 애매성, 서술어 생략 등에 따른 처리의 어려움을 내포하고 있다. 본 논문에서는 한국어에서 발생하는 병렬문의 통사적 특징을 능력문법 (competence grammar)의 입장에서 접근하고 분석된 결과를 기반으로 하여 한국어 병렬문 해석을 위한 결합범주문법 (Combinatory Categorial Grammar)을 제안한다. 제안된 결합범주문법을 사용해서 병렬문에 대한 각각 다른 수준의 통사적, 의미적, 문맥적 정보들이 사전에 어휘적으로 통합될 수 있고 통합된 정보를 이용하여 통사적, 의미적, 문맥적 분석들이 각각 다른 수준의 처리를 거치지 않고 동시에 점진적으로 유도될 수 있음을 보인다. 유도된 정보들을 통해 일반적으로 한국어 병렬문의 주된 기능이라고 생각되는 두 문장이 가지는 정보를 대조, 비교하는 기능이 표현될 수 있음을 보인다. 말뭉치를 분석하여 병렬문이 한국어 처리에서 차지하는 비중과 제시한 문법으로 처리할 수 없는 문형들에 대한 논의를 제공한다.

  • PDF

무선 인터넷 서비스를 위한 WAP 게이트웨이용 WML 컴파일러의 설계 및 구현 (A Design and Implementation of WML Compiler for WAP Gateway for Wireless Internet Services)

  • 최은정;한동원;임경식
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제7권2호
    • /
    • pp.165-182
    • /
    • 2001
  • 무선 마크업 언어(Wireless Markup Language) 컴파일러는 텍스트로 구성된 문서를 바이너리 문서로 변환, 압축함으로써, 낮은 대역폭을 갖는 무선 선로에서 트래픽을 감소시키며, 낮은 성능을 갖고 있는 이동 단말기에서 브라우징 처리를 간단하게 하는 역할을 한다. 또한 이러한 변환 과정에서 확장 마크업 언어(eXtensible Markup Language)의 well-formedness와 validation 과정을 동시에 처리함으로써, 이동 단말기에서 문서처리 부담을 대폭 경감하는 효과를 가져온다. 본 논문에서 구현한 무선 마크업 언어 컴파일러는 어휘분석기 모듈과 파서 모듈로 구성되어 있는데, 파서 모듈은 파서 생성기를 사용하여 구현하였다. 이는 향후 응용 수준에서 보안 기능을 제공하기 위하여 태그를 확장하거나 무선 마크업 언어의 버전이 업그레이드 될 때에서 변경된 부분에 해당하는 문법만 다시 설계함을써 유연하게 대처할 수 있는 장점을 가지고 있다. 사용된 문법은 LALR(1) context-free 문법으로서, 확장 마크업 언어 1.0과 무선 마크업 언어 1.2의 문서 형태 정의(Document Type Definition)를 기반으로 무선 응용 프로토콜 바이너리 확장 마크업 언어(Wireless Application Protocol Binary XML) 문법을 고려하여 설계되었다. 구현된 컴파일러의 기능을 실험하여 데모하기 위하여 세 가지 방법(수작업, WML 디컴파일러, 노키아 WAP 툴킷)을 사용하였으며, 다양한 태그 조합을 갖는 임의의 130여 개 문서에 대해 실험한 결과, 최대 85%의 압축효과를 얻을 수 있었다. 그러나, 태그나 속성에 비해 일반 문자열 데이타가 많아지면 상대적으로 압축효과가 감소되므로, Hyper Text Markup Language 문서로부터 무선 마크업 언어 문서로 자동 변환된 텍스트를 인코딩하는 경우와 같이 특정한 응용 분야에서는 일반 문자열에 대한 확장 인코딩 기법을 적용할 필요가 있을 수 있다.

  • PDF

웹 통합문서의 효율적 생성과 검색을 위한 자동링크지원 시스템의 설계 및 구축 (Design and Implementation of Automatic Linking Support System for Efficient Generating and Retrieving Integrated Documents Based on Web)

  • 이원중;정은재;주수종;이승용
    • 정보처리학회논문지A
    • /
    • 제10A권2호
    • /
    • pp.93-100
    • /
    • 2003
  • 분산 컴퓨팅과 웹 서비스 기술의 발달과 함께, 급증하는 인터넷 사용자는 웹 기반의 맞춤형 정보를 편리하게 작성하고 제공받을 수 있는 서비스들을 요구하고 있다. 이를 위해, 본 논문에서는 맞춤형 정보로서 웹 기반의 통합문서를 생성하고, 사용자 요구에 따라 다양한 검색을 지원할 수 있는 자동링크지원 시스템(ALSS : Automatic Linking Support System)을 구축하고자 한다. 본 시스템의 구성은 클라이언트/서버 환경을 기반으로, 서버는 어휘분석, 질의처리 및 통합문서생성 기능들을 제공하는 자동링크엔진과 사전, 이미지 컨텐츠 및 URLs로 이루어진 데이터베이스를 지원하도록 구축하였다. 클라이언트 측은 서버 측의 자동링크엔진과 데이터베이스를 접근하여 웹 기반의 통합문서를 생성하는 웹 에디터와 검색 서비스를 지원하는 웹 도우미로 구축하였다. 웹 에디터나 웹 도우미 프로그램은 클라이언트 측에 별도의 설치 없이 서버로부터 다운로딩하여 실행할 수 있으며, 서버의 실행기능들의 일부를 글라이언트 측에 분산시키므로써 서버의 부하를 감소시켰다. 본 시스템의 구현으로서, 사용자 인터페이스는 JDK 1.3 기반의 SWING을 이용하고, 클라이언트와 서버간의 연동을 위한 자바 RMI 기법을 적용하였으며, SQL Server 7.0을 사용하여 데이터베이스를 구축하였다. 마지막으로 웹 에디터와 웹 도우미에 의해 자동링크엔진과 데이터베이스를 접근하는 과정과 그들의 실행결과를 보였다.

이중 언어 기반 패러프레이즈 추출을 위한 피봇 차별화 방법 (Pivot Discrimination Approach for Paraphrase Extraction from Bilingual Corpus)

  • 박에스더;이형규;김민정;임해창
    • 인지과학
    • /
    • 제22권1호
    • /
    • pp.57-78
    • /
    • 2011
  • 패러프레이즈는 같은 의미를 다른 단어를 사용하여 표현한 것을 말한다. 패러프레이즈는 일상적인 언어생활에서도 흔히 관측되며 자연어처리 분야에서 다양하게 활용할 수 있다. 특히 최근에는 통계적 기계 번역 분야에서 데이터 부족 문제를 보완하여 번역 성능을 향상시키기 위해 패러프레이즈를 활용한 연구가 많다. 이중 언어 병렬 말뭉치를 이용하는 패러프레이즈 추출 과정에서는 일반적으로 다른 언어를 피봇으로 사용하기 때문에 단어 정렬 및 구 정렬 과정을 두 번 거친다. 따라서 단어 정렬의 오류가 패러프레이즈로 전파될 수 있다. 특히 한국어와 영어와 같이 언어의 구조적인 차이가 큰 경우에는 단어 정렬 오류가 더 심각하기 때문에 피봇 프레이즈부터 잘못 추출되는 경우가 많아진다. 이러한 문제를 보완하기 위해 본 논문에서는 패러프레이즈 추출 과정에서 피봇 프레이즈를 차별화하는 방안으로서 어휘, 품사 정보를 이용해 올바른 피봇 프레이즈에 더 높은 가중치를 부여하는 방법을 제안한다. 실험 결과, 제안하는 피봇 가중치 부여 방법을 기존의 패러프레이즈 추출 방법에 추가했을 때 패러프레이즈 추출 정확률과 재현율이 모두 향상됨을 확인할 수 있었다. 또한, 제안하는 방법을 통해 추출한 패러프레이즈를 한영 기계 번역 시스템에서 활용하였을 때 번역률이 향상됨을 확인할 수 있었다.

  • PDF

형태소 공유 어휘의 심성 어휘집 표상 양식 (Hemispheric Asymmetry in Processing Semantic Relationship Shown in Normals and Aphasic)

  • 정재범;이홍재;문영선;김동휘;편성범;남기춘
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.359-367
    • /
    • 1999
  • 형태소를 공유하고 있는 어휘가 심성 어휘집(mental lexicon)에 어떻게 저장되어 있고 어떻게 어휘 접근되는지에 관하여 여러 설명이 제기되었다 첫 번째 가설은 형태소 공유 어휘는 심성 어휘집에 모두 같은 어근 혹은 어간을 중심으로 저장되어 있다는 것이다. 두 번째 가설은 어간이나 어근으로의 분석을 통해 활용된 단어를 이해하는 것이 아니라 일단 활용된 형태의 어휘를 심성 어휘집에서 찾고, 만일 해당되는 것이 발견되면, 그 활용된 어절의 이해가 끝나게 되고, 만일에 해당되는 것이 심성 어휘집에 존재하지 않는 경우에만 부수적인 과정으로 구성 형태소로의 분석이 이루어진다는 것이다. 세 번째 가설은 어휘의 품사, 어휘의 빈도, 형태소 활용의 규칙성 등에 따라 구성 형태소로의 분석을 통해 활용된 단어를 이해하거나 아니면 활용된 어휘의 직접적인 접근을 통해 활용된 단어를 이해한다는 것이다. 본 연구에서는 이 세 종류의 가설 중에 어느 가설이 옳은 것인지를 조사하기 위해, "먹은" 흑은 "쥐어"와 같은 한국어 어절을 이용하여 형태소 표상 양식과 이해 과정을 다루었다. 본 연구의 목적을 위해 점화 어휘 판단 과제(primed-lexical decision task)를 사용하였다. 실험 1은 "먹은"처럼 동사 "먹다"로도 해석이 가능하고 명사 "먹"으로도 가능한 중의적 어절을 점화 문자열로 제시하고 이 문자열이 두 의미와 관련된 목표 단어 재인에 어떤 영향을 끼치는지를 조사하였다. 만일에 "먹"이라는 어근 혹은 어간으로의 분석을 통해 이 어절을 이해한다면 두 종류의 의미와 관련된 조건 모두에서 촉진적 점화 효과(facilitatory priming effect)가 나타날 것이고, 어절 전체로의 어휘 접근 과정이 일어난다면 사용빈도에서 높은 동사 뜻과 관련된 조건에서만 촉진적 점화 효과가 나타날 것이다. 실험 1의 결과는 두 종류의 의미가 모두 활성화되는 것을 보여 주었다. 즉, "먹은"과 간은 어절 이해는 구성 형태소로의 분석과 구성 형태소 어휘 접근을 통해 어절 이해가 이루어진다는 가설을 지지하고 있다. 실험 2에서는 실험 1과 다르게 한 뜻으로만 안일 수밖에 없는 "쥐어"와 같은 어절을 사용하여 이런 경우에도(즉, 어절의 문맥이 특정 뜻으로 한정하는 경우) 구성 형태소로의 분석 과정이 일어나는지를 조사하였다. 실험 2의 결과는 실험 1의 결과와는 다르게 어간의 한가지 의미와 관련된 조건만 촉진적 점화 효과가 나타나는 것을 보여주었다. 특히, 실험 2에서 SOA가 1000msec일 경우, 두 의미의 활성화가 나타나는 것을 보여주었는데, 이 같은 결과는 어절 문맥이 특정한 의미로 한정시킬 경우는 심성어휘집에 활용형태로 들어있다는 것이다. 또한 명칭성 실어증 환자의 경우에는 즉시적 점화과제에서는 일반인과 같은 형태소 처리과정을 보였으나, 그이후의 처리과정이 일반인과 다른 형태를 보였다. 실험 1과 실험 2의 결과는 한국어 어절 분석이 구문분석 또는 활용형태를 통해 어휘 접근되는 가설을 지지하고 있다. 또 명칭성 실어증 환자의 경우에는 지연된 점화과제에서 형태소 처리가 일반인과 다르다는 것이 밝혀졌다. 이 결과가 옳다면 한국의 심성 어휘집은 어절 문맥에 따라서 어간이나 어근 또는 활용형 그 자체로 이루어져 있을 것이다.

  • PDF

국제 음소의 자동 생성을 활용한 연속음성인식에 관한 연구 (A Study on the Continuous Speech Recognition for the Automatic Creation of International Phonetics)

  • 김석동;홍성수;신좌철;우인성;강흥순
    • 한국게임학회 논문지
    • /
    • 제7권2호
    • /
    • pp.83-90
    • /
    • 2007
  • 자동 음성 인식(Automatic Speech Recognition)기술은 세계적인 의사소통과 협력을 원활히 할 수 있는 가능성을 제시한다. 현재까지 대부분의 연구들은 주로 사용되는 단일 언어의 말하기에만 집중되어 있다. 따라서 다른 언어들과 함께 사용되는 특정 ASR 시스템을 도입하는 데에는 비싼 비용이 뒤따른다. 본 논문은 다국어 음성 인식에 대한 일반적 접근으로 각 나라 언어를 대표한 발음사전(어휘모델)을 만들기 위하여 음성 인식에 이용하는 어휘 모델을 만들기 위하여 음소 언어 인식(PLI, Phonetic Language Identity) 형식의 입력된 파일을 해석하는 국제 음소 엔진(IPE, International Phoneticizing Engine)를 제안한다. IPE는 독립적이며 규칙을 기본으로 한다. 어휘모델 생성 과정은 Java 언어로 구현된 프로그램에 의해 이루어지고, 이 과정들은 규칙 상충을 줄여주며, 언어학적 훈련을 받지 않은 사람의 규칙 생성도 가능하게 한다. IPE에 의해 생성된 어휘모델을 연속 음성 인식기에 적용한 결과 우리말 인식률이 92.55%, 영어에 대하여 89.93%를 얻었다.

  • PDF

영한 기계번역 시스템의 영한 변환사전 확장 도구 (English-Korean Transfer Dictionary Extension Tool in English-Korean Machine Translation System)

  • 김성동
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권1호
    • /
    • pp.35-42
    • /
    • 2013
  • 영한 기계번역 시스템을 개발하기 위해서는 언어에 대한 다양한 정보를 필요로 하며, 특히 영어 단어에 대한 의미 정보를 포함하는 영한 변환사전의 풍부한 정보량은 번역품질에 중요한 요소이다. 지속적으로 생성되는 새로운 단어들은 사전에 등록되어 있지 않아 번역문에 영어 단어가 그대로 출력되어 번역품질을 저하시킨다. 또한 복합명사는 어휘분석, 구문분석을 복잡하게 하고 사전에 의미가 등록되지 않은 경우가 많아 올바르게 번역하기 어렵다. 따라서 영한 기계번역의 번역품질 향상을 위해서는 사전에 등록되어 있지 않은 단어들과 자주 사용되는 복합명사들을 수집하고 의미 정보를 추가하여 영한 변환사전을 지속적으로 확장하는 것이 필요하다. 본 논문에서는 인터넷 신문기사로부터 말뭉치를 추출하고, 사전 미등록 단어와 자주 나타나는 복합명사를 찾은 후, 이들에 대해 의미를 부착하여 영한 변환사전에 추가하는 일련의 과정으로 구성되는 영한 변환사전의 확장 방안을 제안하고 이를 지원하는 도구를 개발하였다. 사전 정보의 확대는 많은 사람의 노력을 필요로 하는 일이지만, 영한 기계번역 시스템의 개선을 위해서는 필수적이다. 본 논문에서 개발한 도구는 사람의 노력을 최소화 하면서, 영한 변환사전의 정보량 지속적인 확대를 위해 유용하게 활용되어 영한 기계번역 시스템의 번역품질 개선에 기여할 것으로 기대된다.

단순 손동작 반복이 말소리장애 아동과 일반 아동의 말소리산출의 정확성과 유창성에 미치는 영향 (What Effect can Simple Hand Tapping Have on the Accuracy and Fluency of Speech Production in Children With and Without Speech Sound Disorders?)

  • 신유나;하지완
    • 재활치료과학
    • /
    • 제8권2호
    • /
    • pp.67-78
    • /
    • 2019
  • 목적 : 본 연구에서는 말소리장애 아동과 일반 아동을 대상으로 어휘인출 시 단순 손동작(hand tapping)을 반복하게 하는 것이 조음정확도와 유창성에 어떠한 영향을 미치는지에 대해 알아보았다. 손동작을 반복하면서 어휘를 산출하는 것은 주의를 분산시키는 이중과제에 해당하기 때문에, 주의력 저하가 보고된 말소리장애 아동의 경우 일반 아동과 다른 행동 양상을 보이는지를 파악하고자 하였다. 연구방법 : 4, 5, 6세의 말소리장애 아동 15명과 일반 아동 15명이 본 연구에 참여하였다. 조음복잡성이 높은 어휘와 낮은 어휘를 각각 15개씩, 총 30개를 선정하여, 이에 대한 대면이름대기 과제를 실시하였다. 첫 번째 실험조건에서는 단순 손동작을 반복하지 않고, 두 번째 실험조건에서는 손바닥으로 책상을 두드리면서 그림 이름을 말하도록 하였다. 대상자의 반응에 대해 자음정확도, 비유창성 정도, 정확성 변화와 유창성 변화의 상관관계를 측정하여, 두 실험조건에 따른 두 집단 간 수행력을 비교하였다. 결과 : 첫째, 말소리장애 집단과 일반 집단 모두 손동작 반복 과제와 손동작 비반복 과제 간 자음정확도에는 유의한 차이가 없었다. 둘째, 일반 집단은 손동작 반복 과제에서 비유창성이 유의하게 증가하였으나, 말소리장애 집단은 차이가 없었다. 셋째 손동작 반복에 따른 자음정확도 변화와 비유창성 변화는 일반집단의 경우 유의한 양의 상관관계가 있었으나 말소리장애 집단은 아무런 상관을 보이지 않았다. 결론 : 본 연구에서 주의력 분산을 위해 사용한 단순 손동작 반복은 결과적으로 집단에 따라 대상자의 목표행동에 방해가 될 수도, 혹은 그 반대로 도움이 될 수도 있었다. 어휘인출에 대한 손동작 반복의 영향이 두 집단 간 다른 양상으로 나타난 만큼 이에 대한 심층적 논의가 필요할 것이다.

부분 단어 토큰화 기법을 이용한 뉴스 기사 정치적 편향성 자동 분류 및 어휘 분석 (Automatic Classification and Vocabulary Analysis of Political Bias in News Articles by Using Subword Tokenization)

  • 조단비;이현영;정원섭;강승식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권1호
    • /
    • pp.1-8
    • /
    • 2021
  • 뉴스 기사의 정치 분야는 보수, 진보와 같이 양극화된 편향적 특성이 존재하며 이를 정치적 편향성이라고 한다. 뉴스 기사로부터 편향성 문제를 분류하기 위해 키워드 기반의 학습 데이터를 구축하였다. 대부분의 임베딩 연구에서는 미등록어로 인한 문제를 완화시키기 위해 형태소 단위로 문장을 구성한다. 본 논문에서는 문장을 언어 모델에 의해 세부적으로 분할하는 부분 단어로 문장을 구성할 경우 미등록어 수가 감소할 것이라 예상하였다. 부분 단어 토큰화 기법을 이용한 문서 임베딩 모델을 제안하며 이를 SVM과 전방향 뉴럴 네트워크 구조에 적용하여 정치적 편향성 분류 실험을 진행하였다. 형태소 토큰화 기법을 이용한 문서 임베딩 모델과 비교 실험한 결과, 부분 단어 토큰화 기법을 이용한 문서 임베딩 모델이 78.22%로 가장 높은 정확도를 보였으며 부분 단어 토큰화를 통해 미등록어 수가 감소되는 것을 확인하였다. 분류 실험에서 가장 성능이 좋은 임베딩 모델을 이용하여 정치적 인물을 기반한 어휘를 추출하였으며 각 성향의 정치적 인물 벡터와의 평균 유사도를 통해 어휘의 편향성을 검증하였다.

Head-Tail 토큰화 기법을 이용한 한국어 품사 태깅 (Korean Part-Of-Speech Tagging by using Head-Tail Tokenization)

  • 서현재;김정민;강승식
    • 스마트미디어저널
    • /
    • 제11권5호
    • /
    • pp.17-25
    • /
    • 2022
  • 기존의 한국어 품사 태깅 방식은 복합어를 단위 형태소들로 분해하여 품사를 부착하므로 형태소 태그가 세분화되어 있어서 태거의 활용 목적에 따라 불필요하게 복잡하고 다양한 어절 유형들이 생성되는 단점이 있다. 딥러닝 언어처리에서는 키워드 추출 목적으로 품사 태거를 사용할 때 복합조사, 복합어미 등 문법 형태소들을 단위 형태소로 분할하지 않는 토큰화 방식이 효율적이다. 본 연구에서는 어절을 형태소 단위로 토큰화할 때 어휘형태소 부분과 문법형태소 부분 두 가지 유형의 토큰으로만 분할하는 Head-Tail 토큰화 기법을 사용하여 품사 태깅 문제를 단순화함으로써 어절이 과도하게 분해되는 문제점을 보완하였다. Head-Tail 토큰화된 데이터에 대해 통계적 기법과 딥러닝 모델로 품사 태깅을 시도하여 각 모델의 품사 태깅 정확도를 실험하였다. 통계 기반 품사 태거인 TnT 태거와 딥러닝 기반 품사 태거인 Bi-LSTM 태거를 사용하여 Head-Tail 토큰화된 데이터셋에 대한 품사 태깅을 수행하였다. TnT 태거와 Bi-LSTM 태거를 Head-Tail 토큰화된 데이터셋에 대해 학습하여 품사 태깅 정확도를 측정하였다. 그 결과로, TnT 태거는 97.00%인데 비해 Bi-LSTM 태거는 99.52%의 높은 정확도로 품사 태깅을 수행할 수 있음을 확인하였다.