• 제목/요약/키워드: 영어 문장처리

검색결과 131건 처리시간 0.023초

한국어 PropBank 및 세종 의미 표지 부착 말뭉치 구축을 위한 도구 (Annotation Tool for Construction Korean PropBank and Sejong Semantic Tagged Corpus)

  • 한대용;최한길;이정국;김종대;박찬영;송혜정;김유섭
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.35-39
    • /
    • 2012
  • 의미역 결정에 있어 의미 표지 부착 말뭉치는 필수적이지만 한국어 의미 표지 부착 말뭉치는 영어나 중국어와 같은 언어에 비하여 구축이 미비한 상황이다. 본 논문에서는 한국어 의미 분석을 위한 한국어 Proposition Bank(이하 PropBank)와 세종 의미 표지 부착 말뭉치의 구축을 위한 소프트웨어 도구를 개발하였다. 본 논문에서 구현한 도구는 문장 성분의 의존관계를 이용하여 주어진 술어에 대한 논항을 찾아주고, PropBank 프레임 파일과 세종 용언 격틀 사전을 활용하여 사용자가 능률적으로 한국어 PropBank와 세종 의미 표지 부착 말뭉치를 구축할 수 있도록 하였다.

  • PDF

한국어 텍스트의 개체 URI 탐지: 품사 태깅 독립적 개체명 인식과 중의성 해소 (A Non-morphological Approach for DBpedia URI Spotting within Korean Text)

  • 김영식;함영균;김지성;황도삼;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.100-106
    • /
    • 2014
  • URI spotting (탐지) 문제는 텍스트에 있는 단어열 중에서 URI로 대표되는 개체(entity)에 해당되는 것을 탐지하는 것이다. 이 문제는 두 개의 작은 문제를 순차적으로 해결하는 과제이다. 즉, 첫째는 어느 단어열이 URI에 해당하는 개체인가를 인식하는 것이고, 둘째는 개체 중의성 해소 문제로서 파악된 개체가 복수의 URI에 해당할 수 있는 의미적 모호성이 있을 때 그 URI중 하나를 선택하여 모호성을 해소하는 것이다. 이 논문은 디비피디아 URI를 대상으로 한다. URI 탐지 문제는 개체명 인식 문제와 비슷하나, URI(예를 들어 디비피디아 URI, 즉 Wikipedia 등재어)에 매핑될 수 있는 개체로 한정되므로 일반적인 개체명 인식 문제에서 단어열의 품사열이 기계학습의 자질로 들어가는 방법론과는 다른 자질을 사용할 수 있다. 이 논문에서는 한국어 텍스트를 대상으로 한국어 디비피디아 URI 탐지문제로서 SVM을 이용한 개체경계 인식 방법을 제시하여, 일반적 개체명 인식에서 나타나는 품사태거의 오류파급효과를 없애고자 한다. 또한 개체중의성 해소 문제는 의미모호성이 주변 문장들의 토픽에 따라 달라지므로, LDA를 활용하며 이를 영어 디비피디아 URI탐지에서 쓰인 방법들과 비교한다.

  • PDF

생성형 AI 모델을 활용한 요약 성능 평가 연구 ( A Study on Evaluating Summarization Performance using Generative Al Model)

  • 최규리;박서윤;강예지;김한샘
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.228-233
    • /
    • 2023
  • 인간의 수동 평가 시 시간과 비용의 소모, 주석자 간의 의견 불일치, 평가 결과의 품질 등 불가피한 한계가 발생한다. 본 논문에서는 맥락을 고려하고 긴 문장 입출력이 가능한 ChatGPT를 활용한 한국어 요약문 평가가 인간 평가를 대체하거나 보조하는 것이 가능한가에 대해 살펴보았다. 이를 위해 ChatGPT가 생성한 요약문에 정량적 평가와 정성적 평가를 진행하였으며 정량적 지표로 BERTScore, 정성적 지표로는 일관성, 관련성, 문법성, 유창성을 사용하였다. 평가 결과 ChatGPT4의 경우 인간 수동 평가를 보조할 수 있는 가능성이 있음을 확인하였다. ChatGPT가 영어 기반으로 학습된 모델임을 고려하여 오류 발견 성능을 검증하고자 한국어 오류 요약문으로 추가 평가를 진행하였다. 그 결과 ChatGPT3.5와 ChatGPT4의 오류 요약 평가 성능은 불안정하여 인간을 보조하기에는 아직 어려움이 있음을 확인하였다.

  • PDF

문학 텍스트를 활용한 머신러닝 언어모델 구현 (Machine Learning Language Model Implementation Using Literary Texts)

  • 전현구;정기철;권경아;이인성
    • 문화기술의 융합
    • /
    • 제7권2호
    • /
    • pp.427-436
    • /
    • 2021
  • 본 연구의 목적은 문학 텍스트를 학습한 머신 러닝 언어 모델을 구현하는데 있다. 문학 텍스트는 일상 대화문처럼 질문에 대한 답변이 분명하게 구분되지 않을 때가 많고 대명사와 비유적 표현, 지문, 독백 등으로 다양하게 구성되어 있다는 특징이 있다. 이런 점들이 알고리즘의 학습을 용이하지 않게 하여 문학 텍스트를 활용하는 기계 학습의 필요성을 저해시킨다. 문학 텍스트를 학습한 알고리즘이 일반 문장을 학습한 알고리즘에 비해 좀 더 인간 친화적인 상호작용을 보일 가능성이 높다. 본 논문은 '문학 텍스트를 학습한 머신 러닝 언어 모델 구현'에 관한 연구로서, 대화형 기계 학습에 문학 텍스트를 활용하는 연구에서 필수적으로 선행되어야 할 세 가지 텍스트 보정 작업을 제안한다: 대명사 처리, 대화쌍 늘리기, 데이터 증폭 등에 대한 내용으로 기계 학습이 용이하고 그 효과도 높다고 판단됩니다. 인공지능을 위한 학습용 데이터는 그 의미가 명료해야 기계 학습이 용이하고 그 효과도 높게 나타난다. 문학과 같은 특수한 장르의 텍스트를 자연어 처리 연구에 도입하는 것은 새로운 언어 학습 방식의 제안과 함께 머신 러닝의 학습 영역도 확장시켜 줄 것이다.

접사 구조 분석과 기계 학습에 기반한 한국어 의미 역 결정 (Korean Semantic Role Labeling Based on Suffix Structure Analysis and Machine Learning)

  • 석미란;김유섭
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.555-562
    • /
    • 2016
  • 의미 역 결정은 한 문장에서 술어와 그것의 논항간의 의미 관계를 결정해주는 것을 말한다. 한편 한국어 의미 역 결정은 영어와는 다른 한국어 고유의 특이한 언어 구조 때문에 많은 어려움을 가지고 있는데, 이러한 어려움 때문에 지금까지 제안된 다양한 방법들을 곧바로 적용하기에 어려움이 있었다. 다시 말하자면, 지금까지 제안된 방법들은 영어나 중국어에 적용했을 때에 비해서 한국어에 적용하면 낮은 성능을 보여주었던 것이다. 이러한 어려움을 해결하기 위하여 본 연구에서는 조사나 어미와 같은 접사구조를 분석하는 것에 초점을 맞추었다. 한국어는 일본어와 같은 교착어의 하나인데, 이들 교착어에서는 매우 잘 정리되어 있는 접사구조가 어휘에 반영되어 있다. 교착어는 바로 이들 잘 정의된 접사 구조 때문에 매우 자유로운 어순이 가능하다. 또한 본 연구에서는 단일 형태소로 이루어진 논항은 기초 통계량을 기준으로 의미 역 결정을 하였다. 또한 지지 벡터 기계(Support Vector Machine: SVM)과 조건부 무작위장(Conditional Random Fields: CRFs)와 갗은 기계 학습 알고리즘을 사용하여 앞에서 결정되지 못한 논항들의 의미 역을 결정하였다. 본 논문에서 제시된 방법은 기계 학습 접근 방식이 처리해야 하는 논항의 범위를 줄여주는 역할을 하는데, 이는 기계 학습 접근은 상대적으로 불확실하고 부정확한 의미 역 결정을 하기 때문이다. 실험에서는 본 연구는 15,224 논항을 사용하였는데, 약 83.24%의 f1 점수를 얻을 수 있었는데, 이는 한국어 의미 역 결정 연구에 있어서 해외에서 발표된 연구 중 가장 높은 성능으로 알려진 것에 비해 약 4.85%의 향상을 보여준 것이다.

조응성 정보와 중심화 이론에 기반한 영형 주어의 선행사 식별 (Antecedent Identification of Zero Subjects using Anaphoricity Information and Centering Theory)

  • 김계성;박성배;이상조
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권12호
    • /
    • pp.873-880
    • /
    • 2013
  • 본 논문은 지역적 응집성을 모델링하는 중심화 이론을 이용하여 한국어 영형대명사의 지시해결에 접근한다. 중심화 이론은 영어 대명사의 해결을 위해 널리 사용되고 있지만, 일본어, 한국어 등의 언어에서 나타나는 영형대명사 해결에 중심화의 프레임워크를 적용하는 데에는 많은 어려움이 따른다. Grosz et al.의 중심화 이론은 지시적 표현들의 비조응적 사용을 고려하지 않으므로, 문서에 나타나는 비조응적 기능의 영형 대명사가 중심화 이론을 이용한 영형대명사의 선행사 식별에 중요한 영향을 미친다. 본 논문은 이를 위해 먼저 절 간의 결속 관계를 이용하여 영형대명사, 특히 영형주어의 문장 내 조응성을 결정하고, 다음으로 중심화의 순위를 이용하여 그 영형의 선행사를 식별하는 방법을 제안한다. 실험을 통해 조응성 결정을 이용하는 제안한 방법이 이를 이용하지 않는 베이스라인 시스템보다 우수함을 알 수 있었다.

양방향 장단기 메모리 신경망을 이용한 욕설 검출 (Abusive Detection Using Bidirectional Long Short-Term Memory Networks)

  • 나인섭;이신우;이재학;고진광
    • 한국빅데이터학회지
    • /
    • 제4권2호
    • /
    • pp.35-45
    • /
    • 2019
  • 욕설과 비속어를 포함한 악성 댓글에 대한 피해는 최근 언론에 나오는 연애인의 자살뿐만 아니라 사회 전반에서 다양한 형태로 증가하고 있다. 이 논문에서는 양방향 장단기 메모리 신경망 모델을 이용하여 욕설을 검출하는 기법을 제시하였다. 웹 크룰러를 통해 웹상의 댓글을 수집하고, 영어나 특수문자 등의 사용하지 않은 글에 대해 불용어 처리를 하였다. 불용어 처리된 댓글에 대해 문장의 전·후 관계를 고려한 양방향 장단기 메모리 신경망 모델을 적용하여 욕설 여부를 판단하고 검출하였다. 양방향 장단기 메모리 신경망을 사용하기 위해 검출된 댓글에 대해 형태소 분석과 벡터화 과정을 거쳤으며 각 단어들에 욕설 해당 여부를 라벨링하여 진행하였다. 실험 결과 정제하고 수집된 총 9,288개의 댓글에 대해 88.79%의 성능을 나타내었다.

  • PDF

한국어의 사.피동문 처리에 관한 연구:실어증 환자의 처리 양상을 바탕으로 (The Processing of Causative and Passive Verbs in Korean)

  • 문영선;김동휘;남기춘
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2000년도 춘계 학술대회
    • /
    • pp.267-272
    • /
    • 2000
  • 본 연구에서는 한국어의 사·피동문을 실어증 환자가 처리하는 양상에 대하여 살펴보았다. 한국어의 사·피동문은 용언에 파생접사가 붙어 이루어지는 경우와 '-게 하다'나 '-어 지다'와 같이 구문 변형으로 하여, 실어증 환자에게 실험을 하였다. 실험에 참여한 환자는 명칭성 실어증 환자, 이해성 실어증 환자, 표현성 실어증 환자, 전반성 실어증 환자로 구성되어 있다. 본 실험에서는 단어 채워 넣기 과제(word completion task)를 사용하였다. 명칭성 실어증 환자의 경우 피동에서는 처리 오류를 보이는 반면, 사동에는 아무런 문제도 보이지 않았다. 표현성 실어증 환자의 경우, <피동-비변형>에서 오류를 많이 보였다. 이를 통해 한국어의 사·피동은 영어와 달리 통사상의 문제가 아니라는 결론을 내릴 수 있다. 즉 이미 사·피동 접사에 의해 파생된 단어가 어휘부에 저장되어 있고, 각 단어의 논항 정보에 따라 문장이 생성되는 것이다. 표현성 실어증 환자가 피동의 비변형에서 지배적인 오류를 보이는 것은 피동의 비변형이 타동사로서 변형인 피동형에 비해 하나의 논항을 더 취하기 때문이다. 이해성 실어증 환자의 경우 사·피동 생성에 별 어려움을 보이지 않았다. 이는 이해성 실어증 환자가 개별 어휘의 논항 정보에 손실을 적게 입고 있음을 시사하는 결과이다. 본 연구에서는 서로 다른 유형을 보이는 환자들을 대상으로 한국어의 사·피동의 처리양상을 대조한 결과, 첫재 사·피동은 서로 다른 통사, 의미상의 처리 양상을 보이고 있고, 둘째 파생접사가 결합된 형태로 어휘부에 저장되어 있는 개별 사·피동사에 의해 형성되는 것임을 확인하였다.d CO2 quantity causes flame temperature to fall since at high strain retes diluent effect is prevailing and at low strain rates the products inhibits chain branching. It is also found that the contribution of NO production by N2O and NO2 mechanisms are negligible and that thermal mechanism is concentrate on only the reaction zone. As strain rate and CO2 quantity increase, NO production is remarkably augmented.our 10%를 대용한 것이 무첨가한 것보다 많이 단단해졌음을 알 수 있었다. 혼합중의 반죽의 조사형 전자현미경 관찰로 amarans flour로 대체한 gluten이 단단해졌음을 알수 있었다. 유화제 stearly 칼슘, 혹은 hemicellulase를 amarans 10% 대체한 밀가루에 첨가하면 확연히 비용적을 증대시킬 수 있다는 사실을 알 수 있었다. quinoa는 명아주과 Chenopodium에 속하고 페루, 볼리비아 등의 고산지에서 재배 되어지는 것을 시료로 사용하였다. quinoa 분말은 중량의 5-20%을 quinoa를 대체하고 더욱이 분말중량에 대하여 0-200ppm의 lipase를 lipid(밀가루의 2-3배)에 대하여 품질개량제로서 이용했다.

  • PDF

영한 번역의 언어학적 평가 모델 연구 - 기계번역을 중심으로 - (A Linguistic Evaluation of English-to-Korean Translation - Centered on Machine Translation -)

  • 김덕봉;조병은;김명철;권용현
    • 인지과학
    • /
    • 제12권4호
    • /
    • pp.11-27
    • /
    • 2001
  • 기계번역 품질 평가는 중대한 문제이다. 기계번역의 품질이 사용자 요구와 거리가 상당히 있는 현재의 상황에서 기계번역 시스템의 객관적 평가는 기계번역 소프트웨어 사용자와 판매자 간의 신뢰를 구축하고 개발자들 간에 생산적인 경쟁관계를 조성하게 하여 결과적으로 기계번역 품질의 고급화를 지속적으로 유도하는 역할을 할 것이다. 이를 위해서는 특히 언어학적 측면과 자료처리 측면에서 개선이 계속되고 있는지를 확인할 수 있도록 기계번역 시스템의 품질을 평가할 수 있는 연구가 있어야 한다. 본 논문에서는 이런 정들을 고려해 넣은 영한 기계번역의 언어학적 평가 방법을 제시하고 이를 몇 개의 상용 기계번역 시스템을 대상으로 실험하여 실험결과를 보고한다. 이 방법은 기본적으로 언어현상과 학습수준으로 분류된 3.373 영어 문장으로 구성된 평가자료에 기반하고 있다.

  • PDF

Structural SVM을 이용한 백과사전 문서 내 생략 문장성분 복원 (Restoring Omitted Sentence Constituents in Encyclopedia Documents Using Structural SVM)

  • 황민국;김영태;나동열;임수종;김현기
    • 지능정보연구
    • /
    • 제21권2호
    • /
    • pp.131-150
    • /
    • 2015
  • 영어와 달리 한국어나 일본어 문장의 경우 용언의 필수격을 채우는 명사구가 생략되는 무형대용어 현상이 빈번하다. 특히 백과사전이나 위키피디아의 문서에서 표제어로 채울 수 있는 격의 경우 그 격이 문장에서 더 쉽게 생략된다. 정보검색, 질의응답 시스템 등 주요 지능형 응용시스템들은 백과사전류의 문서에서 주요한 정보를 추출하여 수집하여야 한다. 그러나 이러한 명사구 생략 현상으로 인해 양질의 정보추출이 어렵다. 본 논문에서는 백과사전 종류 문서에서 생략된 명사구 즉 무형대용어를 복원하는 시스템의 개발을 다루었다. 우리 시스템이 다루는 문제는 자연어처리의 무형대용어 해결 문제와 거의 유사하나, 우리 문제의 경우 문서의 일부가 아닌 표제어도 복원에 이용할 수 있다는 점이 다르다. 무형대용어 복원을 위해서는 먼저 무형대용어의 탐지 즉 문서 내에서 명사구 생략이 일어난 곳을 찾는 작업을 수행한다. 그 다음 무형대용어의 선행어 탐색 즉 무형대용어의 복원에 사용될 명사구를 문서 내에서 찾는 작업을 수행한다. 문서 내에서 선행어를 발견하지 못하면 표제어를 이용한 복원을 시도해 본다. 우리 방법의 특징은 복원에 사용된 문장성분을 찾기 위해 Structural SVM을 사용하는 것이다. 문서 내에서 생략이 일어난 위치보다 앞에 나온 명사구들에 대해 Structural SVM에 의한 시퀀스 레이블링(sequence labeling) 작업을 시행하여 복원에 이용 가능한 명사구인 선행어를 찾아내어 이를 이용하여 복원 작업을 수행한다. 우리 시스템의 성능은 F1 = 68.58로 측정되었으며 이는 의미정보의 이용 없이 달성한 점을 감안하면 높은 수준으로 평가된다.