• 제목/요약/키워드: 어휘 통계

검색결과 121건 처리시간 0.024초

어휘판단 과제 시 보이는 언어현상의 계산주의적 모델 설계 및 구현 (Design and Implementation of Computational Model Simulating Language Phenomena in Lexical Decision Task)

  • 박기남;임희석;남기춘
    • 컴퓨터교육학회논문지
    • /
    • 제9권2호
    • /
    • pp.89-99
    • /
    • 2006
  • 본 논문은 인지신경과학의 연구 방법으로 주로 사용되는 어휘판단과제LDT:ILexical decision task) 시 보이는 언어현상을 모사할 수 있는 계산주의 모델(computational model)을 제안한다. 제안하는 모델은 LDT 시 언어와 독립적으로 관찰되는 언어현상인 빈도효과, 어휘성효과, 단어유사성효과, 시각적쇠퇴효과, 의미점화효과, 그리고 반복점화효과 등을 모사할 수 있도록 설계되었다. 실험결과, 제안한 모델은 통계적으로 유의미하게 빈도효과, 어휘성 효과, 단어유사성 효과, 시각적 쇠퇴효과 그리고 의미점화 효과를 모사할 수 있었으며, LDT 시 인간 피험자와 유사한 양상의 수행 양식을 보였다.

  • PDF

의미 유사도를 활용한 Distant Supervision 기반의 트리플 생성 성능 향상 (Improving The Performance of Triple Generation Based on Distant Supervision By Using Semantic Similarity)

  • 윤희근;최수정;박성배;박세영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.23-28
    • /
    • 2015
  • 본 논문에서는 한국어 트리플 생성 시스템의 정확도를 향상시키기 위한 distant supervision 기반의 신뢰도 측정 방법을 제안한다. 기존의 많은 패턴 기반의 트리플 생성 시스템에는 distant supervision의 기본 가정으로 인해 다수의 오류 패턴이 발생할 여지가 크다. 기존의 연구에서는 오류 패턴을 제거하기 위하여 발생 빈도, 공기 횟수 등의 통계에 기반하여 간접적으로 신뢰도를 측정하였다. 본 논문에서는 한국어 패턴과 영어 프로퍼티 사이의 의미 유사도를 측정함으로써 통계에 기반한 방법보다 더 정확한 신뢰도 측정 방법을 제안한다. 비지도 학습 방법인 워드임베딩을 활용하여 어휘의 의미를 학습하고, 이들 사이의 유사도를 측정한다. 한국어 패턴과 영어 프로퍼티의 어휘 불일치 문제를 해결하기 위하여 정준상관분석을 활용하였다. 실험 결과에 따르면 본 논문에서 제안한 패턴 신뢰도 측정 방법은 통계 기반의 방법에 비해 정확률이 9%나 더 높은 트리플 집합을 생성함을 보여주어, 의미 유사도를 반영한 신뢰도 측정이 기존의 통계 기반 신뢰도 측정보다 고품질 트리플 생성에 더 적합함을 확인하였다.

  • PDF

어절 N-gram을 이용한 문맥의존 철자오류 교정 (Context-sensitive Spelling Error Correction using Eojeol N-gram)

  • 김민호;권혁철;최성기
    • 정보과학회 논문지
    • /
    • 제41권12호
    • /
    • pp.1081-1089
    • /
    • 2014
  • 문맥의존 철자오류의 교정 방법은 크게 규칙을 이용한 방법과 통계 정보에 기반을 둔 방법으로 나뉘며, 이중 통계적 오류 교정 방법을 중심으로 연구가 진행되었다. 통계적 오류 방법은 문맥의존 철자오류 문제를 어의 중의성 해소 문제로 간주한 방법으로서, 교정 대상 어휘와 대치 후보 어휘로 이루어진 교정 어휘 쌍을 문맥에 따라 분류하는 방법이다. 본 논문에서는 본 연구진의 기존 연구 결과인 교정 어휘 쌍을 이용한 확률 모델의 성능 향상을 위해 어절 n-gram 모델을 기존 모델에 결합하는 방법을 제안한다. 본 논문에서 제안하는 결합 모델은 각 모델을 통해 계산된 문장의 확률을 보간(interpolation)하는 방법과 각각의 모델을 차례대로 적용하는 방법이다. 본 논문에서 제안한 두 가지 결합 모델 모두 기존 모델이나 어절 n-gram만 이용한 모델보다 높은 정확도와 재현율을 보인다.

세종 계획 말뭉치를 이용한 품사 태거의 성능 개선 (Improving Part-of-speech Tagger by using Sejong Corpus)

  • 김형준;임동희;강승식;은지현;장두성
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
    • /
    • pp.177-180
    • /
    • 2007
  • 품사 태거를 구축할 때 어휘사전 증축이나 변환을 통해 성능 개선을 시도하지만 적당한 품사 태깅 코퍼스의 부재와 태그셋 불일치로 인한 변환 과정에 어려움을 겪고 있다. 본 논문에서는 세종 말뭉치 품사 태깅 코퍼스를 이용하여 품사 태깅용 어휘사전을 증축하고 품사 태거에 적용하여 성능을 개선하는 과정을 기술하였다. 품사 태거의 성능을 개선하기 위하여 세종 코퍼스를 태거의 태그셋에 적합하게 변환하고, 변환된 코퍼스에서 추출된 통계 정보를 품사 태거에서 활용하였다. 세종 코퍼스를 이용하여 품사 태거를 위한 어휘사전을 보강함으로써 품사 태거의 성능을 향상시킬 수 있었다.

  • PDF

규칙과 통계 정보에 기반을 둔 상품평 분석 시스템 (A Product Review Analysis System using Rules and Statistical Information)

  • 김민호;최현수;권혁철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.257-259
    • /
    • 2013
  • 상품평은 구매 예정자의 의사 결정에 큰 도움을 준다. 그러나 하나의 상품에 관한 상품평의 수가 많고 의견도 다양하여 모든 상품평을 읽고 상품에 대한 직관적인 판단을 내리기가 어렵다. 본 논문에서는 하나의 상품에 대한 모든 상품평을 분석하고 각각의 속성별로 극성(긍정, 부정) 정보를 추출하여 구매 예정자에게 제공함으로써 해당 상품이 어떠한 평가를 받고 있는지 빠른 판단이 가능하게 한다. 한국어의 언어적 특징을 반영하여 속성별 어휘 자질을 추출하고 이를 바탕으로 상품의 속성별 극성을 판단한다. 또한, 기구축한 속성별 어휘 사전의 자료부족 문제로 말미암아 상품평을 분석할 수 없을 때는 전체 어휘의 극성정보를 이용하여 상품의 전체 극성을 판단한다.

초등학교 6학년 국어교과서의 어휘 통계조사 (Statistical Survey of Vocabulary in Korean Textbook for Elementary School 6th-Grade)

  • 김종영;김철수
    • 한국콘텐츠학회논문지
    • /
    • 제12권5호
    • /
    • pp.515-524
    • /
    • 2012
  • 본 연구는 초등학교 6학년 국어교과서 4종(6-1 읽기, 6-1 말하기 듣기 쓰기, 6-2 읽기, 6-2 말하기 듣기 쓰기)에 나타나는 어휘들에 대한 통계(전체 음절수, 음절종류, 음절 출현빈도, 어절 개수, 어절 종류, 어절 평균길이, 어절 출현빈도, 품사 등)를 조사하였다. 한글 음절수는 194,683개, 음절종류는 1,290개, 평균 음절 출현빈도는 150.9회이다. 어절 개수는 70,185개, 어절 종류는 22,647개, 어절 평균 출현빈도는 3.1회이다. 평균 음절 길이는 2.8음절이며, 가장 긴 어절은 10음절이다. 품사는 읽기 교과는 명사가 말하기 듣기 쓰기교과는 동사가 약간 많다.

효율적인 상품평 분석을 위한 어휘 통계 정보 기반 평가 항목 추출 시스템 (Automatic Product Feature Extraction for Efficient Analysis of Product Reviews Using Term Statistics)

  • 이우철;이현아;이공주
    • 정보처리학회논문지B
    • /
    • 제16B권6호
    • /
    • pp.497-502
    • /
    • 2009
  • 본 논문에서는 상품평의 효율적인 분석을 위한 평가 항목 추출 시스템을 제안한다. 시스템은 크게 상품평 수집-보정과 평가 항목 추출의 두 단계로 구성된다. 상품평 수집-보정에서는 인터넷 쇼핑몰에서 상품평을 수집하고 상품평 특유의 구어체 표현과 맞춤법 오류 등을 처리한다. 평가 항목 추출에서는 스커트 상품 카테고리의 경우 ‘사이즈', ‘스타일'과 같이 상품을 평가하는 기준이 되는 항목을 상품평과 인터넷 상의 웹 문서를 활용하여 자동으로 추출한다. 상품평에 나타나는 명사들을 평가 항목 후보로 설정하고, 각 후보 명사의 상품평에서의 어휘 통계인 내부연관도와, 후보 명사와 상품 카테고리명의 웹 문서에서의 공기 빈도에 기반하여 계산된 외부연관도를 결합하여 상품과 평가 항목 후보의 연관도를 계산한다. 본 논문의 평가 항목 추출 방식은 평균 재현율 90%를 보여 기존 연구보다 우수한 결과를 보였다.

최대 엔트로피 모텔 기반 품사 태거의 성능 향상 기법 (Techniques for improving performance of POS tagger based on Maximum Entropy Model)

  • 조민희;김명선;박재한;박의규;나동열
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2004년도 제16회 한글.언어.인지 한술대회
    • /
    • pp.73-81
    • /
    • 2004
  • 한국어에서의 품사 결정 문제는 형태론적 중의성 문제도 있지만, 영어에는 발생하지 않는 동품사 중의성 문제로 더 까다롭다. 이러한 문제들은 어휘 문맥을 고려하지 않고서는 해결하기 어렵다. 통계 자료 부족 문제에 쉽게 대처하는 모델이 필요하며 문맥에 따른 품사를 결정하고자 할 때 서로 다른 형태의 여러 가지 어휘 문맥 정보를 반영할 수 있는 모델이 필요하다. 본 논문에서는 이런 점에 가장 적합한 최대 엔트로피(maximum entropy : ME) 모델을 품사태깅 작업에 이용하는 문제에 대해 다룬다. 어휘 문맥 정보를 이용하기 위한 자질함수가 매우 많아지는 문제에 대처하기 위해 필요에 따라 어휘 문맥 정보를 사전화 한다. 본 시스템의 특징으로는 어절 단위 품사 태깅을 위한 처리 기법. 어절의 형태소 분석열에 대한 어절 내부 확률 계산. ME 모델의 정규화 과정 생략에 의한 성능 향상, 디코딩 경로의 확장과 같은 점들이 있다. 실험을 통하여 본 연구의 기법이 높은 성능의 시스템을 달성할 수 있음을 알게 되었다.

  • PDF

한국어 학습자의 어휘복잡성, 구문복잡성 및 언어능력 변인들 간의 상관에 관한 융합 연구 (The Study of Convergence on Lexical Complexity, Syntax Complexity, and Correlation among Language Variables)

  • 이미경;노병호;강안영
    • 한국융합학회논문지
    • /
    • 제8권4호
    • /
    • pp.219-229
    • /
    • 2017
  • 본 연구는 한국인 학습자의 어휘복잡성 및 구문복잡성에 대해서 알아보았다. 이를 통해 이들의 한국어 실제 능력을 알아보며, 이를 토대로 이들에 대한 한국어 지도 방향을 설정하기 위해 실시하였다. 연구 결과 첫째, 국적에 따른 어휘복잡성 및 구문복잡성에는 유의한 차이가 나타나지 않았다. 둘째, 한국어 학습기간에 따른 어휘복잡성과 구문복잡성을 살펴본 결과 어휘복잡성의 하위 변인 중 다른 낱말 수에서 통계적으로 유의한 차이가 나타났으나, 구문복잡성의 하위 변인에서는 유의한 차이가 나타나지 않았다. 셋째, 한국거주기간, 한국어학습기간 및 언어 관련 변인들과의 상관을 살펴본 결과 한국어 학습기간과 TTR을 제외한 다른 변인들은 유의한 상관을 보였다. 연구결과에 따른 융합적 관점에서 한국어 학습자들을 위한 교육적 방향에 대하여 논의하였다.

한국인 영어 학습자의 작업 기억 용량과 영어 어휘 수준 및 듣기 능력 관계 연구 (A Relationship Between Korean EFL Learners' Working Memory Capacity, English Vocabulary Size, and Listening Competence)

  • 이고은;최선희
    • 한국융합학회논문지
    • /
    • 제12권12호
    • /
    • pp.365-370
    • /
    • 2021
  • 본 연구의 목적은 한국어 EFL 학습자의 작업 기억과 영어 어휘 및 듣기 능력의 관계를 조사하는 것이다. 한국의 한 대학교에 재학 중인 30명의 영어 교육 전공자들이 본 연구에 참여했다. 참가자의 작업 용량을 측정하기 위해 거꾸로 숫자 폭 과업과 작업 폭 과업을 사용하였으며, 이들의 영어 어휘 수준 및 듣기 능력은 '듣기 어휘 수준 시험(LVLT)'과 '미시건 영어 시험(MET)'을 각각 사용하여 측정하였다. 데이터 분석 결과, 대학생 참가자들의 작업 기억 저장 용량은 매우 다양한 것으로 나타났으며, 작업 기억 저장 용량이 클수록 영어 입력 정보를 더 잘 처리하는 것으로 나타났다. 그러나 상대적으로 작은 규모의 동질적인 연구 참가자들의 특성으로 인해 작업 기억 용량, 영어 어휘 수준, 그리고 영어 듣기 능력 사이에 통계적으로 유의한 상관관계는 발견되지 않았다.