• 제목/요약/키워드: 공통단어 분석

검색결과 64건 처리시간 0.03초

과학기술 정책기조 변화 분석과 국가 연구개발 투자방향 연구 (The Analysis of S&T Policy Changes and Investment Direction of National R&D)

  • 최종일;김정언
    • 디지털융복합연구
    • /
    • 제10권2호
    • /
    • pp.11-23
    • /
    • 2012
  • 본 연구는 우리나라 과학기술정책 기조 변화에 관한 중장기적 비교 분석을 통해 정책기조의 변화를 파악하고 있다. 과학계량학(scientometrics)적 접근 방법을 이용하여 국가연구개발투자 효율성 관련 정책의 기조변화 및 이슈를 유형화하고, 시기별 과학기술투자 효율화 정책 기조의 방향을 분석한다. 정책기조의 변화 분석은 과학기술혁신5개년계획(1999-2002)부터 MB정부 과학기술기본계획(2008-현재)의 과학기술기본계획 문서를 이용하여, 과학기술투자 효율화 정책기조 변화에 관해서 공통단어분석을 수행하고 있다. 구체적으로 한 단락 안에 연구개발투자 효율성과 관련된 공통출현단어들을 추출하여 단어별로 빈도수, 상대빈도, 시기별 관련성 등을 분석한다. 연구개발투자 효율성과 공통으로 출현하는 공통출현단어의 순위유사성 분석과 중복률 분석을 종합하면, 연구개발투자 효율성 관련 정책기조의 변화는 Regime 1(과학기술혁신 5개년 계획과 참여정부 과학기술기본계획), Regime 2(과학기술기본계획과 참여정부 과학기술기본계획), Regime 3(MB 정부의 과학기술기본계획)로 구분할 수 있었다.

문장 및 어절 유사도를 이용한 표절 탐지 시스템 구현 (Implementation of A Plagiarism Detecting System with Sentence and Syntactic Word Similarities)

  • 맹주수;박지수;손진곤
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권3호
    • /
    • pp.109-114
    • /
    • 2019
  • 기존 표절 탐지 시스템은 형태소 분석을 기반으로 공통 단어의 빈도수를 이용해 문서의 유사도를 측정한다. 그러나 주제가 같아 유사 단어가 많이 쓰인 경우, 문장 단위로 일부만 발췌 표절한 경우, 그리고 조사와 어미의 유사성이 있는 경우는 공통 단어의 빈도수만으로는 정확한 유사도를 측정하는데 한계가 있다. 따라서 본 논문에서는 공통 단어 빈도수 기반의 유사도 측정 외에 문장 유사도와 어절 유사도를 추가적으로 측정해 유사도의 정확성을 높일 수 있는 표절 탐지 시스템을 설계하고 구현하였다. 실험 결과, 문장 유사도를 측정함으로써 문장 단위로 표절이 이루어진 경우를 발견할 수 있었고, 어절 유사도를 추가로 측정함으로써 부분표절이 일어난 경우라도 조사나 어미까지 그대로 사용한 표절의 경우 등을 발견할 수 있었다.

양전자방출단층촬영을 이용한 국어단어와 영어단어의 어의처리 신경매개체의 특성 비교 (Comparison of the Neural Substrates Mediating the Semantic Processing of Korean and English Words Using Positron Emission Tomography)

  • 김재진;김명선;조상수;권준수;이재성;이동수;정준기;이명철
    • 대한핵의학회지
    • /
    • 제35권3호
    • /
    • pp.142-151
    • /
    • 2001
  • 목적: 높은 숙련도의 국어와 낮은 숙련도의 영어의 단어들을 사용하는 시각 과제에서 어의처리에 매개되는 뇌 신경회로의 공통요소와 특이요소를 탐색하고자 하였다. 대상 및 방법: 정상인 13명을 대상으로 국어단어에 대한 어의처리 과제, 영어단어에 대한 어의처리 과제, 단순 도형을 이용한 대조과제 등 세 가지 인지과제를 주고, 과제 수행 동안 $[^{15}O]H_2O$를 추적자로 한 양전자방출단층촬영을 실시한 후 감산분석을 통해 두 언어에 대한 어의처리 과정에 공통적으로 관여하는 뇌영역과 각각에 특이하게 작용하는 뇌영역을 탐색하였다. 결과: 국어 및 영어단어에 공통적으로 어의처리 과정에 좌측 편측성의 방추상이랑(fusiform gyrus)의 활성화가 관찰되었고, 추가적으로 영어단어의 경우 좌측 하측두이랑(inferior temporal gyrus)의 활성화가 관찰되었다. 국어단어에 특이한 어의처리 영역은 우측 일차청각영역을 포함하는 뇌 전반에 걸친 다발성 활성화가 특징이었던데 반해, 영어단어에 특이한 어의처리 영역은 우측 시각영역에 한정된 양상이었다. 결론: 높은 숙련도의 국어단어를 이용한 시각적 과제수행에는 내적 음운처리가 중요한데 비해, 낮은 숙련도의 영어단어를 이용한 과제수행의 경우에는 주로 시각적 주사(visual scanning)가 중요한 요소를 구성한다.

  • PDF

토픽 모형을 이용한 텍스트 데이터의 단어 선택 (Feature selection for text data via topic modeling)

  • 장우솔;김예은;손원
    • 응용통계연구
    • /
    • 제35권6호
    • /
    • pp.739-754
    • /
    • 2022
  • 텍스트 데이터는 일반적으로 많은 변수를 포함하고 있으며 변수들 사이의 연관성도 높아 통계 분석의 정확성, 효율성 등에서 문제가 생길 수 있다. 이러한 문제점에 대처하기 위해 목표 변수가 주어진 지도 학습에서는 목표 변수를 잘 설명할 수 있는 단어들을 선택하여 이 단어들만 통계 분석에 이용하기도 한다. 반면, 비지도 학습에서는 목표 변수가 주어지지 않으므로 지도 학습에서와 같은 단어 선택 절차를 활용하기 어렵다. 이 연구에서는 토픽 모형을 이용하여 지도 학습에서의 목표 변수를 대신할 수 있는 토픽을 생성하고 각 토픽별로 연관성이 높은 단어들을 선택하는 단어 선택 절차를 제안한다. 제안된 절차를 실제 텍스트 데이터에 적용한 결과, 단어 선택 절차를 이용하면 많은 토픽에서 공통적으로 자주 등장하는 단어들을 제거함으로써 토픽을 더 명확하게 식별할 수 있었다. 또한, 군집 분석에 적용한 결과, 군집과 범주 사이에 높은 연관성을 가지는 군집 분석 결과를 얻을 수 있는 것으로 나타났다. 목표 변수에 대한 정보없이 토픽 모형을 이용하여 선택한 단어들을 분류 분석에 적용하였을 때 목표 변수를 이용하여 단어들을 선택한 경우와 비슷한 분류 정확성을 얻을 수 있음도 확인하였다.

딥러닝을 이용한 한국어 어의 중의성 해소 (A Word Sense Disambiguation for Korean Language Using Deep Learning)

  • 김홍진;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.380-382
    • /
    • 2019
  • 어의 중의성 문제는 자연어 분석 과정에서 공통적으로 발생하는 문제로 한 가지의 단어 표현이 여러 의미로 해석될 수 있기 때문에 발생한다. 이를 해결하기 위한 어의 중의성 해소는 입력 문장 중 여러 개의 의미로 해석될 수 있는 단어가 현재 문맥에서 어떤 의미로 사용되었는지 분류하는 기술이다. 어의 중의성 해소는 입력 문장의 의미를 명확하게 해주어 정보검색의 성능을 향상시키는데 중요한 역할을 한다. 본 논문에서는 딥러닝을 이용하여 어의 중의성 해소를 수행하며 기존 모델의 단점을 극복하여 입력 문장에서 중의적 단어를 판별하는 작업과 그 단어의 의미를 분류하는 작업을 동시에 수행하는 모델을 제안한다.

  • PDF

기업 자기소개서 대상 텍스트 마이닝 적용 연구 (A Study on the Application of Text Mining for Corporate Application form)

  • 김경식;김성보;김응모
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 추계학술발표대회
    • /
    • pp.668-670
    • /
    • 2017
  • 최근 우리 나라 청년실업률의 증가와 함께 기업에서는 좋은 인재를 뽑기 위하여 정형화된 자격증보다는 지원자의 경험과 역량을 보기 위한 자기소개서에 대한 중요성이 커지고 있다. 그리하여 비정형 데이터를 분석하는 대표적인 방법인 텍스트 마이닝 기법을 이용하여 취업 커뮤니티에 올라 온 합격한 삼성, 현대자동차, LG 자기소개서 데이터를 얻어내고 그 후 KONLPY 패키지를 통하여 형태소 분석을 실시한다. 합격자소서에 자주 나온 단어의 순위를 매기고 공통적으로 많이 들어간 단어와 각 대기업 별 차이가 나는 단어를 회사의 인재상과 비교해본다. 그리고 취업 준비생들에게 효율적인 방법을 통해 자기소개서를 작성하여 합격률을 높이는 방향으로 사용한다.

다국어 공통 음소 체계를 이용한 금기어 매칭 시스템 (Taboo Word Matching System Using a Common Multilingual Phoneme System)

  • 김다희;신사임;장달원;이종설;장세진
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2015년도 하계학술대회
    • /
    • pp.155-158
    • /
    • 2015
  • 단어의 유사도 측정 알고리즘은 DB 인덱싱, 필터링, 소스코드 분석 소프트웨어, 음성 인식 등 다양한 분야에서 활용되고 있다. 하지만 기존의 단어의 유사도만 비교하는 시스템에는 발음이 비슷한 유사단어나 오타가 있는 유사단어들은 측정을 못하는 단점이 있다. 언어의 유사도 측정에서는 알파벳만으로 볼게 아니라 언어 발음의 발화적 특성 또한 고려되어야 한다. 본 논문에서는 글로벌 시장에서의 다국적 기업들의 제품이나 문화 수출 등의 도움이 되는 각 나라의 금기어와의 발화적 특성까지 고려한 단어 유사도를 측정 할 수 있는 시스템을 제안한다. 11개국의 4개 언어 총 21487개의 금기어 단어를 금기어 데이터로 사용하였다. 제안하는 방법의 성능을 평가하기 위하여 타 알고리즘과의 성능비교와 여러 나라의 다양한 언어의 사용자들로부터 사용자 평가를 수행하였고 제안하는 방법이 발음 유사도를 측정하지 않는 알고리즘보다 우수한 성능을 보임을 확인하였다.

  • PDF

코사인 유사도를 기반의 온톨로지를 이용한 문장유사도 분석 (Sentence Similarity Analysis using Ontology Based on Cosine Similarity)

  • 황치곤;윤창표;윤대열
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.441-443
    • /
    • 2021
  • 문장 또는 텍스트 유사도란 두 가지 문장의 유사한 정도를 나타내는 척도이다. 텍스트의 유사도를 측정하는 기법으로 자카드 유사도, 코사인 유사도, 유클리디언 유사도, 맨하탄 유사도 등과 같이 있다. 현재 코사인 유사도 기법을 가장 많이 사용하고 있으나 이는 문장에서 단어의 출현 여부와 빈도수에 따른 분석이기 때문에, 의미적 관계에 대한 분석이 부족하다. 이에 우리는 온톨로지를 이용하여 단어 간의 관계를 부여하고, 두 문장에서 공통으로 포함된 단어를 추출할 때 의미적 유사성을 포함함으로써 문장의 유사도에 분석의 효율을 향상하고자 한다.

  • PDF

공학학술영어에 대한 코퍼스 분석 (A Corpus Analysis to the Engineering Academic English)

  • 하명정;이유진
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2017년도 춘계 종합학술대회 논문집
    • /
    • pp.139-140
    • /
    • 2017
  • 본 연구는 공과대학 학생들이 배우는 전공영어로서의 특수목적영어(ESP)에 대해 코퍼스 기반 접근법의 유용성을 논하고자 한다. 이에 본 연구에서는 공과대학에서 사용하는 전공텍스트를 코퍼스로 구축하여 컴퓨터에 기반한 분석에서 나온 결과들을 제시하면서 공학영어 코퍼스의 특성을 살펴보고 궁극적으로 영어매개수업을 듣는 공대학생들의 데이터 기반 학습에 일조하고자 한다. 본 연구에서 사용된 목표 코퍼스는 세부전공과 상관없이 공통적으로 적용되는 공학과목을 선정하여 구축되었고 비교대상인 참조 코퍼스는 British National Corpus를 사용하였다. 공학영어 코퍼스는 총 단어 180만개, 단어 유형 만 6천여개로 이루어졌고 코퍼스 분석도구인 AntConc 3.4.4를 이용하여 빈도 분석과 키워드 분석이 수행되었다. 고빈도수 어휘의 분석결과 목표 코퍼스와 참조 코퍼스에서 가장 빈번하게 나타나는 어휘군은 내용어(content words)보다는 기능어(function words) 형태가 많다는 점이 나타났고 내용어군만 분석결과 참조코퍼스에 비해 공학영어 코퍼스에 과학영역의 변이어가 많이 분포하고 있음이 드러났다. 또한 키워드 분석에서는 공학영어 코퍼스의 키워드 동사군이 전문적인 어휘(technical vocabulary)보다는 비전문적인 학술적 어휘(non-technical academic vocabulary)가 상대적으로 많이 분포되어 있음이 드러나 ESP교육을 실시함에 있어서 전공관련 전문영어와 함께 일반적인 학술 영어에 대한 인식을 고양해야 할 필요성이 대두된다.

  • PDF

불균형 텍스트 데이터의 변수 선택에 있어서의 카이제곱통계량과 정보이득의 특징 (Properties of chi-square statistic and information gain for feature selection of imbalanced text data)

  • 문혜인;손원
    • 응용통계연구
    • /
    • 제35권4호
    • /
    • pp.469-484
    • /
    • 2022
  • 텍스트 데이터는 일반적으로 많은 단어로 이루어져 있으므로 변수의 수가 매우 많은 고차원 데이터에 해당된다. 이러한 고차원 데이터에서는 계산 효율성과 통계분석의 정확성을 높이기 위해 많은 변수 중 중요한 변수를 선택하기 위한 절차를 거치는 경우가 많다. 텍스트 데이터에서도 많은 단어 중 중요한 단어를 선택하기 위해 여러가지 방법들이 사용되고 있다. 이 연구에서는 단어 선택을 위한 대표적인 필터링 방법인 카이제곱통계량과 정보이득의 공통점과 차이점을 살펴보고 실제 텍스트 데이터에서 이 단어선택 방법들의 성질을 확인해보았다. 카이제곱통계량과 정보이득은 비음성, 볼록성 등의 성질을 공유하지만 불균형 텍스트 데이터에서 카이제곱통계량이 양변수 위주로 단어를 선택하는 반면, 정보이득은 음변수도 상대적으로 많이 선택하는 경향이 있음을 확인하였다.