• Title/Summary/Keyword: 텍스트 연구

Search Result 3,471, Processing Time 0.038 seconds

Biological Language Resource Construction and Named Entity Recognition System using UMLS (ULMS를 이용한 언어자원 구축 및 생물학적 개체명 인식 시스템)

  • Lee, Hyun-Sook;Kim, Tae-Hyun;Jang, Hyun-Chul;Park, Soo-Jun;Park, Seon-Hee
    • Annual Conference of KIPS
    • /
    • 2003.11b
    • /
    • pp.833-836
    • /
    • 2003
  • 본 논문에서는 생물학적 문헌으로부터 유의미한 정보를 추출하는 바이오 텍스트 마이닝의 기본 단계인 생물학적 개체명 인식 모델을 제안하였다. 기존의 생물학적 개체명 인식은 규칙 혹은 코퍼스 구축뿐만 아니라 개체명 인식에 요구되는 기본 자원을 구축하는데만도 많은 시간과 비용이 요구되므로 한정된 도메인을 대상으로 연구가 진행되어 왔다. 본 논문에서 제안하는 개체명 인식 방법은 이러한 비용 문제 및 새로운 도메인으로의 이식성 문제를 극복하기 위해 UMLS 로부터 통계적인 방법으로 정보를 추출해 기본적인 언어자원을 구축하고 이를 이용해 규칙을 생성함으로써 개체명인식을 수행한다. 본 연구에서 제안하는 방법은 바이오 텍스트 마이닝 연구의 도메인 한정적인 문제를 해결하는데 기여할 수 있을 것으로 기대된다.

  • PDF

A Study on composition of the Namespace for an Imaging URI standardization (화상 URI 표준화를 위한 네임스페이스 구성에 관한 연구)

  • 최지원;김기천
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10c
    • /
    • pp.544-546
    • /
    • 2003
  • 인터넷의 급속한 발전으로 인해 네트워크를 통한 텍스트, 이미지. 사운드, 비디오 등과 같은 디지털 컨텐츠의 유통이 점차 대용량으로 변화하고 있다. 이러한 컨텐츠의 유통을 위해 쓰이는 URI는 텍스트의 한 페이지, 사운드 또는 비디오 클립, 정지 화상과 동영상은 물론 프로그램과 같은 컨텐츠를 인식하는데 쓰이고 URL을 이용하여 정보자원의 물리적 위치를 표시하는 문자열을 통해 정보자원에 접근하고 검색하게 된다. 하지만 휴대용 단말기를 이용하는 경우 단점이라 할 수 있는 입력기능의 제한으로 인해 정보이용이 쉽지 않기 때문에 정보 접근을 위한 새로운 URI 체계와 서비스 환경이 필요하다. 새로운 URI 체계에 하나의 대안으로 바코드나 특정 이미지와 같은 화상을 이용할 수 있는 방법이 있으며 이를 화상 URI로 체계화시키는 작업이 필요하다. 본 논문에서는 관련 기술들을 연구하고 화상 URI 시스템에서 사용되어질 URI 체계를 현재 세계 표준으로 유력한 DOI를 따르는 네임스페이스 구성에 관하여 연구하고 서비스 제공을 위해 구축되어져야할 환경에 관해 기술한다.

  • PDF

Some Characteristics of Language Production Processes: The Effects of Knowledge Types, Text Types, and Production Modes (언어 산출 과정의 몇 가지 특성: - 지식 유형, 텍스트 유형, 산출양식이 언어 산출에 미치는 효과)

  • Rho, Young-Hee;Lee, Jung-Mo
    • Annual Conference on Human and Language Technology
    • /
    • 1993.10a
    • /
    • pp.241-247
    • /
    • 1993
  • 이 연구에서는 지식 유형, 텍스트 유형 및 언어 산출 양식이 언어 산출 과정에 미치는 효과를 알아보았다. 본 연구에서는 산출할 말글에 대한 1) 사전정보를 대형(거시적) 의미구조, 소형(미시적) 의미구조, 관련 단어들의 모음의 세 지식 유령에 의해 조작하고, 2) 산출할 말글 유형을 이야기 말글과 논술 말글의 두 유형으로 변화하고, 3) 언어 산출 양식을 말하기, 펜으로 쓰기, 컴퓨터로 쓰기의 세 양식으로 변화하였을 때에, 언어 산출 과정에 어떠한 처리 부담이 가하여지는가를 3개의 실험을 통하여 연구하였다.

  • PDF

정박 중 준해양사고 원인에 대한 빅데이터 분석 연구

  • No, Beom-Seok;Kim, Tae-Hun;Gang, Seok-Yong
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2018.05a
    • /
    • pp.144-146
    • /
    • 2018
  • 준해상사고를 줄이기 위하여 준해양사고 등을 분석하여 사고 예방에 활용하였다. 하지만 준해양사고 건수가 많은 대신 주내용이 정성적이기 때문에 다양한 정량적 데이터로 분석하기에는 현실적 어려움이 있었다. 이러 장단점을 고려하여 준해양사고에 대해서 그동안 단순한 내용 검토 방식에서 통계적 분석과 이를 통한 객관적 결과 토출이 가능한 빅데이터 기법를 적용한 연구가 필요하다. 이를 위해 10,000여건의 준해양사고 보고서를 전처리 작업을 통해 통일된 양식으로 정리하였다. 이 데이터를 기반으로 1차로 텍스트마이닝 분석을 통해 정박 중 준해양사고 발생 원인에 대한 주요 키워드를 도출하였다. 주요 키워드에 대해 2차로 시계열 및 클러스터 분석을 통해 발생할 수 있는 준해양 사고 상황에 대한 경향 예측을 도출하였다. 이번 연구에서는 정성적 자료인 준해양사고 보고서를 빅데이터 기법을 활용하여 정량화된 데이터로 전환할 수 있고 이를 통해 통계적 분석이 가능함을 확인하였다. 또한 빅데이터 기법을 통해 차 후 발생할 수 있는 준해양사고 객관적인 경향을 파악함으로써 예방 대책에 대한 정보 제공이 가능함을 확인할 수 있었다.

  • PDF

Trend Analysis of Korean Economy in the Economic Literature by text mining techniques (텍스트 마이닝 기법을 활용한 한국의 경제연구 동향 분석)

  • Song, Hye-Ji;Park, Kyoung-Soo;Jung, Hye-Eun;Song, Min
    • Proceedings of the Korean Society for Information Management Conference
    • /
    • 2013.08a
    • /
    • pp.47-50
    • /
    • 2013
  • 빅데이터를 활용한 데이터 분석 기법 중 비정형 데이터 분석의 하나인 텍스트 마이닝 기법을 활용하여, 외국 학술지에 나타난 한국의 경제 분야 트렌드를 분석한다. 데이터베이스로 Web of Knowledge의 연구논문을 활용하였으며, 키워드 분석, 네트워크 분석, 토픽모델링 분석을 통해 연구 동향 및 지적구조를 파악하는 데 그 목적이 있다.

  • PDF

R3 : Open Domain Question Answering System Using Structure Information of Tables (R3 : 테이블의 구조 정보를 활용한 오픈 도메인 질의응답 시스템)

  • Deokhyung Kang;Gary Geunbae Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.455-460
    • /
    • 2022
  • 오픈 도메인 질의 응답에서 질의에 대한 답변은 질의에 대한 관련 문서를 검색한 다음 질의에 대한 답변을 포함할 수 있는 검색된 문서를 분석함으로써 얻어진다. 문서내의 테이블이 질의와 관련이 있을 수 있음에도 불구하고, 기존의 연구는 주로 문서의 텍스트 부분만을 검색하는 데 초점을 맞추고 있었다. 이에 테이블과 텍스트를 모두 고려하는 질의응답과 관련된 연구가 진행되었으나 테이블의 구조적 정보가 손실되는 등의 한계가 있었다. 본 연구에서는 테이블의 구조적 정보를 모델의 추가적인 임베딩을 통해 활용한 오픈 도메인 질의응답 시스템인 R3를 제안한다. R3는 오픈 도메인 질의 응답 데이터셋인 NQ에 기반한 새로운 데이터셋인 NQ-Open-Multi를 이용해 학습 및 평가하였으며, 테이블의 구조적 정보를 활용하지 않은 시스템에 비해 더 좋은 성능을 보임을 확인할 수 있었다.

  • PDF

Native Language Identification for Korean Learner Corpus (한국어 학습자 말뭉치의 모어 판별)

  • Hur, Heuijung;Chung, Seung Yeon;Kim, Han-Saem
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.300-304
    • /
    • 2021
  • 모어 판별이란 제 2 언어를 습득하는 학습자들이 생산한 목표 언어에 기반하여 학습자들의 제 1 언어를 자동적으로 확인하는 작업을 말한다. 모여 판별 과제를 성공적으로 수행하기 위한 방법을 다룬 다양한 연구들이 진행되어 왔으나, 한국어를 대상으로 진행된 모어 판별 연구는 그 수가 극히 적다. 본 연구에서는 한국어 학습자 텍스트를 대상으로 머신 러닝, 딥 러닝의 다양한 문서 분류 모델을 실험하고, 이를 통해 한국어 학습자 텍스트 모어 판별을 위해 적합한 모델을 구축하기 위해 필요한 조건을 찾아보고자 하였다.

  • PDF

A Study on Methodology on Building NLI Benchmark Dataset in korean (한국어 추론 벤치마크 데이터 구축을 위한 방법론 연구)

  • Han, Jiyoon;Kim, Hansaem
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.292-297
    • /
    • 2020
  • 자연어 추론 모델은 전제와 가설 사이의 의미 관계를 함의와 모순, 중립 세 가지로 판별한다. 영어에서는 RTE(recognizing textual entailment) 데이터셋과 다양한 NLI(Natural Language Inference) 데이터셋이 이러한 모델을 개발하고 평가하기 위한 벤치마크로 공개되어 있다. 본 연구는 국외의 텍스트 추론 데이터 주석 가이드라인 및 함의 데이터를 언어학적으로 분석한 결과와 함의 및 모순 관계에 대한 의미론적 연구의 토대 위에서 한국어 자연어 추론 벤치마크 데이터 구축 방법론을 탐구한다. 함의 및 모순 관계를 주석하기 위하여 각각의 의미 관계와 관련된 언어 현상을 정의하고 가설을 생성하는 방안에 대하여 제시하며 이를 바탕으로 실제 구축될 데이터의 형식과 주석 프로세스에 대해서도 논의한다.

  • PDF

Pre-trained Language Model for Table Question and Answering (표 질의응답을 위한 언어 모델 학습 및 데이터 구축)

  • Sim, Myoseop;Jun, Changwook;Choi, Jooyoung;Kim, Hyun;Jang, Hansol;Min, Kyungkoo
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.335-339
    • /
    • 2021
  • 기계독해(MRC)는 인공지능 알고리즘이 문서를 이해하고 질문에 대한 정답을 찾는 기술이다. MRC는 사전 학습 모델을 사용하여 높은 성능을 내고 있고, 일반 텍스트문서 뿐만 아니라 문서 내의 테이블(표)에서도 정답을 찾고자 하는 연구에 활발히 적용되고 있다. 본 연구에서는 기존의 사전학습 모델을 테이블 데이터에 활용하여 질의응답을 할 수 있는 방법을 제안한다. 더불어 테이블 데이터를 효율적으로 학습하기 위한 데이터 구성 방법을 소개한다. 사전학습 모델은 BERT[1]를 사용하여 테이블 정보를 인코딩하고 Masked Entity Recovery(MER) 방식을 사용한다. 테이블 질의응답 모델 학습을 위해 한국어 위키 문서에서 표와 연관 텍스트를 추출하여 사전학습을 진행하였고, 미세 조정은 샘플링한 테이블에 대한 질문-답변 데이터 약 7만건을 구성하여 진행하였다. 결과로 KorQuAD2.0 데이터셋의 테이블 관련 질문 데이터에서 EM 69.07, F1 78.34로 기존 연구보다 우수한 성능을 보였다.

  • PDF

Natural Language Processing Trends For Science & Technology Data (과학기술데이터를 위한 자연어처리 기술 동향)

  • Jeong, Hyun Ji;Jang, Gwangseon
    • Annual Conference of KIPS
    • /
    • 2021.11a
    • /
    • pp.666-669
    • /
    • 2021
  • 연구수행과정에서 발생하는 논문, 특허, 연구보고서 등의 과학기술데이터는 다양한 과학기술지식을 포함한다. 연구자들의 효과적인 연구를 지원하기 위해서는 과학기술데이터 분석을 통한 지식 발견이 필수적이다. 과학기술데이터는 일반 텍스트와는 다르게 다수의 전문용어를 포함하고 있으며, 고유의 양식이 정해져 있고, 텍스트 길이가 대체로 길다는 특징이 있다. 본 고에서는 이러한 과학기술데이터만의 고유한 특징을 반영한 인공지능 기반 자연어처리 기술들을 소개함으로써 과학기술데이터 분석에 대한 이해를 돕고자 한다.