• 제목/요약/키워드: 단어 공간 모델

검색결과 65건 처리시간 0.028초

필드 구조 문서를 위한 교차 필드 검색 모델 (Cross Field Searching Model for Field Structured Documents)

  • 윤보현;왕지현;강현규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2000년도 제12회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.224-230
    • /
    • 2000
  • 기존의 전문 검색 시스템은 문서를 단지 단어의 연속이라는 제한적 관점에서만 바라보았다. 또한 기존의 필드 검색 시스템은 고정된 필드를 색인 및 검색대상으로 하거나, 문서의 내용이 아닌 메타 정보에 관한 검색만이 가능하였다. 본 논문에서는 내용과 필드 구조를 통합하여 가변 필드 구조 문서를 색인 및 검색하는 모델인 교차 필드 검색 모델을 제안한다. 기존 정보검색 시스템의 기능을 기본으로 제공하면서 필드구조를 색인/검색하기 위한 기능적 요구사항을 제시하고, 내용 및 필드 구조를 색인하면서 동적인 삽입/삭제가 가능한 색인 구조를 제안한다. 아울러 검색시에 문서 가중치를 계산하여 문서를 순위조정하는 불리언 모델, 확장 불리언 모델, 벡터 공간 모델의 변형 모델을 제시한다. 아울러 구현 사례로 STEER-XDS 검색 시스템에 대해 알아본다.

  • PDF

Competitive Unit을 사용한 Helmholtz Machine에 의한 문서 클러스터링 (Topical Clustering of Documents using Helmholtz Machines with Competitive Units)

  • 장정호;장병탁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.292-294
    • /
    • 2001
  • 문서 클러스터링은 정보검색 시스템에서 검색과정의 효율성을 향상시키기 위해서 많이 사용된다. 기존의 K-means 클러스터링과 같은 거리-기반 접근 방법은 거리에 대한 척도를 정해야 하는 문제가 있고, 또한 전체 자질 공간에서 지역적 특성에 민감하기 때문에 문서 내에 노이즈가 존재할 경우 만족스러운 결과를 내지 못할 수 있다. 그리고 기본적으로 문서 데이터는 희소성(sparseness)을 가기 때문에 정규 분포를 가정한 mixture 모델을 적용하기도 어려움이 있다. 본 논문에서는 Helmoholtz machine에 의한 문서 클러스터링 방법을 제안한다. 제안되는 방법에서는 하나의 문서를 어떤 내재적인 요인(factor)들의 다양한 결합에 의한 결과로 가정하는데, 이 때의 요인은 주제어 집합 또는 적어도 의미적으로 유사한 단어들의 집합이다. 그리고 기본적으로 Helmholtz machine은 이진 데이터를 다루는데, 텍스트 문서에 나타나는 단어들의 빈도를 고려하기 위해 수정된 Helmholtz machine을 제시한다. TREC-8 adhoe 데이터와 20 Newsgroup 문서 집합에 대한 클러스터링 실험 결과, 제안된 방법이 K-means 알고리즘에 비해 우수한 성능을 보였으며 주제어 추출을 통해 문서 집합의 전체 내용 파악을 용이하게 하는 특성이 있었다.

  • PDF

생의학 문헌에 대한 워드 임베딩 적용 및 분석 (Word Embedding Analysis for Biomedical Articles)

  • 최윤수;전선희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.394-395
    • /
    • 2016
  • 워드 임베딩(word embedding)은 정보검색이나 기계학습에서 단어를 표현하기 위하여 사용되던 기존의 one-hot 벡터 방식의 희소공간 및 단어들 간의 관계정보를 유지할 수 없는 문제를 해결하기 위한 방법이다. 워드 임베딩의 한 방법으로 word2vec은 최근 빠른 학습시간과 높은 효과를 얻을 수 있는 모델로 주목을 받고 있다. word2vec은 수행 시 주어지는 옵션인 벡터차원과 문맥크기에 의해 그 결과 품질이 상이하다. Mikolov는 구글 뉴스 문헌 집합에 대하여 word2vec을 실험하고, 적합한 옵션을 제시하였다. 본 논문에서는 구글 뉴스 문헌 같은 일반 문서가 아닌 생의학 분야에 특화된 문헌에 대하여 word2vec에 대한 다양한 옵션을 실험하고, 생의학 문헌에 적합한 최적의 조건을 분석한다.

사용자 편의를 위한 북 마크 에이전트 (A User-oriented Bookmark Agent)

  • 강상구;정현섭;최중민
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
    • /
    • pp.244-246
    • /
    • 2001
  • 본 논문에서는 사용자가 관심 있는 문서를 카테고리별로 직접 분류해서 추가하던 작업을 자동으로 분류하고 추가할 수 있는 북 마크 에이전트를 제안한다. 북 마친 에이전트는 사용자가 브라우징 시 사용자 성향을 분석하여 관심 있는 문서를 얻을 수 있다. 문서 내에서 특징을 찾기 위해 TF.IBF를 사용하였으며 또한 단어의 가중치 부여와 유사도를 계산하기 위해 벡터 공간 모델을 사용하였다. 이 작업을 통해 부정적인 문서의 URL이 추가될 수 있으며 이러한 문제를 해결하기 위해서 사용자의 피드백을 이용하여 제거할 수 있도록 하였다.

  • PDF

단어클러스터링 시스템을 이용한 어휘의미망의 활용평가 방안 (The Method of the Evaluation of Verbal Lexical-Semantic Network Using the Automatic Word Clustering System)

  • 김혜경;송미영
    • 한국한의학연구원논문집
    • /
    • 제12권3호통권18호
    • /
    • pp.1-15
    • /
    • 2006
  • 최근 수년간 한국어를 위한 어휘의미망에 대한 관심은 꾸준히 높아지고 있지만, 그 결과물을 어떻게 평가하고 활용할 것인가에 대한 방안은 이루어지지 않고 있다. 본 논문에서는 단어클러스터링 시스템 개발을 통하여, 어휘의미망에 의해 확장되기 전후의 클러스터링을 수행하여 데이터를 서로 비교하였다. 단어클러스터링 시스템 개발을 위해 사용된 학습 데이터는 신문 말뭉치 기사로 총 68,455,856 어절 규모이며, 특성벡터와 벡터공간모델을 이용하여 시스템A를 완성하였다. 시스템B는 구축된 '[-하]동사류' 3,656개의 어휘의미를 포함하는 동사 어휘의미망을 활용하여 확장된 것으로 확장대상정보를 선택하여 특성벡터를 재구성한다. 대상이 되는 실험 데이터는 '다국어 어휘의미망-코어넷'으로 클러스터링 결과 나타난 어휘의 세 번째 층위까지의 노드 동일성 여부로 정확률을 검수하였다. 같은 환경에서 시스템A와 시스템B를 비교한 결과 단어클러스터링의 정확률이 45.3%에서 46.6%로의 향상을 보였다. 향후 연구는 어휘의미망을 활용하여 좀 더 다양한 시스템에 체계적이고 폭넓은 평가를 통해 전산시스템의 향상은 물론, 연구되고 있는 많은 어휘의미망에 의미 있는 평가 방안을 확대시켜 나가야 할 것이다.

  • PDF

특허 정보 검색을 위한 대체어 후보 추출 방법 (Extracting Alternative Word Candidates for Patent Information Search)

  • 백종범;김성민;이수원
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권4호
    • /
    • pp.299-303
    • /
    • 2009
  • 특허 정보 검색은 연구 및 기술 개발에 앞서 선행연구의 존재 여부를 확인하기 위한 사전 조사 목적으로 주로 사용된다. 이러한 특히 정보 검색에서 원하는 정보를 얻지 못하는 원인은 다양하다. 그 중에서 본 연구는 키워드 불일치에 의한 정보 누락을 최소화하기 위한 대체어 후보 추출 방법을 제안한다. 본 연구에서 제안하는 대체어 후보 추출 방법은 문장 내에서 함께 쓰이는 단어들이 비슷한 두 단어는 서로 비슷한 의미를 지닐 것이다라는 직관적 가설을 전제로 한다. 이와 같은 가설을 만족하는 대체어를 추출하기 위해서 본 연구에서는 분류별 집중도, 신뢰도를 이용한 연관단어뭉치, 연관단어 뭉치간 코사인 유사도 및 순위 보정 기법을 제안한다. 본 연구에서 제안한 대체어 후보 추출 방법의 성능은 대체어 유형별로 작성된 평가지표를 이용하여 재현율을 측정함으로써 평가하였으며, 제안 방법이 문서 벡터공간 모델의 성능보다 더 우수한 것으로 나타났다.

연관 키워드 기반의 지리 및 지역정보 검색시스템 : "경기21서치 2.0" (Gyeonggi21Search 2.0: A Geographic and Regional Information Retrieval System based on Correlated Keywords)

  • 윤성관;이용;장용희;성동현;권용진
    • Spatial Information Research
    • /
    • 제17권1호
    • /
    • pp.1-14
    • /
    • 2009
  • 웹에서 다양한 웹 지리 지역정보를 검색할 수 있는 시스템에 대한 요구가 증가하고 있다. 그러나 현재의 웹 검색 시스템은 사용자가 키워드로 지역 웹 문서를 검색하고 해당 웹 문서를 지도와 비교하여 공간정보를 취득하며, 다른 관련 정보를 얻기 위해서는 검색과 비교를 반복해야 하는 어려움이 있다. 본 논문에서는 이러한 검색 과정을 단순화하기 위해 웹 지리 지역정보에 포함된 지리공간단어를 활용하고 웹 정보와 공간정보가 유기적으로 통합된 검색시스템을 제안하였다. 이를 위해 현재의 웹 공간으로부터 "현실 지식 응용"이라는 3-계층 공간 모델을 제안하였다. 이 구조에서는 계층 간 정보가 관련성이 높도록 연결되어 있고, 사용자는 연결 구조를 탐험하는 것만으로 웹 지리 지역정보 및 지리적인 특성에 대한 다양한 관계 정보, 그리고 공간정보를 효율적으로 얻을 수 있었다.

  • PDF

전화음성인식을 위한 멀티채널 음성인식 시스템 구현 (Implementation of the Multi-Channel Speech Recognition System for the Telephone Speech)

  • 이승훈;서영주;강동규
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 2000년도 학술발표대회 논문집 제19권 2호
    • /
    • pp.179-182
    • /
    • 2000
  • 본 논문은 전화음성 서비스 시스템의 핵심 기술인 멀티채널 음성인식 시스템의 구현에 대해서 기술하고자 한다. 구현한 시스템은 전화망 인터페이스 모듈, 음성입력 모듈, 음성인식 모듈, 및 서비스 제어모듈로 구성되어 있다. 전화망 인터페이스 모듈은 전화망을 이용한 교환기와의 호 처리 및 이벤트 처리를 담당하며, 전화망 접속카드와 밀접한 관계를 가지고 있다. 음성입력 및 인식 모들은 호 접속이 이루어진 채널로부터 음성을 입력받아 단어인식 기능을 수행하는 부분으로서 멀티 채널을 수용할 수 있는 구조로 설계되어 있다. 음성인식 모델은 문맥 종속형 CHMM 모델이며, 각각의 HMM 모델은 3-state, skip path 로 구성되어 있다. 음성인식 모듈내의 함수들은 모두 re-entrant 하도록 구성함으로써 멀티 채별이 가능하며, 각각의 채널은 모두 독립적인 메모리 공간에서 동작하도록 되어있다. 이와 같은 멀티채널 전화음성인식 시스템은 Dialogic보드를 이용하여 Windows NT에서 동작하도록 구현하였다. 실험결과, 구현된 시스템은 실시간으로 상용서비스가 가능한 인식율을 보였으며 원활한 멀티채널 지원이 가능하였다.

  • PDF

k-clustering 부공간 기법과 판별 공통벡터를 이용한 고립단어 인식 (Isolated Word Recognition Using k-clustering Subspace Method and Discriminant Common Vector)

  • 남명우
    • 대한전자공학회논문지TE
    • /
    • 제42권1호
    • /
    • pp.13-20
    • /
    • 2005
  • 본 논문에서는 M. Bilginer 등이 제안한 CVEM(common vector extraction method)을 이용하여 한국어 화자독립 고립단어 인식실험을 수행하였다. CVEM은 학습용 음성신호들로부터 공통된 특징의 추출이 비교적 간단하고, 많은 계산 량을 필요로 하지 않을 뿐만 아니라 높은 인식 결과를 보여주는 알고리즘이다. 그러나 학습 음성의 개수를 일정 한도 이상으로 늘릴 수 없고, 추출된 공통벡터들 간의 구별정보(discriminant information)를 가지고 있지 않다는 문제점을 가지고 있다. 임의의 음성군으로부터 최적의 공통벡터를 추출하기 위해서는 다양한 음성들을 학습에 사용해야만 하는데 CVEM은 학습용 음성 개수에 제한이 있으므로 지속적인 인식률 향상을 기대하기 어렵다. 또한 공통벡터들 간의 구별정보 부재는 단어 결정에 있어서 치명적인 오류의 원인이 될 수 있다. 본 논문에서는 CVEM이 가지고 있는 이러한 문제점들을 보완하면서 인식률을 향상시킬 수 있는 새로운 방법인 KSCM(k-clustering subspace method)과 DCVEM(discriminant common vector extraction method)을 제안하였고 이 방법을 사용하여 고립단어를 인식하였다. 그리고 제안한 방법들의 우수성을 입증하기 위해 ETRI에서 제작한 음성 데이터베이스를 사용, 다양한 방법으로 실험을 수행하였다. 실험 결과 기존 방법의 문제점들을 모두 극복할 수 있었을 뿐 아니라 기존에 비해 계산량의 큰 증가 없이 향상된 결과를 얻을 수 있었다.

자율주행과 공간정보의 빅데이터 기반 연계성 분석을 통한 동향 및 예측에 관한 연구 (A study on trends and predictions through analysis of linkage analysis based on big data between autonomous driving and spatial information)

  • 조국;이종민;김종서;민규식
    • 지적과 국토정보
    • /
    • 제50권2호
    • /
    • pp.101-115
    • /
    • 2020
  • 자율주행 분야 글로벌 동향 파악 및 공간정보 서비스 활성화 방안 도출을 위해 빅데이터 분석방법을 활용하였다. 사용된 빅데이터는 뉴스기사와 특허문헌을 상호 연계하여 활용하고, 뉴스 기사를 통한 동향 분석, 특허문헌 정보를 활용한 기술 분석이 진행 되었다. 본 논문에서는 자율주행에 대한 주요 뉴스에서 토픽모델을 기반으로 한 LDA(Latent Dirichlet Allocation)를 활용하여 빅데이터화 하고 주요 단어를 추출하였다. 특허정보의 주요 단어를 기반으로 적용된 워드넷(WordNet)을 활용하여 공간정보와 연계성 분석, 글로벌 기술 동향 분석을 실시하고 공간정보 분야의 동향 분석 및 예측을 실시하였다. 본 논문에서는 주요뉴스와 특허문헌 정보를 기반으로 한 빅데이터 분석방법으로 자율주행 분야와 공간정보와의 연계성 분석을 통하여 최신 동향과 미래를 예측하는 방법을 제시한다. 빅데이터 분석으로 도출된 자율주행 분야 공간정보의 글로벌 동향은 플랫폼 얼라이언스, 비지니스 파트너쉽, 기업 인수합병, 합작회사 설립, 표준화 및 기술개발로 도출되었다.