• 제목/요약/키워드: information collection and extraction

검색결과 88건 처리시간 0.293초

기술 지식 자동 추출을 위한 테스트 컬렉션 구축 (Construction of Test Collection for Automatically Extracting Technological Knowledge)

  • 신성호;최윤수;송사광;최성필;정한민
    • 한국콘텐츠학회논문지
    • /
    • 제12권7호
    • /
    • pp.463-472
    • /
    • 2012
  • 지난 10년간 인터넷과 컴퓨팅 기술의 발전, 모바일 기기와 센서들의 진화, 페이스북이나 트위터와 같은 소셜 네트워크의 출현 등으로 정보량은 급속도로 늘어나고 있다. 대용량의 데이터와 이로 인해 파생되는 방대한 정보는 그것을 얻고자 하는 사람들에게 한계를 느끼게 한다. 따라서 방대한 정보 속에서 의미있는 지식을 추출하기 위한 시스템 기반의 연구가 활발히 시도되고 있다. 이로 인해 지식 추출 시스템의 중요성이 날로 강조되고 있지만, 정확성과 효율성 측면에서 여전히 많은 과제가 있다. 지식 추출 시스템의 성능을 향상시키기 위해서는 시스템을 평가하기 위한 테스트 컬렉션이 중요하다. 본 논문에서는 기술 지식의 자동 추출을 위해 개발된 시스템을 평가하기 위한 테스트 컬렉션을 소개한다. KEEC/KREC(KISTI Entity Extraction Collection/KISTI Relation Extraction Collection)라 명명된 테스트 컬렉션에 대한 구축 절차 및 기준과 구축된 테스트 컬렉션의 특징을 제시한다. 특히 테스트 컬렉션의 주요한 평가 기준이 되는 정확도를 높이기 위해 태깅 지원 도구를 활용한 전문가 태깅 방식을 사용하는 것이 주요 특징이다. 태깅 지원 도구를 활용한 전문가 태깅은 시스템에 의한 자동 태깅 도구들 또는 사람이 태깅을 하되, 지원 도구 없이 태깅하는 방법보다 태깅의 정확도를 높여준다. 구축된 KEEC/KREC은 실제로 과학기술 문헌에 존재하는 PLOT(Person, Location, Organization, Technology) 간 연관관계 추출 성능 평가를 위해서 사용되었고, 의미있는 연구결과를 도출하는데 기여하였다.

SNMP를 이용한 인터넷 분석 파라미터 추출 시스템의 설계 및 구현 (The Design and Implementation of Parameter Extraction System for Analyzing Internet Using SNMP)

  • 신상철;안성진;정진욱
    • 한국정보처리학회논문지
    • /
    • 제6권3호
    • /
    • pp.710-721
    • /
    • 1999
  • In this paper, we have designed and implemented a parameter extraction system for analyzing Internet using SNMP. The extraction system has two modules; one is collection request module, and the other is analysis request module. The collection request module generates a polling script, which is used to collect management information from the managed system periodically. With this collected data, analysis request module extracts analysis parameters. These parameters are traffic flow analysis, interface traffic analysis, packet traffic analysis, and management traffic analysis parameter. For management activity, we have introduced two-step-analysis-view. One is Summary-View, which is used find out malfunction of a system among the entire managed systems. The Other is Specific-View. With this view we can analyze the specific system with all our analysis parameters. To show available data as indicators for line capacity planning, network redesigning decision making of performance upgrade for a network device and things like that.

  • PDF

A Development Method of Framework for Collecting, Extracting, and Classifying Social Contents

  • Cho, Eun-Sook
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권1호
    • /
    • pp.163-170
    • /
    • 2021
  • 빅데이터가 여러 분야에서 다양하게 접목됨에 따라 빅데이터 시장이 하드웨어로부터 시작해서 서비스 소프트웨어 부문으로 확장되고 있다. 특히 빅데이터 의미 파악 및 이해 능력, 분석 결과 등 총체적이고 직관적인 시각화를 위하여 애플리케이션을 제공하는 거대 플랫폼 시장으로 확대되고 있다. 그 중에서 SNS(Social Network Service) 등과 같은 소셜 미디어를 활용한 빅데이터 추출 및 분석에 대한 수요가 기업 뿐만 아니라 개인에 이르기까지 매우 활발히 진행되고 있다. 그러나 이처럼 사용자 트렌드 분석과 마케팅을 위한 소셜 미디어 데이터의 수집 및 분석에 대한 많은 수요에도 불구하고, 다양한 소셜 미디어 서비스 인터페이스의 이질성으로 인한 동적 연동의 어려움과 소프트웨어 플랫폼 구축 및 운영의 복잡성을 해결하기 위한 연구가 미흡한 상태이다. 따라서 본 논문에서는 소셜 미디어 데이터의 수집에서 추출 및 분류에 이르는 과정을 하나로 통합하여 운영할 수 있는 프레임워크를 개발하는 방법에 대해 제시한다. 제시된 프레임워크는 이질적인 소셜 미디어 데이터 수집 채널의 문제를 어댑터 패턴을 통해 해결하고, 의미 연관성 기반 추출 기법과 주제 연관성 기반 분류 기법을 통해 소셜 토픽 추출과 분류의 정확성을 높였다.

생의학분야 PLOT 및 관계추출을 위한 테스트컬렉션 구축 (Construction of Test Collection for Extraction of Biomedical PLOT & Relations)

  • 최윤수;최성필;정창후
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2010년도 춘계 종합학술대회 논문집
    • /
    • pp.425-427
    • /
    • 2010
  • 대용량 문서에서 정보를 추출하는 작업은 크게 개체명 인식, 전문용어 인식, 관계추출 작업으로 구성된다. 이들 각각의 기술들은 지금까지 독립적으로 연구되어 왔기 때문에, 이와 관련된 기계학습모델을 위한 테스트컬렉션 또한 독립적으로 구축되어 왔다. 과학기술문헌의 경우 개체명과 전문용어가 혼재되어 있는 형태로 구성된 문서가 많아, 기존의 연구결과를 이용하여 접근한다면 결과물 통합과정의 불편함과 처리속도에 많은 제약이 따르므로, 개체명과 전문용어를 동시에 추출 할 수 있는 기계학습 모델을 위한 테스트컬렉션이 필요하다. 본 연구에서는 생의학 분야 과학기술문헌에 대한 개체명, 전문용어를 통합한 PLOT(Person, Location, Organization, Terminology)과, PLOT 간의 관계추출을 위한 테스트컬렉션을 구축한다.

  • PDF

과학기술분야 용어 간 관계추출 시스템의 평가를 위한 테스트컬렉션 구축 (Construction of Test Collection for Evaluation of Scientific Relation Extraction System)

  • 최윤수;최성필;정창후;윤화묵;류범종
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2009년도 춘계 종합학술대회 논문집
    • /
    • pp.754-758
    • /
    • 2009
  • 대용량 문서에서 포함된 정보를 추출하는 작업은 정보검색분야 뿐만 아니라 질의응답과 요약분야에서 매우 유용하다. 정보 추출 분야 중 관계추출 기술이 중요하게 인식되고 있으나, 기계학습모델을 기반으로 개발하기 위한 학습집합과 개발된 기술을 평가하기 위한 평가집합의 부재로 연구에 난항을 겪고 있다. 본 논문은 한국과학기술정보연구원(KISTI)이 보유하고 있는 해외학술지 데이터를 기반으로 과학기술용어에 대한 관계추출 기술 시스템을 개발하고 평가하기 위한 테스트 컬렉션(KREC2008) 구축을 위한 구축방법 및 절차를 기술한다. 해외 학술지 데이터의 초록을 대상으로 기술용어를 추출하였고, 기술용어의 쌍의 관계에 해당되는 단어를 Wordnet에 매핑하여 동사의 개념을 일반화하는 여러 개의 개념화된 후보군을 추출하였다. 평가기준 및 절차 교육이 이루어진 평가자가 개념화된 후보군에서 적합하다고 판단되는 "개념"을 "관계"로 지정하였다. Wordnet을 이용하여 "관계"에 대한 후보군을 생성하였기때문에, 일관성 있는 관계설정의 품질의 향상시켰고 비전문가도 쉽게 테스트컬렉션을 구축할 수 있는 방법을 제공하였다. 현재 KREC2008은 정보추출 연구자 및 개발자에게 공개되어 있으며, 과학기술분야 관계추출 시스템의 개발 및 신뢰도 평가를 목적으로 하는 학술대회의 연구결과 발표 및 제품 비교 등에 활용될 예정이다.

  • PDF

Convolutional Neural Network (CNN) 기반의 단백질 간 상호 작용 추출 (Extraction of Protein-Protein Interactions based on Convolutional Neural Network (CNN))

  • 최성필
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권3호
    • /
    • pp.194-198
    • /
    • 2017
  • 본 논문에서는 학술 문헌에서 표현된 단백질 간 상호 작용(Protein-Protein Interaction) 정보를 자동으로 추출하기 위한 확장된 형태의 Convolutional Neural Network (CNN) 모델을 제안한다. 이 모델은 기존에 관계 추출(Relation Extraction)을 위해 고안된 단순 자질 기반의 CNN 모델을 확장하여 다양한 전역 자질들을 추가적으로 적용함으로써 성능을 개선할 수 있는 장점이 있다. PPI 추출 성능 평가를 위해서 많이 활용되고 있는 준거 평가 컬렉션인 AIMed를 이용한 실험에서 F-스코어 기준으로 78.0%를 나타내어 현재까지 도출된 세계 최고 성능에 비해 8.3% 높은 성능을 나타내었다. 추가적으로 CNN 모델이 복잡한 언어 처리를 통한 자질 추출 작업을 하지 않고도 단백질간 상호 작용 추출에 높은 성능을 나타냄을 보였다.

스마트폰 모바일 포렌식 증거 수집 분석을 위한 준비사항 및 절차 연구 (A study of the preparation And procedures by Smartphone Mobile Forensic evidence collection and analysis)

  • 이재현;박대우
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2011년도 추계학술대회
    • /
    • pp.269-272
    • /
    • 2011
  • 스마트폰에 대한 소송이 이루어지고 있고, 최근, 법정에서의 스마트폰 증거데이터에 대한 증거자료 채택이 많아지고 있다. 따라서 불법적인 스마트폰 사용에 대한 증거데이터 추출을 위한 포렌식 절차와 증거물 수집에 대한 연구가 필요하다. 본 논문에서는 스마트폰의 증거데이터 주출에 대한 포렌식 절차를 제시하고, 스마트폰 포렌식 증거를 수집함으로써 디지털 증거의 무결성을 확보하고 사건을 진실을 발견하기 위한 방법에 대해 연구하였다. 본 연구를 통해 스마트폰 포렌식의 발전에 기여할 수 있을 것이다.

  • PDF

분야연상어의 수집과 추출 알고리즘 (Collection and Extraction Algorithm of Field-Associated Terms)

  • 이상곤;이완권
    • 정보처리학회논문지B
    • /
    • 제10B권3호
    • /
    • pp.347-358
    • /
    • 2003
  • 인간은 문서전체를 읽지 않고 대표적인 단어를 보는 것만으로 정치나 스포츠 등의 분야를 정확히 인지할 수 있다. 문서전체를 대상으로 하지 않고 부분텍스트에서 출현하는 소수의 단어정보에서 문서의 분야를 정확히 결정하기 위해 분야연상어의 구축은 중요한 연구과제이다. 인간이 미리 분야체계를 정의하고, 각 분야에 해당하는 문서를 인터넷이나 서적을 통해 수집한다. 본 논문은 수집문서의 분야를 정확히 지시하는 분야연상어를 수집하는 방법을 제안한다. 문서의 분야결정 시점을 고려하여 분야연상어의 수준과 안정성 랭크에 대하여 논의한다. 학습데이터에서 분야연상어 후보의 각 수준을 자동으로 결정하고, 컴퓨터가 제시하는 분야연상어의 수준, 안정성 랭크, 집중률, 빈도정보를 이용하여 단일 분야연상어를 수집하는 방법을 제안한다.

3차원영상에 의한 암반사면의 불연속면 추출 및 분석 (The Discontinuities Extraction and Analysis of Rock Slope by 3D Image)

  • 강준묵;김위현;박준규
    • 한국측량학회:학술대회논문집
    • /
    • 한국측량학회 2003년도 추계학술발표회 논문집
    • /
    • pp.163-167
    • /
    • 2003
  • As digital photogrammetry can acquire much three-dimensional data quickly and exactly in equal accuracy, and it has advantage that can use this in modelling, it's practical use possibility is increased in various field by collection method of data for GIS. In this study, it was intended to create 3D image that has coordinate system, and use in acquisition of position information for object. And, it was applied to discontinuities extraction and measurement of rock slope for practical use of three-dimensional image and examination of measurement accuracy. Through this, it is inspected the possibility of three-dimensional image creation and the acquisition of space information.

  • PDF

LIDAR와 Split-FX 소프트웨어를 이용한 암반 절리면의 자동추출과 절리의 특성 분석 (Automatic Extraction of Fractures and Their Characteristics in Rock Masses by LIDAR System and the Split-FX Software)

  • 김치환
    • 터널과지하공간
    • /
    • 제19권1호
    • /
    • pp.1-10
    • /
    • 2009
  • 암반 내 구조물을 시공하는 경우 역학적 안정성을 평가하기 위하여 암반의 특성을 조사한다. 이 경우 암반의 특성은 주로 암반 내 절리의 특성에 의하여 좌우된다. 지금까지는 암반 내 절리의 특성을 조사하기 위하여 암반이 노출된 사면이나 노두에 접근하고 육안으로 직접 관찰하였다. 이때 급사면과 같은 곳에서 접근의 문제, 작업의 안전 문제, 많은 시판이 걸리는 문제, 조사시간에 비하여 얻은 정보량의 부족, 정보의 재현 문제, 측정 오차 문제 등의 제한이 있었다. 따라서 이와 같은 문제를 개선하기 위하여 LIDAR (light detection and ranging)로 암반을 스캔하여 얻은 포인트 클라우드(point cloud)글 Split-FX 소프트웨어로 처리한 결과 절기의 방향과 간격 및 절리면의 거칠기 등 절리의 특성을 정확하고 효율적으로 분석할 수 있었다.