• Title/Summary/Keyword: 데이터 분석 및 검색

Search Result 793, Processing Time 0.028 seconds

A Study on Traffic Research Retrieval Method using Large Capacity Analysis System (대용량 분석 시스템을 이용한 교통 연구 검색 방법론에 관한 연구)

  • Bae, Jin-Ah;Youn, Cheong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.10a
    • /
    • pp.577-580
    • /
    • 2018
  • 지난 몇 년간 우리는 소셜 검색에 몰두하여 연관검색 및 소비자의 만족을 위해 빅데이터 분석을 하였다. 최근에는 빅데이터 분석이라는 흐름에 맞춰 기업 및 기관별 본연의 정보를 통합하여 효율적인 검색을 할 수 있도록 하는 솔루션을 대거 도입하고 있다. 또한 기업 및 기관에서 가지고 있는 정보는 기존 비정형 데이터로 방대하여 기존의 방법이나 도구로 수집 및 저장 분석이 어려운 실정이다. 이에 공공기관 및 민간기업 등에서는 키워드 중심의 다양한 검색엔진을 개발하거나 도입하고 있으며, 정보 분류의 확대, 메타데이터의 활용, 태그정보의 제공, 개인 맞춤형 서비스 등 고객의 만족도를 제고하기 위한 다양한 방법을 시도하고 있다. 본 연구에서는 기관의 교통 연구와 관련한 일련의 작업 중 행정문서, 연구정보, 유관기관 게시물 등의 통합 빅데이터를 가지고 검색시스템을 구현하였다. 이와 더불어 사용자 사전 및 동의어 사전을 통한 검색 키워드를 데이터베이스에 저장하여 검색 효율성을 제고하는 방안을 제시한다.

Design and Implementation of Advanced Sequence Analysis System using the Stand -Alone BLAST (Stand-Alone BLAST를 이용한 향상된 통합 서열분석시스템의 설계 및 구현)

  • 박춘구;허정호;최지인;박윤주;정동수;남홍길
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10c
    • /
    • pp.268-270
    • /
    • 2002
  • 오늘날 급속하게 발전하는 유전자 분석기술은 유전자 서열(sequence), 단백질의 기능(function) 및 구조(structure)정보와 같은 생명현상의 연구에 필수적인 정보들을 제공하게 되었다. 특히, 인간 유전체 프로젝트의 완성 이후 염기 및 단백질의 서열데이터를 이용하여 유사한 서열데이터의 검색 및 관련 단백질의 기능, 구조 정보들과 같은 생물정보의 종합적인 검색이 요구되고 있다. 하지만 기존 대부분의 통합서열분석시스템들은 단지 관련 정보를 포함하는 데이터 베이스들에 접근하며 서열유사성을 분석한 후, 그 결과를 단순히 디스플레이 하는 것이 대부분 이였다. 부연하면, 기존 통합 서열분석시스템들은 각 데이터베이스로부터 검색된 결과들 간의 명확한 관계를 설명하지 못하여 종합적인 생물정보를 제공하지 못하고 있다. 따라서 본 논문에서는 염기 및 단백질의 서열데이터로부터 서열유사성 검색 및 관련 단백질의 기능, 구조정보에 해당하는 종합적 인 생물정보를 효과적으로 검색, 서비스 할 수 있는 통합 서열분석시스템의 설계, 구현에 관해 기술한다.

  • PDF

A Study on Search Query Topics and Types using Topic Modeling and Principal Components Analysis (토픽모델링 및 주성분 분석 기반 검색 질의 유형 분류 연구)

  • Kang, Hyun-Ah;Lim, Heui-Seok
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.10 no.6
    • /
    • pp.223-234
    • /
    • 2021
  • Recent advances in the 4th Industrial Revolution have accelerated the change of the shopping behavior from offline to online. Search queries show customers' information needs most intensively in online shopping. However, there are not many search query research in the field of search, and most of the prior research in the field of search query research has been studied on a limited topic and data-based basis based on researchers' qualitative judgment. To this end, this study defines the type of search query with data-based quantitative methodology by applying machine learning to search research query field to define the 15 topics of search query by conducting topic modeling based on search query and clicked document information. Furthermore, we present a new classification system of new search query types representing searching behavior characteristics by extracting key variables through principal component analysis and analyzing. The results of this study are expected to contribute to the establishment of effective search services and the development of search systems.

A Study on File Search Engine Based on DBMS (DBMS을 활용한 파일 검색엔진 연구)

  • Kim, HyoungSeuk;Yu, Heonchang
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.10a
    • /
    • pp.548-551
    • /
    • 2016
  • 기존 그리드 기반의 전통적인 RDBMS는 비구조적 데이터에 대한 색인이 지원되지 않았다. 이러한 제약 조건들로 인해 파일 문서 및 비 구조화된 데이터의 검색 엔진으로는 부적합하였다. 최근에 다양한 검색 오픈소스(Solr, Lucene)등으로 검색 엔진이 개발되어 활용되고 있지만, 검색한 결과와 기존 데이터의 연동이 쉽지 않고 구조 변경이 어려우며, 사용자의 다양한 요구 사항 수용이 쉽지 않은 단점을 가지고 있다. 따라서 본 연구에서는 빠른 검색을 위한 색인 (index) 최적화와 대용량 데이터 처리를 위한 파티션 기반 데이터의 분할 및 정복 (divide and conquer) 처리, 이중화된 검색어 색인 기능을 구현하였다. 또한 동의어 사전을 구축하여 연관 관계 분석이 가능하도록 DB를 구축하여 검색어와 동의어의 상호 관계성을 유지하였으며 오픈 소스보다 발전한 형태의 검색 엔진을 개발하는 것을 목표로 하였다. 본 연구를 위해 약 400만건 이상의 다양한 포맷 (Ms-office, Hwp, Pdf, Text)등의 파일 문서를 샘플로 실험을 진행하였다.

A Study on the Content-Based Video Information Indexing and Retrieval Using Closed Caption and Speech Recognition (캡션정보 및 음성인식을 이용한 내용기반 비디오 정보 색인 및 검색에 관한 연구)

  • 손종목;김진웅;배건성
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 1999.11b
    • /
    • pp.141-145
    • /
    • 1999
  • 뉴스나 드라마, 영화 등의 비디오에 대한 검색 시 일반 사용자의 요구에 가장 잘 부합되는 결과를 얻기 위해 비디오 데이터의 의미적 분석과 색인을 만드는 것이 필요하다. 일반적으로 음성신호가 비디오 데이터의 내용을 잘 나타내고 비디오와 동기가 이루어져 있으므로, 내용기반 검색을 위한 비디오 데이터 분할에 효율적으로 이용될 수 있다 본 논문에서는 캡션 정보가 주어지는 방송뉴스 프로그램을 대상으로 효율적인 검색, 색인을 위한 비디오 데이터의 분할에 음성인식기술을 적용하는 방법을 제안하고 그에 따른 실험결과를 제시한다.

  • PDF

The Design and Implementation of a Web-Based Search Engine for GenBank Patent Data (웹기반의 GenBank 특허 데이터 검색 시스템의 설계 및 구현)

  • 양진옥;김상수
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10a
    • /
    • pp.43-45
    • /
    • 2001
  • NCBI 의 GenBank 데이터베이스는 전세계에서 수집된 염기 서열 데이터들의 집합이며, 그 중 특허로 등록되어 있는 데이터들을 GenBank 특허 데이터라 부른다. 본 논문에서는 한국생명공학연구원의 유전체 사업단에서 개발해 오고 있는 웹기반 GenBank 특허 데이터 검색 시스템의 설계와 구현에 대해서 설명한다. 본 시스템은 일반 속성(attribute)을 저장하고 검색하기 위해 DBMS 를 사용하고, DNA 시퀸스 검색을 위해 BLAST를 사용한 약결합 아키텍쳐(loosely-coupled architecture)를 채택하고 있다. 즉, 일반 속성으로 저장될 수 있는 데이터들은 데이터베이스의 테이블들의 컬럼 값으로 저장하고 SQL 언어를 통해 검색할 수 있도록 하였으며, DNA 시퀸스 검색을 위해서는 BLAST 에서 제공하는 인덱스를 구축하고 BLAST 명령어를 사용하여 검색할 수 있도록 하였다. 또한, 검색 결과들이 기존의 외부 특허 시스템과 연동하도록 하기 위해, 결과 분석 모듈을 구현하여 검색 결과들이 다른 웹 사이트의 데이터를 가리키도록 하였다. 마지막으로, 이러한 DNA 검색 시스템을 구현할 때에 고려해 되야 되는 이슈들을 설명한다.

  • PDF

고속 디지털 포렌식 기술

  • Kim, Keon-Woo;Hong, Do-Won
    • Review of KIISC
    • /
    • v.19 no.5
    • /
    • pp.45-51
    • /
    • 2009
  • 개인용 컴퓨터의 디스크 용량 증가와 저장, 분석되어야 하는 방대한 양의 데이터는 포렌식 수집과 분석 시간을 점점 더 요구하고 있다. 이에 ETRI는 대용량 데이터에 대한 고속 수집 및 검색, 분석을 가능하게 하는 고속 포렌식 시스템을 개발하였다. 포렌식 분석은 질의어에 대한 검색의 연속된 과정이라고도 할 수 있어 고속 포렌식 시스템은 하드웨어 가속기를 이용하거나 인덱스를 구축하여 고속으로 데이터를 검색하는 기술을 제공한다. 또한, 안티포렌식 기법중 하나인 파일 암호화는 문서 열람을 불가능하게 해 증거 발견을 어렵게 한다. 이에 고속 포렌식 시스템은 제한된 수사 시간을 고려하여 고속으로 패스워드를 해독하는 기능을 제공한다.

Visual Cell : Image Analysis and Visual Retrieval System for Biology Cell Image Bigdata (Visual Cell : 바이오세포 이미지 빅데이터를 위한 이미지 분석 및 시각적 검색 시스템)

  • Park, Beomjun;Jo, Sunhwa;Lee, Suan;Shin, Jiwoon;Yoo, Hyuk Sang;Kim, Jinho
    • The Journal of Bigdata
    • /
    • v.4 no.1
    • /
    • pp.53-61
    • /
    • 2019
  • The extracellular matrix, which provides the structural and biochemical support of surrounding cells, is a cell physiological modulator that controls cell division and differentiation. In the bio sector, the company produces Scapold, a three-dimensional support for tissue engineering, and cultivates stem cells in the produced Scapold to be transplanted into animals to assess tissue regeneration. This depends on components such as collagen in the tissue. Therefore, it is very important to identify the inclusion rate and distribution of components in the tissue, and the data are obtained by analyzing the color of the dyed tissue image. The process from image collection to analysis is costly, and the data collected and analyzed are managed in different formats by different research institutions. Therefore, data integration management and analysis results search are not being performed. In this paper, we establish a database that can manage relevant bigdata in an integrated manner, and propose a bio-image integrated management and retrieval system that can be searched based on color, an important analytical measure in this field of study.

  • PDF

Performance Comparison of Databases for Store and Search of High Speed Network Flows (고속네트워크 트래픽 저장 및 검색을 위한 데이터베이스 성능 비교)

  • Park, Hyun-Wook;Choi, Sunoh;Kim, Jong-Hyun;Seo, Dong-Il;Kim, Ikkyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1152-1155
    • /
    • 2015
  • 네트워크상의 사이버 공격을 막고 원인분석 및 공격지를 찾기 위하여, 네트워크패킷 캡쳐 및 플로우 데이터를 수집 저장하고, 수집된 정보를 고속으로 검색하여 분석하는 것을 필요로 한다. 인터넷의 발달과 네트워크를 이용하는 기기들이 많아짐에 따라 네트워크상에는 1초에 수백만 개의 네트워크 패킷이 이동하고 있다. 이러한 대용량 네트워크 패킷을 고속으로 저장하고 검색하기 위하여, 대용량 저장 및 검색에 가장 적합한 데이터베이스를 이용하는 것이 중요하다. 대용량 네트워크 데이터의 저장에 가장 최적인 데이터베이스를 찾기 위해 이 논문에서는 관계형 데이터베이스(MySQL)와 컬럼기반 데이터 베이스(InfiniFlux), 그리고 Bitmap Index 기반 저장구조(FastBit)를 사용하여 로딩속도와 검색 속도, 그리고 각각의 디스크 사용량을 비교하였다.

A Method of Color KANSEI Information Extraction in Video Data (비디오 데이터에서의 컬러 감성 정보 추출 방법)

  • Choi, Jun-Ho;Hwangi, Myung-Gwon;Choi, Chang;Kim, Pan-Koo
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2008.10a
    • /
    • pp.532-535
    • /
    • 2008
  • The requirement of Digital Culture Content(Movie, Music, Animation, Digital TV, Exhibition and etc.) is increasing so variety and quantity of content is also increasing. The Movie what majority of the digital Content is developing of technology and data. In the result, the efficient retrieval service has required and user want to use a recommendation engine and semantic retrieval methods through the recommendation system. Therefore, this paper will suggest analysing trait element of digital content data, building of retrieval technology, analysing and retrieval technology base on KANSEI vocabulary and etc. For the these, we made a extraction technology of trait element based on semantics and KANSEI processing algorithm based on color information.

  • PDF