• 제목/요약/키워드: 데이터 분석 및 검색

검색결과 793건 처리시간 0.031초

대용량 분석 시스템을 이용한 교통 연구 검색 방법론에 관한 연구 (A Study on Traffic Research Retrieval Method using Large Capacity Analysis System)

  • 배진아;윤청
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 추계학술발표대회
    • /
    • pp.577-580
    • /
    • 2018
  • 지난 몇 년간 우리는 소셜 검색에 몰두하여 연관검색 및 소비자의 만족을 위해 빅데이터 분석을 하였다. 최근에는 빅데이터 분석이라는 흐름에 맞춰 기업 및 기관별 본연의 정보를 통합하여 효율적인 검색을 할 수 있도록 하는 솔루션을 대거 도입하고 있다. 또한 기업 및 기관에서 가지고 있는 정보는 기존 비정형 데이터로 방대하여 기존의 방법이나 도구로 수집 및 저장 분석이 어려운 실정이다. 이에 공공기관 및 민간기업 등에서는 키워드 중심의 다양한 검색엔진을 개발하거나 도입하고 있으며, 정보 분류의 확대, 메타데이터의 활용, 태그정보의 제공, 개인 맞춤형 서비스 등 고객의 만족도를 제고하기 위한 다양한 방법을 시도하고 있다. 본 연구에서는 기관의 교통 연구와 관련한 일련의 작업 중 행정문서, 연구정보, 유관기관 게시물 등의 통합 빅데이터를 가지고 검색시스템을 구현하였다. 이와 더불어 사용자 사전 및 동의어 사전을 통한 검색 키워드를 데이터베이스에 저장하여 검색 효율성을 제고하는 방안을 제시한다.

Stand-Alone BLAST를 이용한 향상된 통합 서열분석시스템의 설계 및 구현 (Design and Implementation of Advanced Sequence Analysis System using the Stand -Alone BLAST)

  • 박춘구;허정호;최지인;박윤주;정동수;남홍길
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.268-270
    • /
    • 2002
  • 오늘날 급속하게 발전하는 유전자 분석기술은 유전자 서열(sequence), 단백질의 기능(function) 및 구조(structure)정보와 같은 생명현상의 연구에 필수적인 정보들을 제공하게 되었다. 특히, 인간 유전체 프로젝트의 완성 이후 염기 및 단백질의 서열데이터를 이용하여 유사한 서열데이터의 검색 및 관련 단백질의 기능, 구조 정보들과 같은 생물정보의 종합적인 검색이 요구되고 있다. 하지만 기존 대부분의 통합서열분석시스템들은 단지 관련 정보를 포함하는 데이터 베이스들에 접근하며 서열유사성을 분석한 후, 그 결과를 단순히 디스플레이 하는 것이 대부분 이였다. 부연하면, 기존 통합 서열분석시스템들은 각 데이터베이스로부터 검색된 결과들 간의 명확한 관계를 설명하지 못하여 종합적인 생물정보를 제공하지 못하고 있다. 따라서 본 논문에서는 염기 및 단백질의 서열데이터로부터 서열유사성 검색 및 관련 단백질의 기능, 구조정보에 해당하는 종합적 인 생물정보를 효과적으로 검색, 서비스 할 수 있는 통합 서열분석시스템의 설계, 구현에 관해 기술한다.

  • PDF

토픽모델링 및 주성분 분석 기반 검색 질의 유형 분류 연구 (A Study on Search Query Topics and Types using Topic Modeling and Principal Components Analysis)

  • 강현아;임희석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권6호
    • /
    • pp.223-234
    • /
    • 2021
  • 4차 산업 혁명 시대의 도래에 따라 쇼핑의 행태는 더욱 빠르게 오프라인에서 온라인으로 이동하고 있다. 온라인 쇼핑에서 고객의 정보요구를 가장 집약적으로 보여주는 것이 바로 검색 질의이다. 하지만 검색 분야에서도 검색 질의 관련 연구 사례는 많지 않으며 대부분의 검색 질의 연구 분야 선행 연구들은 연구자의 정성적인 판단에 근거하여 제한적인 주제와 데이터 기반으로 연구되어 왔다. 이에 본 연구는 검색 질의 연구 분야에 기계학습을 적용하여 검색 질의와 검색 이후 이용자가 조회한 문서명 로그를 기반으로 토픽모델링 수행 후 검색 질의 주제를 정의함으로써 데이터 기반의 정량적 방법론으로 15개의 검색 질의 주제 유형을 정의하였다. 또한 기존 검색어 자체만을 보고 판단하던 주제 유형에서 나아가 검색 행동특성을 반영한 유형을 정의하기 위하여 주성분 분석을 통해 주요 변수를 추출 후 각 주제별 검색 행동특성을 분석함으로써 검색 탐색 활성도, 상품 관여도에 따른 4가지의 새로운 검색 질의 유형 분류체계를 제시하였다. 본 연구결과는 효과적인 검색서비스 구축 및 검색 시스템 개발에 기여할 것으로 기대된다.

DBMS을 활용한 파일 검색엔진 연구 (A Study on File Search Engine Based on DBMS)

  • 김형석;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.548-551
    • /
    • 2016
  • 기존 그리드 기반의 전통적인 RDBMS는 비구조적 데이터에 대한 색인이 지원되지 않았다. 이러한 제약 조건들로 인해 파일 문서 및 비 구조화된 데이터의 검색 엔진으로는 부적합하였다. 최근에 다양한 검색 오픈소스(Solr, Lucene)등으로 검색 엔진이 개발되어 활용되고 있지만, 검색한 결과와 기존 데이터의 연동이 쉽지 않고 구조 변경이 어려우며, 사용자의 다양한 요구 사항 수용이 쉽지 않은 단점을 가지고 있다. 따라서 본 연구에서는 빠른 검색을 위한 색인 (index) 최적화와 대용량 데이터 처리를 위한 파티션 기반 데이터의 분할 및 정복 (divide and conquer) 처리, 이중화된 검색어 색인 기능을 구현하였다. 또한 동의어 사전을 구축하여 연관 관계 분석이 가능하도록 DB를 구축하여 검색어와 동의어의 상호 관계성을 유지하였으며 오픈 소스보다 발전한 형태의 검색 엔진을 개발하는 것을 목표로 하였다. 본 연구를 위해 약 400만건 이상의 다양한 포맷 (Ms-office, Hwp, Pdf, Text)등의 파일 문서를 샘플로 실험을 진행하였다.

캡션정보 및 음성인식을 이용한 내용기반 비디오 정보 색인 및 검색에 관한 연구 (A Study on the Content-Based Video Information Indexing and Retrieval Using Closed Caption and Speech Recognition)

  • 손종목;김진웅;배건성
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 1999년도 학술대회
    • /
    • pp.141-145
    • /
    • 1999
  • 뉴스나 드라마, 영화 등의 비디오에 대한 검색 시 일반 사용자의 요구에 가장 잘 부합되는 결과를 얻기 위해 비디오 데이터의 의미적 분석과 색인을 만드는 것이 필요하다. 일반적으로 음성신호가 비디오 데이터의 내용을 잘 나타내고 비디오와 동기가 이루어져 있으므로, 내용기반 검색을 위한 비디오 데이터 분할에 효율적으로 이용될 수 있다 본 논문에서는 캡션 정보가 주어지는 방송뉴스 프로그램을 대상으로 효율적인 검색, 색인을 위한 비디오 데이터의 분할에 음성인식기술을 적용하는 방법을 제안하고 그에 따른 실험결과를 제시한다.

  • PDF

웹기반의 GenBank 특허 데이터 검색 시스템의 설계 및 구현 (The Design and Implementation of a Web-Based Search Engine for GenBank Patent Data)

  • 양진옥;김상수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (1)
    • /
    • pp.43-45
    • /
    • 2001
  • NCBI 의 GenBank 데이터베이스는 전세계에서 수집된 염기 서열 데이터들의 집합이며, 그 중 특허로 등록되어 있는 데이터들을 GenBank 특허 데이터라 부른다. 본 논문에서는 한국생명공학연구원의 유전체 사업단에서 개발해 오고 있는 웹기반 GenBank 특허 데이터 검색 시스템의 설계와 구현에 대해서 설명한다. 본 시스템은 일반 속성(attribute)을 저장하고 검색하기 위해 DBMS 를 사용하고, DNA 시퀸스 검색을 위해 BLAST를 사용한 약결합 아키텍쳐(loosely-coupled architecture)를 채택하고 있다. 즉, 일반 속성으로 저장될 수 있는 데이터들은 데이터베이스의 테이블들의 컬럼 값으로 저장하고 SQL 언어를 통해 검색할 수 있도록 하였으며, DNA 시퀸스 검색을 위해서는 BLAST 에서 제공하는 인덱스를 구축하고 BLAST 명령어를 사용하여 검색할 수 있도록 하였다. 또한, 검색 결과들이 기존의 외부 특허 시스템과 연동하도록 하기 위해, 결과 분석 모듈을 구현하여 검색 결과들이 다른 웹 사이트의 데이터를 가리키도록 하였다. 마지막으로, 이러한 DNA 검색 시스템을 구현할 때에 고려해 되야 되는 이슈들을 설명한다.

  • PDF

고속 디지털 포렌식 기술

  • 김건우;홍도원
    • 정보보호학회지
    • /
    • 제19권5호
    • /
    • pp.45-51
    • /
    • 2009
  • 개인용 컴퓨터의 디스크 용량 증가와 저장, 분석되어야 하는 방대한 양의 데이터는 포렌식 수집과 분석 시간을 점점 더 요구하고 있다. 이에 ETRI는 대용량 데이터에 대한 고속 수집 및 검색, 분석을 가능하게 하는 고속 포렌식 시스템을 개발하였다. 포렌식 분석은 질의어에 대한 검색의 연속된 과정이라고도 할 수 있어 고속 포렌식 시스템은 하드웨어 가속기를 이용하거나 인덱스를 구축하여 고속으로 데이터를 검색하는 기술을 제공한다. 또한, 안티포렌식 기법중 하나인 파일 암호화는 문서 열람을 불가능하게 해 증거 발견을 어렵게 한다. 이에 고속 포렌식 시스템은 제한된 수사 시간을 고려하여 고속으로 패스워드를 해독하는 기능을 제공한다.

Visual Cell : 바이오세포 이미지 빅데이터를 위한 이미지 분석 및 시각적 검색 시스템 (Visual Cell : Image Analysis and Visual Retrieval System for Biology Cell Image Bigdata)

  • 박범준;조선화;이수안;신지운;유혁상;김진호
    • 한국빅데이터학회지
    • /
    • 제4권1호
    • /
    • pp.53-61
    • /
    • 2019
  • 주변 세포의 구조적, 생화학적 지지체를 제공하는 세포 외 기질은 세포의 분열과 분화 등을 좌우하는 세포생리 조절인자이다. 바이오 분야에서는 3차원 조직공학 지지체인 스캐폴드를 제작하고, 제작한 스캐폴드에 줄기세포를 배양해 동물에 이식해 조직 재생력을 평가한다. 이는 조직 내 콜라겐과 같은 구성성분에 좌우된다. 따라서 조직 내 구성성분의 포함율 및 분포를 파악하는 것이 매우 중요한데, 이에 관한 데이터를 염색된 조직 이미지의 색상을 분석함으로써 얻어낸다. 이때 이미지 수집부터 분석까지의 과정이 적지 않은 비용이 소모되고 있고, 수집되고 분석된 데이터를 연구 기관마다 상이한 포맷으로 관리하고 있다. 따라서 데이터 통합관리 및 분석결과 검색 등이 이루어지지 않고 있다. 본 논문에서는 관련 빅데이터를 통합적으로 관리할 수 있는 데이터베이스를 구축하고, 이 연구 분야에서 중요한 분석 척도인 색상을 기준으로 검색할 수 있는 바이오 이미지 통합 관리 및 검색 시스템을 제안한다.

  • PDF

고속네트워크 트래픽 저장 및 검색을 위한 데이터베이스 성능 비교 (Performance Comparison of Databases for Store and Search of High Speed Network Flows)

  • 박현욱;최선오;김종현;서동일;김익균
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.1152-1155
    • /
    • 2015
  • 네트워크상의 사이버 공격을 막고 원인분석 및 공격지를 찾기 위하여, 네트워크패킷 캡쳐 및 플로우 데이터를 수집 저장하고, 수집된 정보를 고속으로 검색하여 분석하는 것을 필요로 한다. 인터넷의 발달과 네트워크를 이용하는 기기들이 많아짐에 따라 네트워크상에는 1초에 수백만 개의 네트워크 패킷이 이동하고 있다. 이러한 대용량 네트워크 패킷을 고속으로 저장하고 검색하기 위하여, 대용량 저장 및 검색에 가장 적합한 데이터베이스를 이용하는 것이 중요하다. 대용량 네트워크 데이터의 저장에 가장 최적인 데이터베이스를 찾기 위해 이 논문에서는 관계형 데이터베이스(MySQL)와 컬럼기반 데이터 베이스(InfiniFlux), 그리고 Bitmap Index 기반 저장구조(FastBit)를 사용하여 로딩속도와 검색 속도, 그리고 각각의 디스크 사용량을 비교하였다.

비디오 데이터에서의 컬러 감성 정보 추출 방법 (A Method of Color KANSEI Information Extraction in Video Data)

  • 최준호;황명권;최창;김판구
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2008년도 추계종합학술대회 B
    • /
    • pp.532-535
    • /
    • 2008
  • 디지털 콘텐츠의 대부분을 차지하는 동영상에 대한 검색 서비스가 필수 기능으로 대두되고 있으며, 검색 서비스를 수행하는 시스템은 최신 기술을 접목시켜 보다 지능적이고, 의미적인 검색을 할 수 있는 검색 엔진이나 지능형 검색 기법 등의 필요성이 점차 증대되고 있다. 이에 본 논문에서는 디지털 콘텐츠 데이터에 대한 특성요소 분석 및 검색 기술과 구현, 감성어휘기반 분석 및 검색 방안을 위해 멀티미디어 콘텐츠 데이터의 구조 설계와 분석 관리 도구 및 의미론적 특성요소 추출기술과 콘텐츠 내 컬러 정보 기반 감성처리 알고리즘을 제안하였다.

  • PDF