• 제목/요약/키워드: string searching

검색결과 38건 처리시간 0.025초

네트워크 보안을 위한 강력한 문자열 매칭 알고리즘 (Robust Quick String Matching Algorithm for Network Security)

  • 이종욱;박찬길
    • 디지털산업정보학회논문지
    • /
    • 제9권4호
    • /
    • pp.135-141
    • /
    • 2013
  • String matching is one of the key algorithms in network security and many areas could be benefit from a faster string matching algorithm. Based on the most efficient string matching algorithm in sual applications, the Boyer-Moore (BM) algorithm, a novel algorithm called RQS is proposed. RQS utilizes an improved bad character heuristic to achieve bigger shift value area and an enhanced good suffix heuristic to dramatically improve the worst case performance. The two heuristics combined with a novel determinant condition to switch between them enable RQS achieve a higher performance than BM both under normal and worst case situation. The experimental results reveal that RQS appears efficient than BM many times in worst case, and the longer the pattern, the bigger the performance improvement. The performance of RQS is 7.57~36.34% higher than BM in English text searching, 16.26~26.18% higher than BM in uniformly random text searching, and 9.77% higher than BM in the real world Snort pattern set searching.

트라이 인덱스를 이용한 이형태 검색 (Searching for Variants Using Trie-Index)

  • 박인철
    • 한국산학기술학회논문지
    • /
    • 제10권8호
    • /
    • pp.1986-1992
    • /
    • 2009
  • 사용자는 정보검색에서 단어의 약어나 부분문자열, 혹은 오타가 포함된 단어와 같은 이형태로 자료를 검색하고자 한다. 이형태 검색을 위한 단순한 방법은 사전에 모든 이형태를 등록하는 것이다. 그러나 이 방법은 이형태 사전 구축에 막대한 시간과 비용이 필요할 뿐만 아니라 오타로 인해 생기는 이형태를 처리할 수 없는 문제점이 있다. 이에 대한 대안으로 근사 문자열 매칭 기법을 이용한 방법이 개발되었으나 이 방법 또한 약어 형태의 이형태를 처리하기 어렵다는 단점이 있다. 본 논문에서는 트라이 인덱스를 이용해 약어나 오타를 포함한 대부분의 이형태를 검색할 수 있는 방법을 제안한다. 먼저, 패스 가중치의 계산을 통한 이형태 매칭 방법을 보이고, 검색 속도 향상을 위한 이형태 검색 알고리즘을 제시한다.

제한된 한글 입력환경을 위한 음소기반 근사 문자열 검색 시스템 (A Phoneme-based Approximate String Searching System for Restricted Korean Character Input Environments)

  • 윤태진;조환규;정우근
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권10호
    • /
    • pp.788-801
    • /
    • 2010
  • 모바일 기기가 발전함에 따라 입력 수단에 대한 연구는 중요한 이슈이다 키패드, 쿼티키패드, 터치, 음성인식 등 다양한 입력장치가 사용되고 있으나 아직 데스크톱 입력장치에 비해 편의성이 떨어져서 입력 시의 오타나 탈자 등의 오류가 포함되는 경우가 많다. 이러한 입력 오류는 문자 메시지 등 사람과의 의사소통에는 문제를 일으키지 않으나 사전, 주소록 등의 데이터베이스 검색에는 치명적인 오류로서 원하는 검색 결과를 얻지 못하게 된다. 특히 한글의 경우 자음과 모음의 조합을 통해 글자를 생성하는 특성상 1만자가 넘는 글자의 조합이 가능하여 영문에 비하여 오류의 빈도가 높다. 기존의 검색 시스템은 Suffix Tree등을 이용하여 입력 오류를 처리하지만 다양한 오류에 대응하기에는 한계가 있다. 본 논문에서는 오자, 탈자 등의 입력 오류를 허용하면서 빠른 검색이 가능한 근사 한글 단어 검색 시스템을 제안하고자 한다. 이 시스템은 기존의 알파벳에 적용된 근사 문자열 검색(Approximate String Searching)을 한글에 효과적으로 적용할 수 있는 여러 가지 알고리즘과 기법이 포함되어 있다. 그리고 제안된 시스템을 이용한 변형 욕설 필터링 시스템의 개발에 대해 이야기하고자 한다. 이 시스템은 유저의 각종 변형 욕설 입력에 대해 90% 이상의 필터링 성능을 보였다.

절단검색을 지원하는 전자사전 구조 (An Electronic Dictionary Structure supporting Truncation Search)

  • 김철수
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제9권1호
    • /
    • pp.60-69
    • /
    • 2003
  • 역화일을 파일구조로 이용하는 정보 검색 시스템에서는 검색자가 검색할 분야의 완전 단어를 알고 있어야 검색이 가능하다. 그러나 검색자가 완전 단어가 아닌 단어의 부분 문자열을 알고 있는 경우가 많다. 이럴 경우 부분 문자열을 포함하는 색인어들을 검색할 수 있다면 관련 문서들을 검색할 수 있다. 또한 검색된 문헌 수가 너무 적을 경우 부분 문자열을 포함하는 단어를 색인어로 가지는 모든 문서들을 검색하기 위한 방법이 필요하다. 이런 요건들을 충족시키기 위해서는 사용자는 용어 절단 방법을 이용하여 질의어를 구성할 수 있어야 하고, 검색 시스템은 절단 검색을 지원할 수 있는 전자 사전이 필요하다. 본 논문에서는 절단검색을 효율적으로 지원할 수 있는 전자 사전 구조를 설계하고 구현한다. 이 전자 사전은 저장된 단어 수에 관계없이 주어진 한 개의 단어 검색 시간 및 역 문자열로 구성된 단어 검색 시간이 빠르고 일정하다. 절단검색을 효율적으로 지원하기 위하여 트라이 구조를 이용하였으며, 빠른 검색 시간을 지원하기 위해 배열을 이용한 방법을 사용하였다. 절단된 용어의 검색 과정에서 확장할 문자열의 길이를 최소화하여 검색 시간을 줄였다.

정규 표현식을 이용한 패턴 매칭 엔진 개발 (Development of the Pattern Matching Engine using Regular Expression)

  • 고광만;박홍진
    • 한국콘텐츠학회논문지
    • /
    • 제8권2호
    • /
    • pp.33-40
    • /
    • 2008
  • 스트링 패턴 매칭 알고리즘은 특정 검색어, 키워드를 검색하는 속도에서는 우수성이 다양한 방법으로 입증되었지만 다양한 패턴에 대해서는 기존의 알고리즘으로는 한계를 가지고 있다. 본 논문에서는 정규 표현식을 이용하여 특정 키워드를 포함하여 다양한 패턴의 검색어에 대해서도 효율적인 패턴 매칭을 수행하여 패턴 검색의 효율을 높이고자 한다. 이러한 연구는 기존의 단순한 키워드 매칭에 비해 각종 유해한 스트링 패턴을 효과적으로 검색할 수 있으며 스트링 패턴 매칭 속도에서도 기존의 알고리즘에 비해 우수성을 갖는다. 본 연구에서 제안한 LEX로부터 생성된 스트링 검색 엔진은 패턴 검색 속도에 대한 실험에서 패턴의 수가 1000개 이상인 경우에서는 BM&AC 알고리즘보다 효율적이지만 키워드 검색에서는 유사한 결과를 얻었다.

단백질 시퀀스와 가중치 스트링에 대한 탐색 알고리즘 (Searching Algorithms for Protein Sequences and Weighted Strings)

  • 김성권
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제29권8호
    • /
    • pp.456-462
    • /
    • 2002
  • 단백질 시퀀스처럼 가중치를 가지는 스트링에 대한 탐색 알고리즘을 개발한다. ${\sum}$를 알파벳이라 하고 모든 $a{\in}{\sum}$에 대해서 무게 ${\mu}(a)$가 주어진다고 하자. 스트링 $A=a_1a_2…a_n\; 에서 (단, 모든 ai{\in}{\sum})$, 서브스트링 $A(i.j)=a_ia_{i+1}…a_j$로 정의하면, 이것의 무게는 ${\in}(A(i.j))={\in}(a_i)+{\in}(a_i+1)+…+{\in}(a_j)$가 된다. 다루고자하는 문제는 스트링 A를 사전 처리하여 탐색 자료구조를 만드는데, 이 자료구조는 나중에 질문 무게 M이 주어진 경우, $M={\in}(A(i,j))$인 서브스트링 A(i,j)가 있는가 라는 질문에 응답하는데 사용된다. 본 논문에서는 기존의 결과를 향상시키는 알고리즘을 제시한다. 기존의 알고리즘의 경우 O(n) 만큼의 메모리를 사용하는 탐색 자료구조를 이용하여 $0(\frac{nlog\;logn}{log\; n})$ 시간에 질문응답을 하였으나, 본 논문의 알고리즘은 질문 응답시간은 그대로 유지하면서 메모리만 $0(\frac{n}{log\; n})$으로 줄인다.

거리반경기반 대표문자열 문제의 NP-완전 (The Consensus String Problem based on Radius is NP-complete)

  • 나중채;심정섭
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제36권3호
    • /
    • pp.135-139
    • /
    • 2009
  • 여러 문자열들을 비교하여 유사성 또는 거리(오차)를 계산하는 문제는 패턴매칭, 웹검색 바이오인포매틱스, 컴퓨터 보안 등 다양한 응용 분야와의 연관성으로 인해 활발히 연구되어 왔다. 주어진 문자열 집합 내의 여러 문자열들의 거리를 비교하기 위해 주어진 집합 내의 모든 문자열들을 대표하는 한 문자열(대표문자열)을 찾는 방법이 있다. 대표문자열 방법은 주어진 문자열 집합과 가장 유사한 한 문자열을 찾는 방법으로 주로 이용되는 목적함수는 거리반경과 거리합이 있다. 거리반경은 집합 내의 문자열들과 특정 문자열과의 거리들의 최대값으로 정의되며, 모든 문자열들 중에서 최소의 거리반경을 만드는 문자열을 주어진 문자열 집합에 대한 거리반경기반 대표문자열이라 한다. 거리합은 집합 내의 문자열들과 특정 문자열과의 거리들의 합으로 정의되며, 모든 문자열들 중에서 최소의 거리합을 만드는 문자열을 주어진 문자열집합에 대한 거리합기반 대표문자열이라 한다. 본 논문에서는 메트릭 거리함수에 대해 거리반경기반 대표문자열 문제가 NP-완전임을 증명한다.

MCML 기반 모션캡처 데이터 저장 및 퍼지 기반 모션 검색 기법 (Storing and Retrieving Motion Capture Data based on Motion Capture Markup Language and Fuzzy Search)

  • 이성주;정현숙
    • 한국지능시스템학회논문지
    • /
    • 제17권2호
    • /
    • pp.270-275
    • /
    • 2007
  • 모션 캡처 기술은 현실감 있는 캐릭터 동작을 얻기 위해 많이 사용되고 있지만, 모션 캡처 데이터의 상이한 포맷들로 인하여 효율적인 모션 데이터의 저장과 검색이 어려운 문제점을 가지고 있다. 본 논문에서는 상이한 형식의 모션 캡처 데이터를 통합하고 효과적으로 저장 및 검객하기 위한 프레임워크를 제안한다. 상이한 모션 캡처 데이터 포맷들을 통합하기 위한 XML 기반의 표준 포맷을 MCML(Motion Capture Markup Language)로 정의하고 있으며 서로 다른 포맷의 모션 캡처 데이터 파일을 하나의 단일화된 MCML 파일로 변환하여 관계형 데이터베이스 또는 XML 데이베이스에 저장함으로써 동일 데이터의 중복 저장 및 공유 문제를 해결한다. 모션캡처 데이터의 검색은 퍼지 문자열 검색(Fuzzy string searching) 기법에 의한 유사어 검색으로 특정 키워드를 포함하는 MCML 문서들을 찾거나 특정 위치의 시작 프레임에서 일련의 프레임들을 선택적으로 추출할 수 있는 모션클립(motion clips) 검색이 가능하도록 하였다.

자동 질의수정을 통한 통합의학언어 시스템 검색 (The Method of Searching Unified Medical Language System Using Automatic Modified a Query)

  • 김종광;하원식;이정현
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 컴퓨터소사이어티 추계학술대회논문집
    • /
    • pp.129-132
    • /
    • 2003
  • The metathesaurus(UMLS, 2003AA edition) supports multi language and includes 875, 233 concepts, 2, 146, 897 concept names. It is impossible for PubMed or NLM serve searching of the metatheaurus to retrieval using a query that is not to be text, a fault sentence structure or a part of concept name. That means the user notice correctly suitable medical words in order to get correct answer, otherwise she or he can't find information that they want to find I propose that the method of searching unified medical language system using automatic modified a query for problem that I mentioned. This method use dictionary that is standard for automation of modified query gauge similarity between query and dictionary using string comparison algorithm. And then, the tested term converse the form of metathesaurus for optimized result. For the evaluation of method, I select some query and I contrast NLM method that renewed Aug. 2003.

  • PDF

서열 정렬 알고리즘을 이용한 주가 패턴 탐색 시스템 개발 (Developing Stock Pattern Searching System using Sequence Alignment Algorithm)

  • 김형준;조환규
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제37권6호
    • /
    • pp.354-367
    • /
    • 2010
  • 시계열 데이터에서 패턴을 분석하는 기법은 많은 발전이 이루어져 오고 있다. 그러나 주식시장의 경우 시계열 데이터임에도 불구하고 패턴 분석 및 예측은 많은 연구가 이루어지지 않고 있으며 예측도가 매우 낮다. 그 이유는 주가의 등락 자체가 본질적으로 무작위하다고 하면 어떠한 과학적 방법으로도 그 예측은 불가능하다. 본 연구에서는 주가의 등락이 보여주는 무작위성의 정도를 Kolmogorov 복잡도를 이용해 측정하여 그 무작위의 정도와 본 논문에서 제시한 반 전역정렬(semi-global alignment)로 예측할 수 있는 주가의 예측의 정확간의 깊은 상관관계가 있음을 보인다. 이를 위해서 주가지수의 등락을 양자화된 문자열로 변환하고 그 문자열의 Kolmogorov 복잡도를 이용해 주가 변동의 무작위성을 측정하였다. 우리는 KOSPI 주식 데이터 28년 690개의 데이터를 수집하여 이를 실험용 데이터로 사용하여 본 논문에서 제시한 방법의 의미를 평가하였다. 그 결과 Kolmogorov 복잡도가 높은 경우에는 변동 예측이 어려우며, Kolmogorov 복잡도가 낮은 경우에는 주식 변동 예측은 가능하나 3종류의 예측율에 대해서 투자자들이 관심이 많은 등락 예측율은 단기 예측은 12% 이상의 예측율을 보일 수 없으며, 장기 예측의 경우 54%의 예측율로 수렴함을 확인하였다.