• 제목/요약/키워드: Modified n-gram

검색결과 25건 처리시간 0.017초

자동문서판독 후처리를 위한 수정된 n-gram 알고리즘 (A Modified Binary n-gram Algorithm for the postprocessing of the Automatic Document Reading)

  • 김일회;유근호;이철희
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 1987년도 전기.전자공학 학술대회 논문집(II)
    • /
    • pp.1352-1355
    • /
    • 1987
  • This Paper proposed the modified binary n-gram algorithm for the contextual post processing system in English sentence. Backward gram was used to correct the first position error in a word. It is not requires additional storage but more times of comparison it allows interactive correction routine. Experiments were implemented using PASCAL language on a micro computer, IBM PC/XT. This algorithm improves the correction rate around $4{\sim}5%$ on a limited experimental environments.

  • PDF

함수 단위 N-gram 비교를 통한 Spectre 공격 바이너리 식별 방법 (Detecting Spectre Malware Binary through Function Level N-gram Comparison)

  • 김문선;양희동;김광준;이만희
    • 정보보호학회논문지
    • /
    • 제30권6호
    • /
    • pp.1043-1052
    • /
    • 2020
  • 시그니처 기반 악성코드 탐지는 제로데이 취약점을 이용하거나 변형된 악성코드를 탐지하지 못하는 한계가 있다. 이를 극복하기 위해 N-gram을 이용하여 악성코드를 분류하는 연구들이 활발히 수행되고 있다. 기존 연구들은 높은 정확도로 악성코드를 분류할 수 있지만, Spectre와 같이 짧은 코드로 동작하는 악성코드는 식별하기 어렵다. 따라서 본 논문에서는 Spectre 공격 바이너리를 효과적으로 식별할 수 있도록 함수 단위 N-gram 비교 알고리즘을 제안한다. 본 알고리즘의 유효성을 판단하기 위해 165개의 정상 바이너리와 25개의 악성 바이너리에서 추출한 N-gram 데이터셋을 Random Forest 모델로 학습했다. 모델 성능 실험 결과, 25개의 Spectre 악성 함수의 바이너리를 99.99% 정확도로 식별했으며, f1-score는 92%로 나타났다.

집합 기반 POI 검색을 이용한 문장 유사도 측정 기법 (Sentence Similarity Measurement Method Using a Set-based POI Data Search)

  • 고은별;이종우
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제20권12호
    • /
    • pp.711-716
    • /
    • 2014
  • 최근 논문 표절 논란과 지능형 텍스트 검색서비스에 대한 관심이 증가하면서 문장 유사도 측정의 필요성이 증가하고 있다. n-gram, 편집거리, LSA 등 기존의 다양한 방향으로 선행 연구가 있었지만 각 기법마다 장단점이 존재한다. 본 논문에서는 집합 기반 POI 검색 기법을 이용한 새로운 방향의 문장 유사도 측정 기법을 제안한다. 집합 기반 POI 검색 기법은 하드매칭에 비해 단어의 도치, 누락, 삽입, 변경에 현저한 성능 향상을 보인다. 이 기법을 이용하면 보다 정확하고 빠른 문장 유사도 측정이 가능하다. 제안하는 기법은 기존 집합 기반 POI 검색 기법의 데이터 로딩 알고리즘과 텍스트 검색 알고리즘을 변형하고 어절 연산 알고리즘을 추가하여 두 문장의 유사도를 백분율로 표현한다. 실험을 통해 본 논문에서 제시하는 기법이 정확도와 속도에서 n-gram과 기존 집합 기반 POI 검색 기법에 비해 우수함을 확인하였다.

빅데이터 분석을 이용한 문단 내의 감정 예측 (Emotion Prediction of Paragraph using Big Data Analysis)

  • 김진수
    • 디지털융복합연구
    • /
    • 제14권11호
    • /
    • pp.267-273
    • /
    • 2016
  • 모바일의 확산과 더불어 정형화된 자료뿐만 아니라 다양한 형태의 비정형화된 자료로부터 정보가 생성되고 정보 전달 및 공유가 활발히 이루어지고 있다. 최근에는 다양한 SNS 매체들로부터 생산 및 배포되는 많은 자료들 중에서 유의미한 정보를 추출하는 기술로 빅데이터 기술을 많이 사용하며, 빅데이터 분석 기법 중 하나인 데이터 마이닝 기법을 사용한다. 특히, SNS로부터 수집된 방대하고 다양한 자료들을 이용하여 대중의 집단지성에 표출된 일반적인 감정을 분석하여 다양한 분야에 활용한다. 본 논문에서는 SNS를 통해 작성된 짧은 문단 내 함축된 키워드와 키워드들 간의 연관성을 이용하여 문단에 나타난 감정을 예측하고 사용자별 감정에 따른 적절한 답변이나 예측된 감정과 유사한 상품이나 영화 등 다양한 추천시스템에 사용될 수 있도록 형태소 분석과 변형된 n-gram방법을 혼합하여 효율적인 감정 예측 시스템을 제안한다. 제안된 시스템은 평균 82.25%의 재현율을 보여 기존의 시스템에 비해 더욱 향상된 성능을 보여 주었고, 형태소분석을 통해 의미 있는 키워드 추출에 도움이 될 것으로 기대한다.

오픈소스 소프트웨어 라이선스 파일 식별 기술 (Measurement for License Identification of Open Source Software)

  • 윤호영;조용준;정병옥;신동명
    • 한국소프트웨어감정평가학회 논문지
    • /
    • 제12권2호
    • /
    • pp.1-8
    • /
    • 2016
  • 본 논문은 오픈소스 소프트웨어의 배포과정에서 라이선스 정보가 누락, 훼손, 변경, 충돌됨에 따라 발생하는 무의적인 저작권 침해를 미연에 방지하고자 라이선스 파일을 추출/식별하는 기술을 연구하였다. 라이선스 파일이 갖는 특성을 파악하기 위해 n-gram과 TF-IDF 기법을 활용하여 322개의 라이선스 내용을 분석하였고, 이를 활용하여 패키지 내에서 라이선스 파일을 추출하였다. 추출한 라이선스는 코사인 측정법을 통해 확보한 라이선스간의 유사도를 산정하여 라이선스 정보를 식별하였다.

사람에서 n-3계 불포화지방산이 Serum Lipoprotein과 지질조성에 미치는 영향 (Effect n-3 Polyunsaturated Fatty Acids on Serum Lipoprotein and Lipid Compositions in Human Subjects)

  • 박현서
    • Journal of Nutrition and Health
    • /
    • 제21권1호
    • /
    • pp.61-74
    • /
    • 1988
  • Ten college women were divided into 5 groups and treated in randomized block design for 5 weeks with 1 interval between treatments and subjects serving as their own controls. The experimental diets were corn oil diet as a source of n-6 linoleic acid, perilla oil diet as a source of n-3 $\alpha$-linolenic acid, and fish oil diet as a source of n-3 EPA and DHA. Dietary fat was supplied at 30% Cal and modified to give the total amount of saturated fatty acids and monoenoic acids at constant level. There was no significant effect on serum cholesterol level by different PUFA. However, on a gram-for-gram basis, there was a trend that the decrease in serum cholesterol was proportionate to the degree of fat unsaturation. On the other hand, only fish oil diet significantly decreased TG level but no significant effect on the relative proportion of TG in VLDL. The degree of hypotriglyceridemia did not corrleate with the degree of unsaturation. The relative proportion of CE in LDL was reduced by all PUFA diets but significant only by perilla oil diet. The relative amount of apoprotein in LDL was significantly reduced by n-3 PUFA. HDL-Chol content was significantly increased only in fish oil diet but no change in the relative proportion of its chemical components of HDL.

  • PDF

문단 분석을 통한 문서 내의 감정 예측 (Emotion Prediction of Document using Paragraph Analysis)

  • 김진수
    • 디지털융복합연구
    • /
    • 제12권12호
    • /
    • pp.249-255
    • /
    • 2014
  • 최근 트위터, 페이스북 등과 같은 소셜 네트워크 서비스(Social Network Service, SNS)의 확산과 더불어 정보의 생성 및 공유가 활발히 이루어지고 있다. 이러한 SNS 매체들을 통해 생산하는 많은 데이터를 활용하기 위해 축적된 데이터로부터 의미 있는 정보를 추출해 내는 기술의 필요성이 대두되고 있으며, 데이터 마이닝 기법을 이용하여 의미있는 지식을 찾아낸다. 특히, 다양한 형태의 방대한 자료들로부터 표출되는 의견, 정책, 성향, 감정 등 대중의 집단지성에 나타난 일반적인 감정분석이 활용되고 있다. 본 논문에서는 대중들이 SNS를 통해 작성한 사용자들의 짧은 문장에 함축된 단어와 단어들 간의 연관성을 이용하여 문장 내 감정 상태를 예측하고 사용자의 감정에 따른 적절한 답변이나 추출한 감정과 유사한 트윗글이나 영화 등을 추천하는데 사용될 수 있는 방법을 제안한다.

한국어 음성인식 플랫폼의 설계 (Design of a Korean Speech Recognition Platform)

  • 권오욱;김회린;유창동;김봉완;이용주
    • 대한음성학회지:말소리
    • /
    • 제51호
    • /
    • pp.151-165
    • /
    • 2004
  • For educational and research purposes, a Korean speech recognition platform is designed. It is based on an object-oriented architecture and can be easily modified so that researchers can readily evaluate the performance of a recognition algorithm of interest. This platform will save development time for many who are interested in speech recognition. The platform includes the following modules: Noise reduction, end-point detection, met-frequency cepstral coefficient (MFCC) and perceptually linear prediction (PLP)-based feature extraction, hidden Markov model (HMM)-based acoustic modeling, n-gram language modeling, n-best search, and Korean language processing. The decoder of the platform can handle both lexical search trees for large vocabulary speech recognition and finite-state networks for small-to-medium vocabulary speech recognition. It performs word-dependent n-best search algorithm with a bigram language model in the first forward search stage and then extracts a word lattice and restores each lattice path with a trigram language model in the second stage.

  • PDF

Characterization of Immobilized Denitrifying Bacteria Isolated from Municipal Sewage

  • Kim, Joong-Kyun;Kim, Sung-Koo;Kim, Sang-Hee
    • Journal of Microbiology and Biotechnology
    • /
    • 제11권5호
    • /
    • pp.756-762
    • /
    • 2001
  • As a component for a recirculating aquaculture system, a new strain of denitrifying bacterium was isolated from municipal sewage. The isolate was motile by means of one polar flagellum, catalase-positive, and a Gram-negative rod-shaped cell measuring $0.5-0.6{\mu}m$ in width and $1.3-1.9{\mu}m$ in length. The isolate was identified as Pseudomonas fluorescens and produced dinitrogen gas via the reduction of nitrate. The optimal growth conditions (pH, temperature, carbon source, and C/N ratio) of the isolate were found to be 6.8, $30^{\circ}C$, malate, and 3, respectively. Under optimal growth conditions of P. fluorescens, dinitrogen gas was first detected in the exponential growth phase, then a small amount of nitrite was developed and converted to dinitrogen gas in the stationary phase. Pseudomonas fluorescens cells were immobilized in modified polyvinyl alcohol (PVA) gel beads, and the maximum denitrification rate was measured as $36.6 {\mu}lN_2h^-1$ per bead with an optimum cell loading of $20mg {\mu}l^-1$ and $2\%$ sodium alginate added to the PVA gel. The operating stability of the modified PVA gel beads remained unchanged for up to 43 repeated batches.

  • PDF

문장음성인식을 위한 VCCV 기반의 언어모델과 Smoothing 기법 평가 (Language Model based on VCCV and Test of Smoothing Techniques for Sentence Speech Recognition)

  • 박선희;노용완;홍광석
    • 정보처리학회논문지B
    • /
    • 제11B권2호
    • /
    • pp.241-246
    • /
    • 2004
  • 본 논문에서는 언어모델의 언어처리 단위로 VCCV(vowel consonant consonant vowel) 단위를 제안하구 기존의 언어처리 단위인 어적 형태소 단위와 비교한다. 어절과 형태소는 어휘수가 많고 높은 복잡도를 가진다. 그러나 VCCV 단위는 작은 사전과 제한된 어휘를 가지므로 복잡도가 적다. 언어모델 구성에 smoothing은 반드시 필요하다. smoothing 기법은 정확한 확률 예측이 불확실한 데이터가 있을 때 더 나은 확률 예측을 위해 사용된다. 본 논문에서는 형태소, 어절, VCCV 단위에 대해 언어모델을 구성하여 복잡도를 계산하였다. 그 결과 VCCV 단위의 복잡도가 형태소나 어절보다 적게 나오는 것을 볼 수 있었다. 복잡도가 적게 나온 VCCV를 기반으로 N-gram을 구성하고 Katz. Witten-Bell, absolute, modified Kneser-Ney smoothing 등의 방법을 이용한 언어 모델에 대해 평가하였다. 그 결과 VCCV 단위의 언어모델에 적합한 smoothing 기법은 modified Kneser-Ney 방법으로 평가되었다.