• 제목/요약/키워드: Korean Parsing

검색결과 328건 처리시간 0.026초

ASN.1 원시 코드 자동 생성기 (ASN.1 Source Code Auto-Generator)

  • 정진영;김영철
    • 한국컴퓨터정보학회논문지
    • /
    • 제8권4호
    • /
    • pp.28-34
    • /
    • 2003
  • ASN.1은 망 관리에 필요한 기초적인 제반기술이다. ASN.1의 개발에는 ASN.1 명세 언어를 파싱하는 컴파일러 작업과 컴파일 결과 생성된 자료들을 DB에 입력하고, 입력된 자료를 사용자에게 프리티프린팅하여 보여주는 작업이 요구된다. 본 논문에서는 ASN.1 명세를 객체지향 언어인 C++로 자동적으로 변환하여 주는 원시 코드 자동 생성기를 설계하고 구현한다. 이와 함께 ASN.1 개발환경에 필요한 그래픽 사용자 인터페이스, DB 인터페이스 및 ASN.1 브라우저를 포함하는 통합 환경을 제공한다. 본 시스템의 구현은 Objectivity 데이타베이스를 이용하였고, 컴파일러 작업에서는 컴파일러 보조 도구인 flex와 byacc을 이용하였으며, 인터페이스 언어로는 Tcl/Tk를 사용하였다.

  • PDF

A Strategy Study on Sensitive Information Filtering for Personal Information Protect in Big Data Analyze

  • Koo, Gun-Seo
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권12호
    • /
    • pp.101-108
    • /
    • 2017
  • The study proposed a system that filters the data that is entered when analyzing big data such as SNS and BLOG. Personal information includes impersonal personal information, but there is also personal information that distinguishes it from personal information, such as religious institution, personal feelings, thoughts, or beliefs. Define these personally identifiable information as sensitive information. In order to prevent this, Article 23 of the Privacy Act has clauses on the collection and utilization of the information. The proposed system structure is divided into two stages, including Big Data Processing Processes and Sensitive Information Filtering Processes, and Big Data processing is analyzed and applied in Big Data collection in four stages. Big Data Processing Processes include data collection and storage, vocabulary analysis and parsing and semantics. Sensitive Information Filtering Processes includes sensitive information questionnaires, establishing sensitive information DB, qualifying information, filtering sensitive information, and reliability analysis. As a result, the number of Big Data performed in the experiment was carried out at 84.13%, until 7553 of 8978 was produced to create the Ontology Generation. There is considerable significan ce to the point that Performing a sensitive information cut phase was carried out by 98%.

지배소 후위 제약을 적용한 트랜지션 시스템 기반 한국어 의존 파싱 모델 (Korean Dependency Parsing Model based on Transition System using Head Final Constraint)

  • 임준호;윤여찬;배용진;임수종;김현기;이규철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.81-86
    • /
    • 2014
  • 한국어 의존 파싱은 문장 내 단어의 지배소를 찾음으로써 문장의 구조적 중의성을 해소하는 작업이다. 지배소 후위 원칙은 단어의 지배소는 자기 자신보다 뒤에 위치한다는 원리로, 한국어 구문분석을 위하여 널리 사용되는 원리이다. 본 연구에서는 한국어 지배소 후위 원리를 의존 파싱을 위한 트랜지션 시스템의 제약 조건으로 적용하여 2가지 트랜지션 시스템을 제안한다. 제안 모델은 기존 트랜지션 시스템 중 널리 사용되는 arc-standard와 arc-eager 알고리즘에 지배소 후위 제약을 적용한 포워드(forward) 기반 트랜지션 시스템과, 트랜지션 시스템의 단점인 에러 전파(error propagation)를 완화시키기 위하여 arc-eager 알고리즘의 lazy-reduce 방식을 적용한 백워드(backward) 기반 트랜지션 시스템이다. 실험은 세종 구구조 말뭉치를 의존구조로 변환하여 실험하였고, 실험 결과 백워드 기반 트랜지션 시스템이 포워드 방식보다 우수한 성능을 보였다. 기존 연구와의 비교를 위하여 기존 연구를 조사하였지만 세부 실험 환경이 서로 달라서 직접적인 비교는 어려웠다. 제안하는 시스템의 최고 성능은 UAS 92.85%, LAS 90.82% 이다.

  • PDF

DSSSL에 기반한 SGML 표현 시스템 설계 및 구현 (The Design and Implementation of SGML Presentation System Based on DSSSL)

  • 전형진;현득창;정회경
    • 공학논문집
    • /
    • 제3권1호
    • /
    • pp.29-41
    • /
    • 1998
  • 본 논문은 SGML(Standard Generalized Markup Language) 문서를 DSSSL(Document Style Semantics and Specification Language)에 기반하여 포맷팅 처리하기 위한 SGML 문서 표현 시스템의 설계 및 구현에 관한 것이다. ISO(International Standard Organization)에서는 SGML 문서의 변환 및 포맷팅 처리의 기술을 위한 표준으로 DSSSL을 제안하였다. 이에 본 논문에서는 DSSSL 표준에서 정의한 모델에 따라 시스템을 설계하였고, SGML 문서를 온라인으로 포맷팅 처리하는 시스템을 개발하였다. 본 시스템은 한글 처리를 지원하면서 임의의 DTD(Document Type Definition), SGML 문서, DSSSL 스타일 시트에 대한 파싱 기능을 가지며, 텍스트뿐만 아니라 표, 목록, 그림 등 다양한 명세 표현을 처리할 수 있는 포맷터를 포함한다.

  • PDF

한국어 정보검색 시스템을 위한 구 단위 색인 (Phrase-based Indexing for Korean Information Retrieval System)

  • 윤성희
    • 한국산학기술학회논문지
    • /
    • 제5권1호
    • /
    • pp.44-48
    • /
    • 2004
  • 본 논문에서는 자연언어 처리 기술인 구문 분석 모듈을 도입해 단어 이상의 단위인 구 단위를 색인과 검색의 단위로 삼는 구 단위 색인 및 검색 기법의 사용을 제안한다. 초기의 정보검색의 방법으로 단일 주제어를 키워드로 색인하여 검색하는 방식이 널리 사용되어 왔으나 문서의 내용을 정확히 표현하기 어렵고 검색 결과의 문서 집합 또한 너무 커서 사용자의 만족도가 낮다 고도의 문서 처리 측면에서는 웹 문서들 자체가 갖는 다양한 오류들로 인해 현실적으로 충분히 만족할 만할 우수한 성능의 구문 분석 모듈이 구현되기는 어려우므로 상향식 구문 분석 모듈을 구현하여 완전한 구문 분석 결과를 얻지 못하는 많은 문장에 대해서도 가능한 구 단위 색인을 이용하여 검색 정확률과 재현률이 향상되고 검색 과정의 처리 부하도 줄이는 장점을 얻는다.

  • PDF

샷 경계 검출을 이용한 영상 클립 생성 (Generation of Video Clips Utilizing Shot Boundary Detection)

  • 김혁만;조성길
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제7권6호
    • /
    • pp.582-592
    • /
    • 2001
  • 대용량 영상을 다루는 디지털 비디오 라이브러리나 웹 방송에서는 영상 색인이 매우 중요한 역할을 하며, 이는 영상을 내용 단위로 분할하는 알고리즘에 기반한다. 본 논문에서 구현된 V2Web Studio는 영상 색인을 지원하는 시스템으로서, 샷 경계 검출 알고리즘을 이용한 영상 클립 생성 시스템이다. V2Web Studio는 영상 클립 생성 과정을 1) 영상 신호를 분석하여 샷 경계를 자동 검출하는 단계, 2) 검출된 결과에 포함될 수 있는 오류를 수작업으로 제거하는 단계, 3) 물리적인 샷 경계를 논리적인 계층구조로 모델링하는 단계, 4) 계층구조로 모델링된 각 모델링 인스턴스를 다양한 표준 압축 포맷으로 생성하는 단계로 구분하고, 각 단계에 해당하는 작업은 샷 검출기, 샷 검증기, 영상 모델기, 클립 생성기라는 독립적인 소프트웨어 도구로 구현하였다.

  • PDF

한영 기계번역에서의 효율적인 구문분석과 번역을 위한 유한상태 변환기 기반 전처리기의 설계 및 구현 (Design and Implementation of Finite-State-Transducer Preprocessor for an Efficient Parsing and Translation in Korean-to-English Machine Translation)

  • 박준식;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.128-134
    • /
    • 1999
  • 기계번역이나 정보검색 등에 적용되는 자연언어처리기술에 있어서 구문분석은 매우 중요한 위치를 차지한다. 하지만, 문장의 길이가 증가함에 따라 구문분석의 복잡도는 크게 증가하게 된다. 이를 해결하기 위한 많은 노력 중에서 전처리기의 지원을 통해 구문분석기의 부담을 줄이려는 방법이 있다. 본 논문에서는 구문분석의 애매성과 복잡성을 감소시키기 위해 유한상태 변환기 (Finite-State-Transducer FSI)를 이용한 전처리기를 제안한다. 유한상태 변환기는 사전표현, 단어분할, 품사태깅 등에 널리 사용되어 왔는데, 본 논문에서는 유한상태 변환기를 이용하여 형태소 분석된 문장에서 시간표현 등의 제한된 표현들을 구문요소화하는 전처리기를 설계 및 구현하였다. 본 논문에서는 기계번역기에서의 구문분석기 뿐만 아니라 변환지식의 모듈화를 지원하기 위해 유한상태 변환기를 이용하여 시간표현 등의 부분적인 표현들을 번역하는 방법을 제안한다. 또한 유한상태 변환기의 편리한 작성을 위하여 유한상태 변환기 작성 지원도구를 구현하였다. 본 논문에서는 전처리기의 적용을 통해 구문분석기의 부담을 덜어 주며 기계번역기의 변환부분의 일부를 성공적으로 담당할 수 있음을 보여 준다.

  • PDF

전역 및 지역 정보를 이용한 SVM 기반 한국어 문장 구조 및 격 레이블 분석 (Labeled Statistical Korean Dependency Parsing with Global and Local Information)

  • 임수종;이창기;장명길;나동렬
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2009년도 제21회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.207-212
    • /
    • 2009
  • 한국어 문장의 구조 및 격 레이블 분석을 위해서 SVM 모델을 이용하여 얻어진 전역 및 지역 정보 통계 모델에 기반한 방법을 제안한다. 제안하는 방법은 후방 beam search 알고리즘을 이용하여 부분 구문 분석을 하는 과정에서 지역 의존 정보를 사용하였고 이렇게 구성된 문장의 후보 구조에 대해서는 전역 정보 모델를 사용하여 최적의 문장 구조 및 격 레이블을 분석하였다. 제안하는 방법은 지역이나 전역 중 한 개의 모델만을 사용할 때 발생할 수 있는 오류를 최소화하였다. 지식 DB 사업의 한국어 의존 구문 분석 말뭉치를 이용하여 실험한 결과 전역 정보나 지역 정보만을 사용한 결과보다 각각 1.2%, 3.3% 높은 79.1%의 문장 구조 및 격 레이블 분석 정확률을 나타냈고 전역 정보만을 사용할 때보다 약 76배 이상의 빠른 속도 향상을 보였다. 향후 연구로는 지배소 단위, 구 묶음 단위 등으로 통계 정보를 세분화하여 좀더 높은 성능 향상을 기대한다.

  • PDF

카탈로그 데이터베이스를 이용한 선박 배관부품의 효과적인 모델링 절차 개발 사례 (An Application of Catalogue Database for the Modeling of Pipe Parts in Ship Design)

  • 황세윤;이장현;김승현;김광식;이성제
    • 한국CDE학회논문집
    • /
    • 제15권1호
    • /
    • pp.60-69
    • /
    • 2010
  • Outfitting systems in marine vessels have many kinds of standard parts. Ship CAD system should support the designers with an efficient tool for the modeling of outfitting parts such as pipes and valves. We develop a practical procedure for a part master model that combines ship CAD systems with the industrial standard. Part master or catalogue database of standard equipments is included in the database of ship CAD. The part master makes the associations of three dimensional modeling with the industrial standard. Moreover, it reflects the automatic modeling to maintain attributes that are disclosed in the entity of each part master in order to reduce the modeling time. Entity and attributes of pipe and valves are chosen from JIS(Japanese Industrial Standards) in order to explain the proposed procedure. Suggested procedure explains that three dimensional model of equipment is generated by parsing the pre-defined attributes after the entities of part masters is stored in database.

Accurate and Efficient Log Template Discovery Technique

  • Tak, Byungchul
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권10호
    • /
    • pp.11-21
    • /
    • 2018
  • In this paper we propose a novel log template discovery algorithm which achieves high quality of discovered log templates through iterative log filtering technique. Log templates are the static string pattern of logs that are used to produce actual logs by inserting variable values during runtime. Identifying individual logs into their template category correctly enables us to conduct automated analysis using state-of-the-art machine learning techniques. Our technique looks at the group of logs column-wise and filters the logs that have the value of the highest proportion. We repeat this process per each column until we are left with highly homogeneous set of logs that most likely belong to the same log template category. Then, we determine which column is the static part and which is the variable part by vertically comparing all the logs in the group. This process repeats until we have discovered all the templates from given logs. Also, during this process we discover the custom patterns such as ID formats that are unique to the application. This information helps us quickly identify such strings in the logs as variable parts thereby further increasing the accuracy of the discovered log templates. Existing solutions suffer from log templates being too general or too specific because of the inability to detect custom patterns. Through extensive evaluations we have learned that our proposed method achieves 2 to 20 times better accuracy.