• Title/Summary/Keyword: 단어 정렬

Search Result 56, Processing Time 0.026 seconds

Automatic Inter-Phoneme Similarity Calculation Method Using PAM Matrix Model (PAM 행렬 모델을 이용한 음소 간 유사도 자동 계산 기법)

  • Kim, Sung-Hwan;Cho, Hwan-Gue
    • The Journal of the Korea Contents Association
    • /
    • v.12 no.3
    • /
    • pp.34-43
    • /
    • 2012
  • Determining the similarity between two strings can be applied various area such as information retrieval, spell checker and spam filtering. Similarity calculation between Korean strings based on dynamic programming methods firstly requires a definition of the similarity between phonemes. However, existing methods have a limitation that they use manually set similarity scores. In this paper, we propose a method to automatically calculate inter-phoneme similarity from a given set of variant words using a PAM-like probabilistic model. Our proposed method first finds the pairs of similar words from a given word set, and derives derivation rules from text alignment results among the similar word pairs. Then, similarity scores are calculated from the frequencies of variations between different phonemes. As an experimental result, we show an improvement of 10.1%~14.1% and 8.1%~11.8% in terms of sensitivity compared with the simple match-mismatch scoring scheme and the manually set inter-phoneme similarity scheme, respectively, with a specificity of 77.2%~80.4%.

Automatic Construction of a Transliteration Dictionary from Bilingual Corpus (이중언어 코퍼스로부터 외래어 표기 사전의 자동구축)

  • Lee, Jae-Sung
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10e
    • /
    • pp.142-149
    • /
    • 1999
  • 외국문명의 영향으로 많은 외래어가 한국어 문서 내에서 사용되고 있으며, 이러한 단어는 주로 전문용어, 고유명사, 신조어 등으로 사전에 등록되지 않는 것이 많다. 본 논문에서는 이중언어 코퍼스로부터 자동으로 외래어 사전을 추출해 내는 확률적 정렬 방법과 실험결과를 소개한다. 확률적 정렬 방법은 통계적 음차 표기 모델에서 사용된 방법을 변형하여 적용한 것이며, 문서단위로 정렬된 두 종류의 영-한 이중언어 코퍼스에 대해 실험하여 재현률과 정확률을 측정하였다 성능은 전처리단계인 한국어 미등록어 추정에 영향을 많이 받았는데, 미등록어 추정을 대략하였을 경우, 재현률은 평균 58%였고, 정확률은 평균74%이었으며, 수동으로 미등록어 명사를 분리했을 경우, 재현률 평균86%, 정확률 평균91%로 외래어와 대응되는 원어를 추출해 냈다.

  • PDF

A Instructional Learning of Sort Algorithm by Role-play for Computer Education in the Primary School (초등 컴퓨터 교육에서 역할 놀이를 통한 정렬알고리즘의 교수학습)

  • 임화경;김진아;배진호;백대현;김현배
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.670-672
    • /
    • 2004
  • 초등 교육 과정에서 컴퓨터 교육은 재량시간으로 컴퓨터의 개념과 원리의 이해보다는 도구로서의 기술 교육에 할애하고 있다 그러나, 초등학생들은 이미 생활에서 쉽게 접할 수 있는 정보화 시스템에 익숙하여 컴퓨터를 이용하여 다루는 기술은 교과의 수준을 상당히 갖추고 있다. 또한, 게임서버. 윈도우즈, 운영체제, 동영상/음악 파일 등의 다운로드/업로드 등의 단어에 이미 익숙해 있다. 이러한 용어들의 이해는 컴퓨터의 원리인 운영체제, 네트워크, 알고리즘, 프로그램 등에 대한 개념 교육으로 해결할 수 있다 따라서, 본 연구에서는 컴퓨터의 가장 중요한 원리인 알고리즘 중 정렬 알고리즘을 사례를 이용하여 역할놀이 모형으로 6학년 초등학생을 대상으로 학습을 수행하였다. 학습한 결과 정렬 알고리즘을 쉽게 유도해 냈으며. 질적인 분석으로 컴퓨터의 원리 교육에 대한 학습 효과가 있음을 보이고자 한다.

  • PDF

Implementation of A Fast Preprocessor for Isolated Word Recognition (고립단어 인식을 위한 빠른 전처리기의 구현)

  • Ahn, Young-Mok
    • The Journal of the Acoustical Society of Korea
    • /
    • v.16 no.1
    • /
    • pp.96-99
    • /
    • 1997
  • This paper proposes a very fast preprocessor for isolated word recognition. The proposed preprocessor has a small computational cost for extracting candidate words. In the preprocessor, we used a feature sorting algorithm instead of vector quantization to reduce the computational cost. In order to show the effectiveness of our preprocessor, we compared it to a speech recognition system based on semi-continuous hidden Markov Model and a VQ-based preprocessor by computing their recognition performances of a speaker independent isolated word recognition. For the experiments, we used the speech database consisting of 244 words which were uttered by 40 male speakers. The set of speech data uttered by 20 male speakers was used for training, and the other set for testing. As the results, the accuracy of the proposed preprocessor was 99.9% with 90% reduction rate for the speech database.

  • PDF

Word Frequency-Based Big Data Analysis for the Annals of the Joseon Dynasty (조선왕조실록 분석을 위한 단어 빈도수 기반 빅 데이터 분석)

  • Bong, Young-Il;Lee, Choong-Ho
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2022.05a
    • /
    • pp.707-709
    • /
    • 2022
  • Annals of the Joseon Dynasty is a librarian that compiled the history of the Joseon Dynasty for 472 years, from Taejo to Cheoljong. The Annals of the Joseon Dynasty, National Treasure No. 151, are important documented heritages, but they are difficult to analyze due to their vast content. Therefore, rather than analyzing all the contents of the Annals of the Joseon Dynasty, it is necessary to extract and analyze important words. In this paper, we propose a method of extracting words from the main body of the Annals of the Joseon Dynasty through web crawling and analyzing the translated texts of the Annals of the Joseon Dynasty based on the data sorted according to the frequency of words. In this study, only the part of King Sejong of the Annals of the Joseon Dynasty was extracted and the importance was analyzed according to the frequency of words.

  • PDF

Performance Improvement of Bilingual Lexicon Extraction via Pivot Language and Word Alignment Tool (중간언어와 단어정렬을 통한 이중언어 사전의 자동 추출에 대한 성능 개선)

  • Kwon, Hong-Seok;Seo, Hyeung-Won;Kim, Jae-Hoon
    • Annual Conference on Human and Language Technology
    • /
    • 2013.10a
    • /
    • pp.27-32
    • /
    • 2013
  • 본 논문은 잘 알려지지 않은 언어 쌍에 대해서 병렬말뭉치(parallel corpus)로부터 자동으로 이중언어 사전을 추출하는 방법을 제안하였다. 이 방법은 중간언어(pivot language)를 매개로 하고 문맥 벡터를 생성하기 위해 공개된 단어 정렬 도구인 Anymalign을 사용하였다. 그 결과로 초기사전(seed dictionary)을 사용한 문맥벡터의 번역 과정이 필요 없으며 통계적 방법의 약점인 낮은 빈도수를 가지는 어휘에 대한 번역 정확도를 높였다. 또한 문맥벡터의 요소 값으로 특정 임계값 이상을 가지는 양방향 번역 확률 정보를 사용하여 상위 5위 이내의 번역 정확도를 크게 높였다. 본 논문은 두 개의 서로 다른 언어 쌍 한국어-스페인어 그리고 한국어-프랑스어 양방향에 대해서 각각 이중언어 사전을 추출하는 실험을 하였다. 높은 빈도수를 가지는 어휘에 대한 번역 정확도는 이전 연구에서 보인 실험 결과에 비해 최소 3.41% 최대 67.91%의 성능 향상을 보였고 낮은 빈도수를 가지는 어휘에 대한 번역 정확도는 최소 5.06%, 최대 990%의 성능 향상을 보였다.

  • PDF

Utilizing Local Bilingual Embeddings on Korean-English Law Data (한국어-영어 법률 말뭉치의 로컬 이중 언어 임베딩)

  • Choi, Soon-Young;Matteson, Andrew Stuart;Lim, Heui-Seok
    • Journal of the Korea Convergence Society
    • /
    • v.9 no.10
    • /
    • pp.45-53
    • /
    • 2018
  • Recently, studies about bilingual word embedding have been gaining much attention. However, bilingual word embedding with Korean is not actively pursued due to the difficulty in obtaining a sizable, high quality corpus. Local embeddings that can be applied to specific domains are relatively rare. Additionally, multi-word vocabulary is problematic due to the lack of one-to-one word-level correspondence in translation pairs. In this paper, we crawl 868,163 paragraphs from a Korean-English law corpus and propose three mapping strategies for word embedding. These strategies address the aforementioned issues including multi-word translation and improve translation pair quality on paragraph-aligned data. We demonstrate a twofold increase in translation pair quality compared to the global bilingual word embedding baseline.

Handwritten Hangul Word Recognition from Small Vocabulary using Grapheme Combination Type (자모 결합 유형을 이용한 적은 어휘에서의 필기 한글 단어 인식)

  • Jin, Yu-Ho;Kim, Ho-Yeon;Kim, In-Jung;Kim, Jin-Hyeong
    • Journal of KIISE:Software and Applications
    • /
    • v.28 no.1
    • /
    • pp.52-63
    • /
    • 2001
  • 필기 단어 인식 방법에는 낱자별 분할 및 낱자 단위 인식을 통해 인식하는 방법과 단어 사전을 이용하여 단어와 영상을 직접 비교하는 방법이 있다. 이 중 후자는 인식 대상이 되는 단어들이 작은 수의 어휘로 제한되었을 대 매우 효과적이다. 본 논문에서는 입력 영상이 주어졌을 때 자모를 순차적으로 탐색하고 그 결과의 최적 조합을 찾아 인식하는 사전을 이용한 필기 한글 단어 인식 방법을 제안한다. 입력 영상은 사전의 각 단어와의 매칭을 통해 인식된다. 단어는 필기 순서로 정렬된 자모열로 표현하고 입력 영상은 획들의 집합으로 표현한다. 단어의 자모들은 입력 영상으로부터 추출된 획들의 집합으로부터 단계적으로 탐색된다. 각 단계에서는 전 단계까지의 매칭 상태와 탐색하려는 자모의 형태로부터 자모가 존재할 것이라고 기대되는 정합 기대 영역을 설정한 후 그 안에서 자모 탐색기를 이용해 자모를 찾는다. 자모 탐색기는 획들의 집합으로 이루어진 복수의 자모 후보와 그 점수를 출력한다. 각 단계마다 생성된 자모 후보들은 최적의 단어 매칭을 찾기 위한 탐색 공간을 이룬다. 본 연구에서는 단어 사전을 trie로 구성하고, 탐색 과정에서 dynamic programming을 이용하여 효과적으로 탐색을 수행하였다. 또한 인식 속도를 향상시키기 위해 산전 축소, 탐색 공간 축소 등 다양한 지식을 이용하였다. 제안하는 방법은 무제약으로 쓰여진 필기 단어도 인식 할 수 있을 뿐 아니라, 동적 사전을 이용하기 때문에 사전의 내용이 변하는 환경에서도 적용할 수 있다. 인식 실험에서는 39개의 단어로 이루어진 사전에 대하여 613개의 단어 영상에 대해 실험한 결과 98.54%의 높은 인식률을 보임으로써 제안하는 방법이 매우 효과적임을 확인하였다. 아니라 곰팡이 균주도 실제 praxis에 적합하게 개발시킬수 있다. 따라서 앞으로 발효육제품제조에 있어 starter culture가 갖는 의미는 매우 중요하며 특히 짧은 숙성기간을 거치는 발효소시지의 제조에 있어서는 필수불가결한 공정의 한 분야로 자리잡게 될 것이다.큰 차이 없었으나 이중포장과 진공포장은 상당히 효과적임을 알 수 있었다.로는 18%에 비하여 22%가 더 적합한 것으로 생각되었다.$0.15{\sim}0.35%$이었다.irc}C$에서 $13.49{\times}10^{-3}$이었다. 이 값들을 Arrhenius식에 대입하여 구한 활성화 에너지는 24.795 kJ/Kmol이었다. 이 값으로부터 결정한 살균 포장약주 명가의 상용 저장 수명은 $10^{\circ}C$에서 2년, $20^{\circ}C$에서 1년 4개월, $25^{\circ}C$에서 1년 2개월 이었다. 서울의 매월 평균 온도를 기준으로 계산할 때 본제품의 상용저장기간은 1년 8개월이었다.로 반죽이 호화되고 가열시간이 그 이상으로 증가할 때도 반죽의 호화가 약간은 진행되지만 $90^{\circ}C$ 이상의 가열온도에서는 가열시간 0.5분 이내에 반죽의 호화가 급속히 일어나고 가열 시간을 증가시켜도 더이상의 호화는 일어나지 않았다. 같은 조건에서는 waxy corn starch 반죽의 호화 속도가 corn starch보다 더 빠른 것으로 나타났다. 대표적으로 52% 수분함량에서 반응속도상수(k)와 가열온도(T)사이의 관계식은 corn starch의 경우 $logk=11.1140-4.1226{\times}10^3(1/T)

  • PDF

Automatically Extracting Unknown Translations Using Phrase Alignment (정렬기법을 이용한 미등록 대역어의 자동 추출)

  • Kim, Jae-Hoon;Yang, Sung-Il
    • The KIPS Transactions:PartB
    • /
    • v.14B no.3 s.113
    • /
    • pp.231-240
    • /
    • 2007
  • In this paper, we propose an automatic extraction model for unknown translations and implement an unknown translation extraction system using the proposed model. The proposed model as a phrase-alignment model is incorporated with three models: a phrase-boundary model, a language model, and a translation model. Using the proposed model we implement the system for extracting unknown translations, which consists of three parts: construction of parallel corpora, alignment of Korean and English words, extraction of unknown translations. To evaluate the performance of the proposed system we have established the reference corpus for extracting unknown translation, which comprises of 2,220 parallel sentences including about 1,500 unknown translations. Through several experiments, we have observed that the proposed model is very useful for extracting unknown translations. In the future, researches on objective evaluation and establishment of parallel corpora with good quality should be performed and studies on improving the performance of unknown translation extraction should be kept up.

Searching Similar Example Sentences for the Computer-Aided Translation System (번역지원 시스템을 위한 유사 예문 검색)

  • Kim Dong-Joo;Kim Han-Woo
    • KSCI Review
    • /
    • v.14 no.1
    • /
    • pp.197-204
    • /
    • 2006
  • This paper proposes an similar sentence searching algorithm for the computer-aided translation. The Proposed algorithm, which is based on the Needleman-Wunsch algorithm, measures the similarity between the input sentence and the example sentences through combining surface. lemma, part-of-speech information of words with the multi-layered information. It also carries out the alignment between them. The accuracy of the proposed algorithm was very high in the experiment for the example sentences of the area of electricity and communication.

  • PDF