• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.236-236
• /
• 2021

최근 텍스트와 같은 비정형 데이터의 생성 속도가 급격하게 증가함에 따라, 이를 분석하기 위한 기술들의 필요성이 커지고 있다. 텍스트 마이닝은 자연어 처리기술을 사용하여 비정형 텍스트를 정형화하고, 문서에서 가치있는 정보를 획득할 수 있는 기법 중 하나이다. 텍스트 마이닝 기법은 일반적으로 각각의 분서별로 특정 용어의 사용 빈도를 나타내는 문서-용어 빈도행렬을 사용하여 용어의 중요도를 나타내고, 다양한 연구 분야에서 이를 활용하고 있다. 하지만, 문서-용어 빈도 행렬에서 나타내는 용어들의 빈도들은 문서들의 차별성과 그에 따른 용어들의 중요도를 나타내기 어렵기때문에, 용어 가중치를 적용하여 문서가 가지고 있는 특징을 분류하는 방법이 필수적이다. 다양한 용어 가중치를 적용하는 방법들이 개발되어 적용되고 있지만, 환경 분야에서는 용어 가중치 기법 적용에 따른 효율성 평가 연구가 미비한 상황이다. 또한, 환경 이슈 분석의 경우 단순히 문서들에 특징을 파악하고 주어진 문서들을 분류하기보다, 시간적 분포도에 따른 각 문서의 특징을 반영하는 것도 상대적으로 중요하다. 따라서, 본 연구에서는 텍스트 마이닝을 이용하여 2015-2020년의 서울지역 환경뉴스 데이터를 사용하여 환경 이슈 분석에 적합한 용어 가중치 기법들을 비교분석하였다. 용어 가중치 기법으로는 TF-IDF (Term frequency-inverse document frquency), BM25, TF-IGM (TF-inverse gravity moment), TF-IDF-ICSDF (TF-IDF-inverse classs space density frequency)를 적용하였다. 본 연구를 통해 환경문서 및 개체 분류에 대한 최적화된 용어 가중치 기법을 제시하고, 서울지역의 환경 이슈와 관련된 핵심어 추출정보를 제공하고자 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.534-536
• /
• 2003

대부분의 정보 검색 시스템은 문서 내어서 추출된 모든 용어를 이용해서 문서간 유사도 계산이나 문서 분류, 문서 클러스터링 등에 활용한다. 그러나 실질적으로 문서 내외 모든 용어를 추출해야만 이러한 정보 검색 시스템을 활용할 수 있는 것은 아니며, 오히려 용어 빈도수 같은 가중치가 낮은 용어를 용어 추출에서 제외시킴으로써 모든 용어 추출로 인해서 발생하는 시간과 공간을 많이 소비하는 문제를 해결할 수 있다. 또한 정확하고 자동적인 문서 분류를 위한 문서 클러스터링보다 유사 문서 검색의 활용은 검색효율의 증가를 가져 올 수 있다. 본 논문에서는 유사 문서 판별 시스템을 이용해 용어 추출의 효율성을 실험하였으며, 모든 용어를 추출한 경우보다 중요 용어만 추출한 경우에 더 좋은 성능을 보였다.

• The Science & Technology
• /
• v.26 no.6 s.289
• /
• pp.85-86
• /
• 1993

국제정세의 변화와 오랜 통일에의 염원에 따라 남북한 상호간에 많은 교류가 예상되고 있다. 그러나 해방 후 분단 반세기 동안 남한과 북한은 전혀 교류가 없는 상태에서 서로 다른 길을 걸어왔기 때문에 모든 분야에서 상당한 이질감을 느낄 수 밖에 없다. 수학의 경우에도 분야에 따른 연구상황은 물론, 용어면에서도 많은 차이를 보인다. 우리가 별 노력없이 일본식 한자용어와 영어용어를 그대로 수용하고 있는 경향인데 반하여 북한에서는 한글화 작업에 많은 노력을 쏟아와 대부분의 수학용어들이 우리 고유의 한글로 정착되어 있다. 현재 우리의 감각에는 생소하고 어색한 단어들도 많지만 북한의 좋은 한글용어를 보완, 수정하는 등 중요 자료로 받아들여 우리의 수학용어를 체계화시킴으로써 통일된 앞날의 우리 수학발전에 기초로 삼아야 할 것이다.

• Journal of Chest Surgery
• /
• v.40 no.3 s.272
• /
• pp.159-167
• /
• 2007

Background: Vocabularies originating from Chinese characters constitute an important common factor in the medical terminologies used 3 eastern Asian countries; Korea, China and Japan. This study was performed to comparatively analyze the medical terminologies of these 3 countries in the field of cardiopulmonary bypass (CPB) and; thereby, facilitate further understanding among the 3 medical societies. Material and Method: A total of 129 English terms (core 85 and related 44) in the field of CPB were selected and translated into each country's official terminology, with help from Seoul National University Hospital (Korea), Tokyo Michi Memorial Hospital(Japan), and Yanbian Welfare Hospital and Harbin Children Hospital (China). Dictionaries and CPB textbooks were also cited. In addition to the official terminology used in each country, the frequency of use of English terms in a clinical setting was also analyzed. Result and Conclusion: Among the 129 terms, 28 (21.7%) were identical between the 3 countries, as based on the Chinese characters. 86 terms were identical between only two countries, mostly between Korea and Japan. As a result, the identity rate in CPB terminology between Korea and Japan was 86.8%; whereas, between Korea and China and between Japan and China the rates were both 24.8%. The frequency of use of English terms in clinical practices was much higher in Korea and Japan than in China. Despite some inherent limitations involved in the analysis, this study can be a meaningful foundation in facilitating mutual understanding between the medical societies of these 3 eastern Asian countries.

• The KIPS Transactions:PartB
• /
• v.13B no.3 s.106
• /
• pp.329-336
• /
• 2006

In this paper, we propose a method of significant term extraction within a document. The technique used is Principal Component Analysis(PCA) which is one of the multivariate analysis methods. PCA can sufficiently use term-term relationships within a document by term-term correlations. We use a correlation matrix instead of a covariance matrix between terms for performing PCA. We also try to find out thresholds of both the number of components to be selected and correlation coefficients between selected components and terms. The experimental results on 283 Korean newspaper articles show that the condition of the first six components with correlation coefficients of |0.4| is the best for extracting sentence based on the significant selected terms.

• 한국공간정보시스템학회:학술대회논문집
• /
• 1999.06a
• /
• pp.251-264
• /
• 1999

다양한 출처의 지리정보를 공유 및 유통하기 위해서는 지리정보 전반에 걸친 표준화가 필요하다. 현재 국내외적으로 지리정보에 대한 상호운용성을 지원하기 위하여 지리정보 각 분야에 걸쳐 표준화 작업을 수행하고 있다. 특히 표준화된 용어의 사용은 다른 표준화 작업에 기반이 되므로, 공통적으로 사용되어지는 지리정보에 관련된 용어의 표준은 매우 중요하며 선결되어야 한다. 이 논문에서는 국제표준화기구에서 제정중인 지리정보에 관련된 용어를 기반으로 국내 실정에 맞는 지리정보 용어 표준안을 제시한다.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.49 no.2
• /
• pp.45-52
• /
• 2012

This paper proposes a new enhancing document clustering method using the important terms of cluster and the wikipedia. The proposed method can well represent the concept of cluster topics by means of selecting the important terms in cluster by the semantic features of NMF. It can solve the problem of "bags of words" to be not considered the meaningful relationships between documents and clusters, which expands the important terms of cluster by using of the synonyms of wikipedia. Also, it can improve the quality of document clustering which uses the expanded cluster important terms to refine the initial cluster by re-clustering. The experimental results demonstrate that the proposed method achieves better performance than other document clustering methods.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.336-338
• /
• 2000

본 논문에서는 사용자의 적합 피드백을 기반으로 적합 문서들에서 발생하는 용어들과 초기 질의어간의 발생 빈도 유사도 및 퍼지 추론을 이용하여 용어의 가중치를 산정하는 방법에 대하여 제안한다. 피드백 문서들에서 발생하는 용어들 중에서 불용어를 제외한 모든 용어들을 질의로 확장될 수 있는 후보 용어들로 선택하고, 발생 빈도 유사성을 이용한 초기 질의어-후보 용어의 관련 정도, 용어의 IDF, DF 정보를 퍼지 추론에 적용하여 후보 용어의 초기 질의에 대한 최종적인 관련 정도를 산정 하였으며, 피드백 문서들에서의 가중치와 관련 정보를 결합하여 후보 용어들의 가중치를 산정 하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.510-512
• /
• 2003

본 논문에서는 문서의 자동 분류를 위한 용어 빈도 가중치 계산 방법으로 Box-Cox변환기법을 응용한 정규화 용어빈도 가중치를 정의하고, 이를 문서 분류에 적응하였다. 여기서 Box-Cox 변환기법이란 자료를 정규분포화 할 때 적용하는 통계적인 변환방법으로서, 본 논문에서는 이를 응용하여 새로운 용어빈도가중치 계산법을 제안한다. 문서에서 등장한 용어 빈도는 너무 많거나 적게 등장할 경우, 중요도가 떨어지게 되는데, 이는 용어의 중요도가 빈도에 따른 정규분포로 모델링 될 수 있다는 것을 의미한다. 또한 정규화 가중치 계산방법은 기존의 용어빈도 가중치 공식과 비교할 때, 용어마다 계산방법이 달라져, 로그나 루트와 같은 고정된 가중치 방법보다는 좀더 일반적인 방법이라 할 수 있다. 신문기사 8000건을 대상으로 4개의 그룹으로 나누어 실험 한 결과, 정규화 용어빈도가중치 계산방법이 모두 우위의 분류 정확도롤 가져, 본 논문에서 제안한 방법이 타당함을 알 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.04a
• /
• pp.869-872
• /
• 2017

정보검색(Information retrieval) 및 텍스트 분석을 위해 수집하는 비정형 데이터 즉, 자연어를 전처리하는 과정 중 하나인 불용어(Stopword) 제거는 모델의 품질을 높일 수 있는 쉽고, 효과적인 방법 중에 하나이다. 특히 다양한 텍스트 문서에 잠재된 주제를 추출하는 기법인 토픽모델링의 경우, 너무 오래되거나, 수집된 문서의 도메인이나 성격과 무관한 불용어의 제거로 인해, 해당 토픽 모델에서 학습되어 생성된 주제 관련 단어들의 일관성이 떨어지게 된다. 따라서 분석가가 분류된 주제를 올바르게 해석하는데 있어 많은 어려움이 따르게 된다. 본 논문에서는 이러한 문제점을 해결하기 위해 일반적으로 사용되는 표준 불용어 대신 관련 도메인 문서로부터 추출되는 점별 상호정보량(PMI: Pointwise Mutual Information)을 이용하여 불용어를 자동으로 생성해주는 기법을 제안한다. 생성된 불용어와 표준 불용어를 통해 토픽 모델의 품질을 혼잡도(Perplexity)로써 측정한 결과, 본 논문에서 제안한 기법으로 생성한 30개의 불용어가 421개의 표준 불용어보다 더 높은 모델 성능을 보였다.