• Proceedings of the Korean Society of Computer Information Conference
• /
• 2020.07a
• /
• pp.297-298
• /
• 2020

본 논문에서는 머신러닝 학습에 있어 데이터 전처리의 중요성과 기존 데이터 전처리 기능을 가진 교육용 실습 플랫폼 서비스의 단점은 개선할 수 있는 데이터 전처리 학습을 위한 교육용 블록코딩 기반 실습 플랫폼을 제안한다. 머신러닝 모델의 학습데이터는 데이터 전처리에 따라 모델의 정확도에 큰 영향을 미치므로 데이터를 다양하게 활용하기 위해서는 전처리의 필요성을 깨닫고 과정을 정확하게 이해해야 한다. 따라서 데이터를 처리하는 과정을 이해하고 전처리를 직접 실행해 볼 수 있는 교육용 프로그래밍 언어 기반 D.I.Y 실습 플랫폼을 구현한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2010.04a
• /
• pp.413-416
• /
• 2010

최근 발생한 수많은 표절 논란으로 인해 많은 유사 문서 탐색 시스템이 개발되어 사용되고 있다. 많은 시스템 중 내용기반 유사문서 탐색 시스템인 DeVAC은 대용량 문서 1:1간의 비교에서 빠른 성능을 보여주지만 수천~수만 개의 문서 집합에 대해서는 적절한 성능을 보여주지 못한다. 이를 해결하기 위해 전역 사전(Global Dictionary)을 이용한 전처리 방법이 고안되어 적용되었다. 이 전처리 방법을 통해 비교해야 할 문서쌍이 줄어들고 전체 시스템의 성능을 향상시킬 수 있다는 것은 밝혀졌으나, 전처리를 위해 발생하는 추가 비용에 대한 계측이 이루어지지 않았을 뿐 아니라 문서 쌍이 얼마나 감소하는지 측정한 실험에서도 언어 처리용 실험적 데이터(말뭉치)에 대한 실험이 대부분을 차지하였기 때문에 실제 데이터에 대해 어떤 성능을 보일지 정확히 예측할 수 없었다. 본 논문에서는 전체 시스템에서 전처리를 위해 필요한 모든 추가 비용을 측정하고, 데이터를 1.5Gb, 6263개의 문서로 이루어진 실존하는 문서 집합으로 구성하여 성능 향상 정도를 측정함으로써 실제 데이터에 대한 전처리 신뢰도를 예측하였다. 실험 결과 전처리 후 찾아낸 유사한 문서 쌍을 전처리를 하지 않을 경우의 80~89.3% 정도로 유지하면서 검사 시간을 기존의 10.8%~15.4% 수준으로 대폭 감소시킬 수 있었다.

• Journal of the Korean Recycled Construction Resources Institute
• /
• v.10 no.3
• /
• pp.285-292
• /
• 2022

The objective of this study is to investigate whether CGS generated in IGCC satisfies the fine aggregate quality items specified in KS F 2527(Concrete Aggregate) through the pretreatment process system and the quality improvement the system. The statistical significance of the pretreatment process was analyzed through Repeated Measurements ANOVA as measured values according to individually pretreatment process system. As a result of the analysis, In the case of CGS fine aggregate quality before and after the pretreatment process system, the density increased 5.2 %, the absorption rate decreased by 1.86 %, the 0.08 mm passing ratio decreased by 2.25 %, and Fineness Modulus and Particle-size Distribution were also found to be adjustable. It was found that the pretreatment process system was significant in improving the quality of CGS.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.05a
• /
• pp.83-85
• /
• 2013

본 연구는 사용자가 센서를 의식하지 않고 편안하게 일상생활을 영위할 수 있는 비침습적 방식의 센서를 활용하여 향후 침대 위에 있는 사람의 움직임을 정량적으로 측정하고자 한다. 이러한 목적으로 필름 형태의 압전센서를 사용하는 센서 시스템을 구축하였으며, 본 논문에서는 구축된 시스템에서 필요한 전처리 과정을 제시한다. 본 연구에서 사용된 압전센서는 침대 매트리스 아래에 설치하였다. 사람의 움직임에 의한 압전센서의 출력 신호를 증폭하고 샘플링하여 PC로 전송하는 컨트롤러, 컨트롤러로부터 센서 데이터를 수신하고, 사용자에게 센서 데이터를 시각적으로 제시하는 모니터링 프로그램을 개발하였다. 본 연구에서는 컨트롤러에서의 노이즈 제거, 증폭, 샘플링 등의 전처리, 모니터링 프로그램에 의해 수집된 센서 데이터에 대한 이동 평균 필터, 불필요한 움직임이 없는 구간을 제거 후 움직임이 있는 구간 추출 등의 전처리 과정을 제시한다. 이러한 전처리 연산은 향후 침대 위 인체의 움직임을 정량적으로 측정하고, 행동유형을 식별하는데 기여하게 될 것이다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1994.06c
• /
• pp.342-345
• /
• 1994

본 논문에서는 무제한단어 음성합성 시스템인 한소리에 대해서 간략히 기술하고 청취실험을 통한 성능평가에 대해 논한다. 음성합성시스템의 음질을 결정하는 주요 요소들은 합성의 기본단위, 합성방법, 음운학적 전처리방법 및 운율조절방법이다. 한소리 합성시스템은 반음소를 음성합성의 기본단위로 하고, 형식형태소를 이용 음성학적 전처리를 실행하며, 개선된 한국어 운율조절방법이 적용되고, 음성단편조합방식을 합성방식을 사용한다. 청취실험결과 매우 한소리 합성시스템의 합성음이 자연스러움을 알 수 있다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2017.05a
• /
• pp.1-1
• /
• 2017

녹조현상은 부영양화된 호수나 유속이 느린 하천에서 부유성의 조류(식물 플랑크톤)가 대량 증식하여 수면에 집적하게 되고 물의 색을 현저하게 녹색으로 변화시킴으로써 발생된다. 최근에는 이러한 녹조 현상이 광역화, 독성화, 장기화의 특성을 띠며 빈번히 발생되고 있다. 녹조현상은 독소를 발생시키는 남조류에 의해 수생식물에 악영향을 주는 것으로 알려져 있다. 예를 들면 독소에 의한 가축에의 영향, 생태계 파괴로 인한 생태학적인 문제, 산소결핍으로 인한 물고기 및 각종 수중생물 폐사 등의 심각한 문제를 야기한다. 또한 조류는 식수에서 맛과 냄새를 유발할 뿐 아니라 Microcystin-LR과 같은 유해한 독소를 배출하여 공중 보건을 위협한다. 이에 식수원으로 사용되는 하천의 조류 번식에 따른 대응방안 마련이 절실히 요구된다. 유입되는 조류로 부터의 정수처리 설비의 처리 부하를 줄이기 위해서는 취수시스템과 연계한 고속 전처리 조류 제거 시스템을 개발이 필요하다. 기존의 전기응집부상공정(Electro-Coagulation and Flotation, ECF)은 화학 약품(응집제) 투여량이 적은 이점이 있지만 비교적 긴 전기 분해 시간이 필요하여 기존 정수처리 시스템과 연계성에 있어 한계가 있다. 이에 본 연구는 전기 분해 시간을 줄여 유입된 조류를 수 초 내에 응집하여 1분 이내에 조류를 분리하는 초고속 조류 전처리 기술을 개발하였다. 개발된 기술의 현장적용 및 실험 결과, 응집과정이 없이도 Chlo-a는 약 45 %의 제거 효율을 나타났다. 또한 응집제의 투입 및 전극에 의한 부상시스템에 의해 Chlo-a가 약 80 %로 제거되는 것으로 나타나 빈번하게 발생되는 조류로부터 안정적인 물 공급을 위한 전처리 공정으로 활용이 가능할 것으로 판단된다.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2000.06a
• /
• pp.216-223
• /
• 2000

웹 문서는 일반 문서들과 달리 자유로운 형식으로 기술되어 있고, 원문에 태그나 코드 등 불필요한 내용들을 많이 포함하고 있어 언어 처리에 바로 사용하기에 적합하지 못하다. 본 논문은 인덱싱 대상 문서로 사용되는 웹 문서를 자동으로 수집하여, 문장 단위로 정렬된 문서로 제작, 관리하는 통합 전처리 시스템인 Web Tagger의 구조와 전처리 방법을 소개한다. Web Tagger는 문서 정제, 문장 분할, 띄어쓰기의 과정을 거쳐 웹 문서에서 표준화된 정보를 추출하고, 형태소 분석기를 포함한 응용 시스템의 목적에 맞게 XML형식의 원문 코퍼스를 자동으로 생성하고 관리한다. '정규문법(Regexp)', '휴리스틱', '품사 인덱스 참조', 'C4.5를 사용한 학습 규칙' 등의 다양한 전처리 기법은 형태소 분석 정확도 향상과 시스템 안정성 보장에 기여한다.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.5 no.5
• /
• pp.522-527
• /
• 2010

In the connected environment by network, clients shared resources as that requested the file that a server had, but P2P system is alternative because of the overload of servers. To improve the performance of this P2P system, we are studying about that. In this study, we can improve a usability for users using P2P search system, and suggest a group search algorithm based on a preprocessing search.

• Annual Conference on Human and Language Technology
• /
• 2000.10d
• /
• pp.216-223
• /
• 2000

웹 문서는 일반 문서들과 달리 자유로운 형식으로 기술되어 있고, 원문에 태그나 코드 등 불필요한 내용들을 많이 포함하고 있어 언어 처리에 바로 사용하기에 적합하지 못하다. 본 논문은 인덱싱 대상 문서로 사용되는 웹 문서를 자동으로 수집하여, 문장 단위로 정렬된 문서로 제작, 관리하는 통합 전처리 시스템인 Web Tagger의 구조와 전처리 방법을 소개한다. Web Tagger는 문서 정제, 문장 분할, 띄어쓰기의 과정을 거쳐 웹 문서에서 표준화된 정보를 추출하고, 형태소 분석기를 포함한 응용 시스템의 목적에 맞게 XML 형식의 원문 코퍼스를 자동으로 생성하고 관리한다. '정규문법(Regexp)', '휴리스틱', '품사 인덱스 참조', 'C4.5를 사용한 학습 규칙' 등의 다양한 전처리 기법은 형태소 분석 정확도 향상과 시스템 안정성 보장에 기여한다.

• Smart Media Journal
• /
• v.12 no.1
• /
• pp.47-53
• /
• 2023

Recently, research on a smart farm that creates new values by combining information and communication technology(ICT) with agriculture has been actively done. In order for domestic smart farm technology to have productivity at the same level of advanced agricultural countries, automated decision-making using machine learning is necessary. However, current smart greenhouse data collection technologies in our country are not enough to perform big data analysis or machine learning. In this paper, we design and implement a smart greenhouse data preprocessing system for autonomous machine learning. The proposed system applies target data to various preprocessing techniques. And the proposed system evaluate the performance of each preprocessing technique and store optimal preprocessing technique for each data. Stored optimal preprocessing techniques are used to perform preprocessing on newly collected data