• Title/Summary/Keyword: 전처리방법

Search Result 2,567, Processing Time 0.03 seconds

A Study on Preprocessing in English-Korean Machine Translation (영한기계번역에서의 전처리에 관한 연구)

  • Kim, Sung-Dong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06c
    • /
    • pp.249-253
    • /
    • 2010
  • 영한기계번역은 영어와 한국어 사이에 많은 언어적인 차이가 존재하며 이를 효과적으로 해결해야 한다. 규칙기반의 영한기계번역에서는 언어간의 차이를 어휘, 구문, 변환 등의 규칙을 이용하고 숙어 등의 사전정보를 활용하는 방법이 적용되고 있으나 한계가 있다. 본 논문에서는 두 언어간의 차이를 해소하는 방안으로 전처리를 적용하였으며 규칙기반의 영한기계번역에서 요구되는 전처리작업에 대해서 연구하였다. 전처리작업은 전처리문제와 해결방안으로 구성되는데, 언어간의 차이해소에 필요한 전처리문제를 조사하여 전처리문제가 영한기계번역의 어떤 단계에서 다루어져야 할지에 의해 문제들을 구분하였으며 이를 해결하기 위한 방안을 고안하여 본 논문에서 제시하였다.

  • PDF

A Study on data pre-processing for rainfall estimation from CCTV videos (CCTV 영상 기반 강수량 산정을 위한 데이터 전처리 방안 연구)

  • Byun, Jongyun;Jun, Changhyun;Lee, Jinwook;Kim, Hyeonjun;Cha, Hoyoung
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.167-167
    • /
    • 2022
  • 최근 빅데이터에 관련된 연구에 있어 데이터의 품질관리에 대한 논의가 꾸준히 이뤄져 오고 있다. 특히 이미지 처리 및 분석에 활용되어온 딥러닝 기술의 경우, 분류 작업 및 패턴인식 등으로부터 데이터의 특징을 추출함으로써 비지도학습(Unsupervised Learning)을 가능하게 한다는 장점이 있음에도 불구하고 빅데이터를 다루는 과정에 있어 용량, 다양성, 속도 및 신뢰성 측면에서의 한계가 있었다. 본 연구에서는 CCTV 영상을 활용한 강수량 산정 모델 개발에 있어 예측 정확도 향상 및 성능 개선을 도모할 수 있는 데이터 전처리 방법을 제안하였다. 서울 근린 AWS 4개소 지역(김포장기, 하남덕풍, 강동, 성남) 및 중앙대학교 지점 내 CCTV를 설치한 후, 최대 9개월의 영상을 확보하여 강수량 산정을 위한 딥러닝 모델을 개발하였다. 배경분리, 조도조정, 영역설정, 데이터증진, 이상데이터 분류 등이 가능한 알고리즘을 개발함으로써 데이터셋 자체에 대한 전처리 작업을 수행한 후, 이에 대한 결과를 기존 관측자료와 비교·분석하였다. 본 연구에서 제안한 전처리 방법들을 적용한 결과, 강수량 산정 모델의 예측 정확도를 평가하는 지표로 선정한 평균 제곱근 편차(Root Mean Square Error; RMSE)가 약 30% 감소함을 확인하였다. 본 연구의 결과로부터 CCTV 영상 데이터를 활용한 강수량 산정의 가능성을 확인할 수 있었으며 특히, 딥러닝 모델 개발시 필요한 적정 전처리 방법들에 대한 기준을 제시할 수 있을 것으로 판단된다.

  • PDF

Pretreatment Characteristics of Ammonia Soaking Method for Cellulosic Biomass (암모니아 Soaking 방법을 이용한 섬유소계 바이오매스의 전처리 특성)

  • Park, Yong-Cheol;Kim, Jin-Woo;Kim, Jun-Seok
    • Korean Chemical Engineering Research
    • /
    • v.49 no.3
    • /
    • pp.292-296
    • /
    • 2011
  • Liberation of fermentable sugars from lignocellulosic biomass is one of the key challenges in production of cellulosic ethanol. Aqueous ammonia cleaves ether and ester bonds in lignin carbohydrate complexes. It is an effective swelling reagent for lignocellulosic biomass. The aqueous ammonia pretreatment selectively reduces the lignin content of biomass. However, at high temperatures, this process solubilizes more than 50% of the hemicellulose in the biomass. Here we conducted a SAA(Soaking in Aqueous Ammonia) process by moderate reaction temperatures at atmospheric pressure using various lignocellulosicbiomass. The optimum condition of this process was 15 wt% of aqueous ammonia at 50 of reaction time during 72 hr. The delignification was up to 60% basis on initial biomass and the enzymatic digestibility was 60-90% for agricultural biomass, respectively.

A Sparse Data Preprocessing Using Support Vector Regression (Support Vector Regression을 이용한 희소 데이터의 전처리)

  • 전성해;박정은;오경환
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2004.04a
    • /
    • pp.499-501
    • /
    • 2004
  • 웹 로그, 바이오정보학 둥 여러 분야에서 다양한 형태의 결측치가 발생하여 학습 데이터를 희소하게 만든다. 결측치는 주로 전처리 과정에서 조건부 평균이나 나무 모형과 같은 기본적인 Imputation 방법을 이용하여 추정된 값에 의해 대체되기도 하고 일부는 제거되기도 한다. 특히, 결측치 비율이 매우 크게 되면 기존의 결측치 대체 방법의 정확도는 떨어진다. 또한 데이터의 결측치 비율이 증가할수록 사용 가능한 Imputation 방법들의 수는 극히 제한된다. 이러한 문제점을 해결하기 위하여 본 논문에서는 Vapnik의 Support Vector Regression을 데이터 전처리 과정에 알맞게 변형한 Support Vector Regression을 제안하여 이러한 문제점들을 해결하였다. 제안 방법을 통하여 결측치의 비율이 상당히 큰 희소 데이터의 전처리도 가능하게 되었다. UCI machine learning repository로부터 얻어진 데이터를 이용하여 제안 방법의 성능을 확인하였다.

  • PDF

The Contrast Ratio Applied Preprocessing Method for Enhancing Recognition Rate of Artificial Intelligence (인공지능 인식률을 높이기 위한 명암비 적용 전처리 방법)

  • Kim, Sung-Jung;Yoo, Jaechern
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2019.01a
    • /
    • pp.19-21
    • /
    • 2019
  • 본 논문에서는 인공지능의 인식률을 높이기 위해 명암비를 적용한 전처리 방법에 대해 제안한다. 이 방법은 인공지능이 기존의 방법보다 특징점을 쉽게 얻어내기 위해서 명암비를 적용한 전처리를 진행하여 인식률을 높이기 위함에 목적을 두고 있다. 제안한 방법으로 인하여 문자인식이 얼마나 향상되었고, 기존의 성능과 비교하여 정확도가 얼마나 향상되었는지를 알아보고 있다.

  • PDF

A Comparative Measurement of Pb and Cd with Different Pretreatment (전처리방법에 따른 환경시료내 Pb과 Cd의 측정)

  • Yoon, Chun-Gyeong;Kwon, Tae-Young
    • Korean Journal of Environmental Agriculture
    • /
    • v.18 no.2
    • /
    • pp.109-115
    • /
    • 1999
  • Lead and cadmium were analyzed with different pretreatemnt methods. Paddy soil and wastewater sludge samples were used and the result was compared each other. Pretreatment method affected the concentration obtained from samples significantly. Large difference was illustrated between the results. The concentration by 0.1N HCl extraction method, an official analytical method for soil and solid wastes, was far lower than those by the EPA3050B and mixed-acid digestion methods. The reason might be that metals associated with organics and silicates are not easily extracted by 0.1N HCl, while digestion methods using strong acids and high temperature dissolved all the elements in the samples. It implies that pretreatment method should be specified in addition to concentration on the report of metal analysis for environmental samples. Acid digestion methods are not necessarily good because the concentration obtained does not represent the natural condition which is our concern in many cases. The 0.1N HCl extraction method does not fully represent the natural condition either. The metals associated with organics will be extracted eventually as organics decompose with time. Therefore, proper pretreatment and analytical methods should be developed for specific purpose, and their standardization is recommended.

  • PDF

Comparisons of Sludge Pre-Treatment Systems : Hydrodynamic vs Ultrasonic Cavitation (수리동력학적 및 초음파 캐비테이션 슬러지 전처리 장치의 비교 연구)

  • Maeng, Jang-Woo;Bae, Jae-Ho
    • Journal of Korean Society of Environmental Engineers
    • /
    • v.31 no.2
    • /
    • pp.90-95
    • /
    • 2009
  • Sludge pre-treatment utilizing cavitation is one of the commercialized methods at present. Cavitation can be generated by two different methods, sonotrode and hydrodynamic principle, and there has been no direct comparison between the two methods. In this study, solubilization efficiency, changes in sludge size distribution, and the methane production potential after pre-treatment by the two methods were compared. The maximum solubilization efficiency per unit energy input with the two methods was similar, and was 302 mg ${\Delta}SCOD/g$ TS at the energy input of 0.18 kWh/L. Break-up of sludge flocs were dominant during the early period of pre-treatment, while cell disintegration continued through the pre-treatment with the increase in the number of particles with less than 1 ${\mu}m$. BMP test results indicated that the methane potential increased up to 24.3% without differences between the two pre-treatments, and the increase in methane potential did not proportional to energy input. Although the energy efficiency of the two methods was quite similar, hydrodynamic methods might be a better choice for field application considering the operation and maintenance cost, and its potential improvement in energy efficiency.

Development of Surface Modified Tencel fabrics through the Control of Fibrillation(III) -Effect of DP Finishing Method and NaOH Pretreatment- (피브릴화 조절을 통한 다양한 감성의 텐셀소재 개발(제3보) -DP가공 방법 및 NaOH 전처리가 미치는 효과-)

  • Shin, Younsook;Son, Kyounghee
    • Journal of the Korean Society of Clothing and Textiles
    • /
    • v.26 no.12
    • /
    • pp.1749-1755
    • /
    • 2002
  • 본연구의 목적은DP가공에 의한 가교화를 통해 텐셀의 피브릴화를 조절할 때 DP가공 방법 및 NaOH전처리 효과를 물성, 표면형태, 역학적 성질 및 태의 변화의 관점에서 고찰하는데 있다. SEM 분석결과DP가공에 의해 피브릴 발생 정도는 감소하였다. DP가공 방법에 있어 서 WF법과 PDC법에 따른 물성의 차이는 나타나지 않았다. 역학적특성의 경우 DP가공은 DP가공 방법에 상관없이 효소처리한 직물의 인장선형성에는 큰 영 향을 주지 않았으나 인장에 너지, 굽힘 강성, 압축선형성, 압축 레질리언스, 기하학적 거칠기는 감소시켰고 인장 레질리언스, 굽힘이력, 압축에너지는 증가시켰다. 전단특성은 WF법에서는 증가한 반면, PDC법에서는 감소하여 DP가공 방법에 따른 차이를 나타내었다. WF법이 PDC법보다 더 높은 Koshi, Numeri, Fukurami 값을 보였으며, 종합태 값은 비슷하게 나타났다. NaOH 전처 리에 의해 수지부착량은 감소하였으나 감량률은 증가하였으며, DP성/물성은 더 낮게 나타났다. NaOH 전처리에 의해 인장선형성, 인장에너지, 압축 레질리언스, 전단 및 굽힘특성은 증가하였으나 인장레질리언스와 압축선형성, 압축에너지, 표면특성은 감소하였다. NaOH 전처리한 경우 Koshi는 증가하였고, Numrei와 Fukuramil는 감소하였으며, 종합태 값은 가장 낮았다. 처리한 시료들은 각각 다른 감성과 촉감을 나타냈다.

Preprocessing for utilize facial shape information (얼굴윤곽 정보 활용을 위한 얼굴영상 전처리)

  • 유연희;고재필;변혜란
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04c
    • /
    • pp.337-339
    • /
    • 2003
  • 얼굴인식은 얼굴 요소간의 지형적 특징보다 얼굴 영역 영상을 그대로 사용하여 인식하는 외관기반(appearance-based) 방법이 선호된다. 이때, 배경의 영향을 배제하기 위해 얼굴요소정보를 포함하는 최소 사각 영역을 사용하거나, 타원 마스크를 적용한다. 그러나, 이러한 전처리 방법은 개인별 외관특징으로써의 얼굴 윤곽 정보를 활용하지 못하게 한다. 본 논문에는 얼굴의 윤곽정보를 추출하기 위한 전처리 절차를 제안하고, ORL 얼굴 데이터에 대한 인식률 실험을 통해 제안하는 방법이 얼굴인식 성능을 크게 향상시킬 수 있음을 보인다.

  • PDF

관심영역 화질개선을 위한 HEV C 전처리 방법

  • Lee, Jae-Rin;O, Gyo-Hyeok;Jeon, Byeong-U
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2019.06a
    • /
    • pp.112-113
    • /
    • 2019
  • 유무선 정보통신환경에 맞춰 제한된 비트율로 압축된 CCTV 영상의 화질은 좋지 않을 수 있다. 본 논문은 제한된 비트율로 압축된 영상내 관심영역의 화질개선을 위해, 영상압축을 수행 하기 전의 카메라 센서로 획득한 영상에 전처리를 수행하는 방법을 제안한다. 제안하는 알고리즘은 관심영역 및 비관심영역에 차등적 필터를 적용하여 화소 별 공간적 상관도를 향상시킨다. 제안된 방법을 사용한 결과 관심영역에서의 텍스처 손실을 최소화 할 수 있었으며 전처리 과정을 적용하지 않은 영상과 비교하여 객관적 화질이 향상됨을 확인할 수 있다.

  • PDF