• 한국지능시스템학회논문지
• /
• 제14권6호
• /
• pp.789-792
• /
• 2004

웹 마이닝, 바이오정보학, 통계적 자료 분석 등 여러 분야에서 매우 다양한 형태의 결측치가 발생하여 학습 데이터를 희소하게 만든다. 결측치는 주로 전처리 과정에서 가장 기본적인 평균과 최빈수뿐만 아니라 조건부 평균, 나무 모형, 그리고 마코프체인 몬테칼로 기법과 같은 결측치 대체 기법들을 적용하여 추정된 값에 의해 대체된다. 그런데 주어진 데이터의 결측치 비율이 크게 되면 기존의 결측치 대체 방법들의 예측의 정확도는 낮아지는 특성을 보인다. 또한 데이터의 결측치 비율이 증가할수록 사용 가능한 결측치 대체 방법들의 수는 제한된다. 이러한 문제점을 해결하기 위하여 본 논문에서는 통계적 학습 이론 중에서 Vapnik의 Support Vector Regression을 데이터 전처리 과정에 알맞게 변형하여 적용하였다. 제안 방법을 이용하여 결측치 비율이 큰 희소 데이터의 전처리도 가능할 수 있도록 하였다 UCI machine learning repository로부터 얻어진 데이터를 이용하여 제안 방법의 성능을 확인하였다.

• 대한교통학회지
• /
• 제35권3호
• /
• pp.220-233
• /
• 2017

교통량은 주말 및 첨두시 O/D 구축, 차량주행거리 산정, 혼잡도로개선 대책 등에 활용되는 중요한 기초자료이다. 그럼에도 불구하고 국내 도시부 도로의 교통량 링크 커버리지는 매우 낮아, 현재 수집 교통량으로는 교통정책 및 분석에 제약이 따를 수밖에 없다. 이에 본 연구에서는 특 광역시 중 수집교통량 및 속도의 링크 커버리지가 가장 낮은 서울시를 대상으로, 수집 교통량과 속도를 활용하여 교통량 결측링크의 교통량을 추정하는 방안을 제안하였다. 여기서, 교통량 추정 방법으로 공간적 통계기법을 활용하였다. 교통량 추정모형 구축시, 서울시의 도시고속도로와 도시부 도로는 교통류 및 통행패턴은 상이하므로 이를 분류하여 도시고속도로에는 구간별 상수함수, 도시부 도로에는 회귀크리깅을 적용하였다. 이용 데이터로는 서울시 TOPIS, 국교부 국가교통정보센터 등에서 수집한 공공부문 교통량, 속도와 민간 내비게이션 DB를 활용하였다. 내비게이션 DB는 대부분의 도로링크에서 수집되므로 교통량 추정에 매우 용이하다는 강점을 가지고 있다. 단, 내비게이션 DB는 수집 교통데이터의 샘플데이터이므로, 모집단인 교통량, 속도와 비교 검증하여 적용하였다. 뿐만 아니라 내비게이션 DB도 결측링크가 존재하고, 차종이 승용차로만 구성되어 있으므로 이를 보정하여 적용하였다. 공간적 통계기법을 통해 추정한 교통량은 MAPE, RMSE를 활용하여 실제 교통량과 비교 검증하였다. 검증결과 model error가 MAPE 6.26%, RMSE 5,410로 모델의 추정력이 높고, prediction error는 MAPE 20.3% 로 교통량 추정에 대한 추정력도 높은 것으로 분석되었다. 본 연구에서 제시한 교통량 결측링크의 교통량 추정모형은 차량주행거리와 온실가스 배출량 산정 등에 다양하게 활용될 수 있을 것으로 판단된다.

• 한국의류학회지
• /
• 제33권3호
• /
• pp.401-409
• /
• 2009

The shape of crotch area is very important to develop functional clothing as well as other ergonomic goods such as chair or saddle etc. However, it is inevitable that 3D scanned image of crotch would have missing part due to its folded shape including overlapping legs nearby. Therefore, the objectives of this research was to compare reconstruction methods of missing parts at crotch using seven dummies of real men's replicas. Two reconstruction methods adopted were kinds of 'fill- hole' in Rapidform 2004, one was 'smooth' and the other was 'curvature'. Each restored image was compared with the original shape of the dummies. As results, the average distance was 0.66mm between original and 'smooth' treated images and 0.59mm between original and 'curvature' treated, which was not statistically different. Average area of restored crotch region was $8740.04cm^2$ by 'smooth' method and $8405.02cm^2$ by 'curvature' method which is close to the original area of $8413.76cm^2$. Statistical difference was found between images of original and 'smooth' ones$(p=0.04^*)$. However, there was no difference between original and 'curvature' treated images, which indicates that 'curvature' method is more useful to fill the hole compared with 'smooth' method.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2018년도 학술발표회
• /
• pp.310-310
• /
• 2018

현재 지상에서의 강우관측은 여러기관에 의해 이루어 지고 있다. 국토교통부에서는 홍수 및 갈수예보, 가뭄대응, 하천 유량관리 등 다양한 국가 수자원 관리의 목적으로 강우관측을 포함한 수문조사를 시행중이고, 전국에 424개의 강수량 관측소를 설치하여 운영중이다. 강수량 데이터는 10분단위 자료를 실시간으로 수집하여 각 관할 홍수통제소로 전송되며, 전송된 자료는 최적의 품질을 확보하기 위해 다양한 방법으로 품질관리를 실시하고 있다. 강수량 자료는 다양한 원인에 의해 결측이 발생할 수 있는데, 강수총량은 알지만 결측에 의해 시간 배분 보정을 해야 하는 경우 주변 관측소의 관측자료나 강우레이더의 반사도 등을 활용할 수 있다. 본 연구에서는 국토교통부에서 운영중인 강우레이더를 통해 생산되는 다양한 반사도 자료를 활용하여 결측자료에 대한 시간보정을 수행하는 방법론을 제시하였다. 제안한 방법론의 검증을 위해 낙동강 하류 유역의 50개 강수량 관측소 자료를 이용하였다. 다양한 강우사상의 자료들을 이용하여 반사도를 활용한 강수보정과 실제 관측된 자료와의 일치성을 검토하였고, 제안된 방법론이 결측자료 품질관리를 위한 하나의 방안으로 활용될 수 있음을 확인하였다.

• 디지털융복합연구
• /
• 제14권8호
• /
• pp.245-252
• /
• 2016

본 연구는 현재 운영 중인 자동기상관측장비인 ASOS와 AWS의 결측에 대해 안공신경망을 활용하여 주변 관측값을 기반으로 결측을 보완하기 위한 연구이다. 2011년부터 2015년까지 수집된 서울지역 기온, 습도, 풍속을 대상으로 학습데이터를 구성하고 인공신경망을 통해 학습모델을 구축하였으며, 서울관측소를 결측으로 가정하고 학습 모델에 대한 검증을 수행하였다. 학습횟수 증가에 따른 민감도 실험 결과 초기종료는 학습횟수 2,000회에서 나타났다. 관측과 추정치의 상관관계는 모든 기상변수에서 0.6이상이었으며 기온과 습도의 경우 각각 0.9, 0.8 이상의 높은 상관성을 보였다. RMSE는 대부분 기상변수에 대해 학습횟수가 증가함에 따라 꾸준히 감소하지만 풍속의 경우 뚜렷한 증감 경향이 나타나지 않았다. 학습시간은 학습횟수가 증가할수록 지수함수적으로 증가하는 경향을 보였다. 학습 횟수 40회의 ANN 성능은 초기종료 시점까지 향상된 결과에 80%이상의 효과를 볼 수 있으며 2초 내의 빠른 학습시간으로 신속한 결측 보완을 통해 보다 상세한 기상정보의 활용이 가능할 것으로 기대된다.

• 응용통계연구
• /
• 제32권4호
• /
• pp.543-559
• /
• 2019

자료에는 다양한 원인에 의해 결측이 발생한다. 만약 결측치를 제외하고 완전히 관찰된 자료만으로 분석을 실시한다면 결측자료 메커니즘이 완전임의결측이 아닌 경우 결과에 편향이 발생하거나 제외된 개체로 인한 정보의 손실로 추정의 정밀도가 약화된다. 결측이 하나의 변수에서만 일어나지 않기 때문에, 자료에 변수가 많을 수록 이 문제는 심화된다. 문제를 개선하기 위해 결측치를 대체하는 여러가지 방법들이 제안되었다. 하지만 모수적인 모형을 이용한 대체 방법들은 가정에 위배되는 현실 데이터에는 적합하지 않다. 따라서 본 연구에서는 자료의 분포 가정에 덜 영향을 받는 커널, 리샘플링, 스플라인 방법을 활용한 비선형 대체 방법들을 리뷰하고 필요한 경우 기존의 비선형 대체 방법에 대체클래스를 사용하여 대체값의 정확도를 높이거나 랜덤성을 가지는 오차를 더해주어 추정치의 분산이 적게 추정되는 문제를 개선하는 확장된 결측 대체 방법을 제안한다. 본 연구에서 고려한 여러 가지 대체 방법들은 다양한 모의자료 설계 하에서 성능을 비교하였다. 모의실험 결과, 비선형 대체 방법들은 각 설계 하에 다른 성능을 보이며 전반적으로 커널 회귀나 스플라인을 활용한 대체 방법들이 좋은 성능을 보였다. 더불어, 확장된 대체 방법은 기존의 대체 방법이 가지는 문제점을 개선함을 확인할 수 있었다.

• 대한교통학회지
• /
• 제35권1호
• /
• pp.63-78
• /
• 2017

연구는 국도 단속류 구간에서 DSRC로 수집한 개별차량 통행시간의 대푯값 산정 시 신뢰도를 높이는 최적 수집 간격을 결정하는데 목적이 있다. 이를 위하여, 단속류 구간에서 수집되는 가장 대표적인 개별차량 통행시간의 분포인 양봉형태의 비대칭 분포를 따르는 수집데이터를 활용하고 개별차량 통행시간의 수집 간격 크기를 변화시켜 MSE(Mean Square Error)를 추정함으로 오차가 최소가 되는 최적 수집 간격 크기를 결정한다. MSE 산정을 위한 편의 추정식은 비대칭 분포에서도 활용이 가능한 t-분포의 최대 추정 오차식을 활용하였다. 최적 수집 간격 분석을 위한 데이터 수집 간격은 단속류 구간에서 신호정지로 데이터 수집이 정상적으로 결측 되는 1-2분 수집 간격은 제외하고, 3분 이상의 수집 간격만을 대상으로 하였다. 데이터 수집 시 결측을 발생시키는 수집 간격은 결측 데이터 보정처리 과정에서 또 다른 오차를 유발하게 되어 배제하였다. 분석결과 MSE가 최소가 되는 최적 수집 간격은 3-5분이며, 통행시간 증가 시 최적 수집 간격은 3분으로 짧아짐을 확인하였다. 시스템 운영의 효율성과 통행시간 대푯값 산정의 신뢰도 향상을 모두 고려할 때 기본 수집 간격은 기존과 같이 5분으로 운영하고, 정체 시는 3분으로 수집 간격을 줄여 운영하는 것이 효과적일 것으로 사료된다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.645-647
• /
• 2021

본 논문에서는 목조건물의 Crack만을 움직여 Data set을 증강하는 기법을 제안한다. 이 기법은 이미지 내 Crack Detection의 학습 데이터를 만들기 위해 이미지의 전체적인 값으로 Flip, Rotation, Shift, Rescale 등의 변환을 통해 Data Augmentation을 진행하는 대신 Crack이라는 하나의 Object만을 가지고 새로운 데이터를 생성한다. 이때 Object는 관심 영역 내에서만 연산되어 기존의 방법보다 더욱 많은 데이터를 얻을 수 있으며, Crack이 관심 영역 밖으로 이동하지 않기 때문에 이상치 혹은 결측치가 존재하지 않는 데이터를 얻을 수 있다. 또한 Crack이 존재하지 않는 이미지에도 임의적으로 Crack을 생성하여 새로운 데이터를 만들 수 있다. 결론적으로 본 논문에서는 Crack Detection의 학습을 위하여 기존 방법보다 우수한 성능의 Data Augmentation을 제안하였다.

• Korean Chemical Engineering Research
• /
• 제45권1호
• /
• pp.87-92
• /
• 2007

최근 공정의 이상을 감지하고 진단하기 위한 공정 모니터링 시스템의 개발이 공정 시스템 분야에서 많은 주목을 받고 있다. 공정으로부터 얻어지는 데이터는 공정의 특성에 대한 유용한 정보를 제공하고 이는 공정의 모델링과 모니터링 그리고 제어에 사용된다. 현대의 화학 및 환경 공정은 고차원적인 특성과 변수간의 강한 상관관계와 동특성 그리고 비선형적 특성을 가지고 있어 모델 기반 접근을 통해 공정을 분석하는 것을 쉽지 않다. 이러한 모델 기반 접근의 한계를 극복하기 위해 많은 시스템 엔지니어와 연구자들이 주성분 분석법(principal component analysis, PCA) 또는 부분 최소 자승법(partial least squares, PLS)과 같은 다변량 분석을 접목한 통계 기반 접근법에 초점을 맞추고 있다. 또한 동특성, 비선형성 등과 같은 특성을 가진 공정에 적용하기 위해 많은 다변량 분석법들이 보완되었다. 여기에서는 동적 주성분 분석법(dynamic PCA)과 케노니컬 변수 분석법(canonical variate analysis)을 이용한 결측 데이터의 예측법과 공정 변수의 복원을 통한 센서 오작동의 판별법에 대해 언급해 보고자 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 춘계학술발표대회
• /
• pp.41-43
• /
• 2018

소설 데이터는 인터넷 상의 수 많은 개인과 개인의 상호 작용에 의하여 연결되어 있으며, 이러한 데이터를 분석하여, 분석 대상에 내재하고 있는 구조와 특성을 파악하는 일은 중요하다. 특히, 개인 추천을 위해서는 개별 데이터들의 관계 그래프를 활용하여 빠르고 정확하게 추천 값을 도출하는 것이 효율적이다. 하지만, 기존 추천 기법으로는 신규 사용자와 아이템이 끊임없이 등장하는 상황을 즉각적으로 반영하기가 어렵고, 또한 많은 결측값을 포함하는 sparse 한 데이터일 경우에는 추천 시스템의 연산 공간과 시간에 많은 제약이 있다. 이에 본 논문에서는 Spark GraphX 를 활용한 개인 추천 시스템을 설계 및 개발하였으며, 이를 통하여 사용자와 아이템간에 내재하는 복합 요인이 반영된 그래프 기반 추천을 실행하여, 개인 추천 결과의 우수성을 확인하였다.