• 지능정보연구
• /
• 제24권1호
• /
• pp.205-225
• /
• 2018

Convolutional Neural Network (ConvNet)은 시각적 특징의 계층 구조를 분석하고 학습할 수 있는 대표적인 심층 신경망이다. 첫 번째 신경망 모델인 Neocognitron은 80 년대에 처음 소개되었다. 당시 신경망은 대규모 데이터 집합과 계산 능력이 부족하여 학계와 산업계에서 널리 사용되지 않았다. 그러나 2012년 Krizhevsky는 ImageNet ILSVRC (Large Scale Visual Recognition Challenge) 에서 심층 신경망을 사용하여 시각적 인식 문제를 획기적으로 해결하였고 그로 인해 신경망에 대한 사람들의 관심을 다시 불러 일으켰다. 이미지넷 첼린지에서 제공하는 다양한 이미지 데이터와 병렬 컴퓨팅 하드웨어 (GPU)의 발전이 Krizhevsky의 승리의 주요 요인이었다. 그러므로 최근의 딥 컨볼루션 신경망의 성공을 병렬계산을 위한 GPU의 출현과 더불어 ImageNet과 같은 대규모 이미지 데이터의 가용성으로 정의 할 수 있다. 그러나 이러한 요소는 많은 도메인에서 병목 현상이 될 수 있다. 대부분의 도메인에서 ConvNet을 교육하기 위해 대규모 데이터를 수집하려면 많은 노력이 필요하다. 대규모 데이터를 보유하고 있어도 처음부터 ConvNet을 교육하려면 많은 자원과 시간이 소요된다. 이와 같은 문제점은 전이 학습을 사용하면 해결할 수 있다. 전이 학습은 지식을 원본 도메인에서 새 도메인으로 전이하는 방법이다. 전이학습에는 주요한 두 가지 케이스가 있다. 첫 번째는 고정된 특징점 추출기로서의 ConvNet이고, 두번째는 새 데이터에서 ConvNet을 fine-tuning 하는 것이다. 첫 번째 경우, 사전 훈련 된 ConvNet (예: ImageNet)을 사용하여 ConvNet을 통해 이미지의 피드포워드 활성화를 계산하고 특정 레이어에서 활성화 특징점을 추출한다. 두 번째 경우에는 새 데이터에서 ConvNet 분류기를 교체하고 재교육을 한 후에 사전 훈련된 네트워크의 가중치를 백프로퍼게이션으로 fine-tuning 한다. 이 논문에서는 고정된 특징점 추출기를 여러 개의 ConvNet 레이어를 사용하는 것에 중점을 두었다. 그러나 여러 ConvNet 레이어에서 직접 추출된 차원적 복잡성을 가진 특징점을 적용하는 것은 여전히 어려운 문제이다. 우리는 여러 ConvNet 레이어에서 추출한 특징점이 이미지의 다른 특성을 처리한다는 것을 발견했다. 즉, 여러 ConvNet 레이어의 최적의 조합을 찾으면 더 나은 특징점을 얻을 수 있다. 위의 발견을 토대로 이 논문에서는 단일 ConvNet 계층의 특징점 대신에 전이 학습을 위해 여러 ConvNet 계층의 특징점을 사용하도록 제안한다. 본 논문에서 제안하는 방법은 크게 세단계로 이루어져 있다. 먼저 이미지 데이터셋의 이미지를 ConvNet의 입력으로 넣으면 해당 이미지가 사전 훈련된 AlexNet으로 피드포워드 되고 3개의 fully-connected 레이어의 활성화 틀징점이 추출된다. 둘째, 3개의 ConvNet 레이어의 활성화 특징점을 연결하여 여러 개의 ConvNet 레이어의 특징점을 얻는다. 레이어의 활성화 특징점을 연결을 하는 이유는 더 많은 이미지 정보를 얻기 위해서이다. 동일한 이미지를 사용한 3개의 fully-connected 레이어의 특징점이 연결되면 결과 이미지의 특징점의 차원은 4096 + 4096 + 1000이 된다. 그러나 여러 ConvNet 레이어에서 추출 된 특징점은 동일한 ConvNet에서 추출되므로 특징점이 중복되거나 노이즈를 갖는다. 따라서 세 번째 단계로 PCA (Principal Component Analysis)를 사용하여 교육 단계 전에 주요 특징점을 선택한다. 뚜렷한 특징이 얻어지면, 분류기는 이미지를 보다 정확하게 분류 할 수 있고, 전이 학습의 성능을 향상시킬 수 있다. 제안된 방법을 평가하기 위해 특징점 선택 및 차원축소를 위해 PCA를 사용하여 여러 ConvNet 레이어의 특징점과 단일 ConvNet 레이어의 특징점을 비교하고 3개의 표준 데이터 (Caltech-256, VOC07 및 SUN397)로 실험을 수행했다. 실험결과 제안된 방법은 Caltech-256 데이터의 FC7 레이어로 73.9 %의 정확도를 얻었을 때와 비교하여 75.6 %의 정확도를 보였고 VOC07 데이터의 FC8 레이어로 얻은 69.2 %의 정확도와 비교하여 73.1 %의 정확도를 보였으며 SUN397 데이터의 FC7 레이어로 48.7%의 정확도를 얻었을 때와 비교하여 52.2%의 정확도를 보였다. 본 논문에 제안된 방법은 Caltech-256, VOC07 및 SUN397 데이터에서 각각 기존에 제안된 방법과 비교하여 2.8 %, 2.1 % 및 3.1 %의 성능 향상을 보였다.

• 지능정보연구
• /
• 제14권2호
• /
• pp.193-206
• /
• 2008

의료 진단 문제는 기정의된 특성치들로 표현되는 환자의 상태 데이터로부터 병의 유무를 판단하는 일종의 분류 문제로 간주할 수 있다. 본 연구는 혼용 유전자 알고리즘 기반의 분류방법을 도입함으로써 의료 진단 문제와 같은 다차원의 패턴 분류 문제를 해결할 수 있는 방안을 제안하고 있다. 일반적으로 분류 문제는 데이터 패턴에 존재하는 여러 클래스 간 구분경계를 생성하는 접근방법을 사용하는데, 이를 위해 본 연구에서는 일단의 영역 에이전트들을 도입하여 이들을 유전자 알고리즘 및 국소 적응조작을 혼용함으로써 데이터 패턴에 적응하도록 유도하고 있다. 일반적인 유전자 알고리즘의 진화단계를 거친 에이전트들에 적용되는 국소 적응조작은 영역 에이전트의 확장, 회피 및 재배치로 이루어지며, 각 에이전트의 적합도에 따라 이들 중 하나가 선택되어 해당 에이전트에 적용된다. 제안된 의료 진단용 분류 방법은 UCI 데이터베이스에 있는 잘 알려진 의료 데이터, 즉 간, 당뇨, 유방암 관련 진단 문제에 적용하여 검증하였다. 그 결과, 기존의 대표적인 분류기법인 최단거리이웃방법(the nearest neighbor), C4.5 알고리즘에 의한 의사 결정트리(decision tree) 및 신경망보다 우수한 진단 수행도를 나타내었다.

• 대한의용생체공학회:학술대회논문집
• /
• 대한의용생체공학회 1991년도 춘계학술대회
• /
• pp.65-70
• /
• 1991

A hybrid model which uses a probabilistic model and a MLP(multi layer perceptron) model for pattern recognition of EMG(electromyogram) signals is proposed in this paper. MLP model has problems which do not guarantee global minima of error due to learning method and have different approximation grade to bayesian probabilities due to different amounts and quality of training data, the number of hidden layers and hidden nodes, etc. Especially in the case of new test data which exclude design samples, the latter problem produces quite different results. The error probability of probabilistic model is closely related to the estimation error of the parameters used in the model and fidelity of assumtion. Generally, it is impossible to introduce the bayesian classifier to the probabilistic model of EMG signals because of unknown priori probabilities and is estimated by MLE(maximum likelihood estimate). In this paper we propose the method which get the MAP(maximum a posteriori probability) in the probabilistic model by estimating the priori probability distribution which minimize the error probability using the MLP. This method minimize the error probability of the probabilistic model as long as the realization of the MLP is optimal and approximate the minimum of error probability of each class of both models selectively. Alocating the reference coordinate of EMG signal to the outside of the body make it easy to suit to the applications which it is difficult to define and seperate using internal body coordinate. Simulation results show the benefit of the proposed model compared to use the MLP and the probabilistic model seperately.

• Imaging Science in Dentistry
• /
• 제43권3호
• /
• pp.153-161
• /
• 2013

Purpose: To prevent low bone mineral density (BMD), that is, osteoporosis, in postmenopausal women, it is essential to diagnose osteoporosis more precisely. This study presented an automatic approach utilizing a histogram-based automatic clustering (HAC) algorithm with a support vector machine (SVM) to analyse dental panoramic radiographs (DPRs) and thus improve diagnostic accuracy by identifying postmenopausal women with low BMD or osteoporosis. Materials and Methods: We integrated our newly-proposed histogram-based automatic clustering (HAC) algorithm with our previously-designed computer-aided diagnosis system. The extracted moment-based features (mean, variance, skewness, and kurtosis) of the mandibular cortical width for the radial basis function (RBF) SVM classifier were employed. We also compared the diagnostic efficacy of the SVM model with the back propagation (BP) neural network model. In this study, DPRs and BMD measurements of 100 postmenopausal women patients (aged >50 years), with no previous record of osteoporosis, were randomly selected for inclusion. Results: The accuracy, sensitivity, and specificity of the BMD measurements using our HAC-SVM model to identify women with low BMD were 93.0% (88.0%-98.0%), 95.8% (91.9%-99.7%) and 86.6% (79.9%-93.3%), respectively, at the lumbar spine; and 89.0% (82.9%-95.1%), 96.0% (92.2%-99.8%) and 84.0% (76.8%-91.2%), respectively, at the femoral neck. Conclusion: Our experimental results predict that the proposed HAC-SVM model combination applied on DPRs could be useful to assist dentists in early diagnosis and help to reduce the morbidity and mortality associated with low BMD and osteoporosis.

• 한국정보처리학회논문지
• /
• 제3권7호
• /
• pp.1763-1772
• /
• 1996

기존의 위성 영상 분류를 위한 훈련 집합의 선택은 대부분 사용자가 직접 측량하 거나 지도로부터 얻어진 데이터를 이용하여 수작업을 통하여 얻는 것이 보통이다. 그러나 이러한 작업에는 시간과 비용이 많이 소요되며, 같은 지역 내에서도 사용하는 특징값의 변화가 다양하게 나타날 수 있다. 이러한 다양성은 신경망으로 하여금 분류 데이터에 대한 강인성은 줄 수 있으나, 학습 시간이 많이 소요되는 단점을 수반하게 된다. 본 논문에서는 이러한 문제점을 해결하기 위하여 훈련 집합의 선택시 먼저 분류 하고자 하는 지역의 대역별 밝기 분포를 조사하여 일정한 조건을 만족하는 화소들만을 훈련 집합으로 선택하는 알고리즘을 제안하였다. 이 알고리즘을 사용하여 SPOT의 위성 으로부터 얻은 다중 분광 영상에 대해 훈련 집합을 선택하고 역전과 신경망에 의해 학습한 후 분류한 결과, 기존의 사용자에 의해 선택된 훈련 집합보다 수렴속도가 빠르고, 분류 성능이 놓은 결과를 보였다. 또한 밝기 정보의에 NDVI( NormalizelD Vegetation Index)와 텍스쳐 특징을 이용 함으로써 분류 성능이 개선됨을 확인하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2003년도 춘계종합학술대회
• /
• pp.165-170
• /
• 2003

본 논문에서는 임의의 장면에도 얼굴 인식에 영향을 받지 않는 통합된 얼굴 인식 방법을 제안한다. 크기 정규화는 피부 색 분할과 log-poler 매핑 절차의 새로운 조합을 통하여 얻어지고, 주요 얼굴 구성 요소 분석은 자세 변화들을 처리하기 위하여 제안된 멀티 뷰 접근을 통해 이루어진다. 주어진 컬러 입력 이미지로부터 검출기는 얼굴을 원형 경계 안에 둘러싸고 코의 위치를 표시하며 다음 인식을 위해, 원형 경계 내에 배치하는 방사형 격자는 특징 벡터 코 중심에 두었다. 컬러로 분할된 영역의 폭으로서 얼굴의 크기를 평가하고, 추출된 특징 벡터는 평가된 크기에 의하여 정규화된 크기이다. 특징 벡터는 얼굴 인식을 위해 훈련된 신경망 분류자에게 입력된다. 시스템은 서로 다른 복합적인 배경에서 다양한 크기와 자세를 가진 20명의 얼굴 데이터 베이스를 사용하여 실험한 결과 얼굴 인식기의 수행능력은 매우 작은 크기의 얼굴 이미지 외에는 87%에서 92%의 평균 인식율을 얻을 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제21권8호
• /
• pp.837-848
• /
• 2018

Monitoring technology of machining has a long history since unmanned machining was introduced. Despite the long history, many researchers have presented new approaches continuously in this area. Sound based machine fault diagnosis is the process consisting of detecting automatically the damages that affect the machines by analyzing the sounds they produce during their operating time. The collected sound is corrupted by the surrounding work environment. Therefore, the most important part of the diagnosis is to find hidden elements inside the data that can represent the error pattern. This paper presents a feature extraction methodology that combines various digital signal processing and pattern recognition methods for the analysis of the sounds produced by tools. The magnitude spectrum of the sound is extracted using the Fourier analysis and the band-pass filter is applied to further characterize the data. Statistical functions are also used as input to the nonlinear classifier for the final response. The results prove that the proposed feature extraction method accurately captures the hidden patterns of the sound generated by the tool, unlike the conventional features. Therefore, it is shown that the proposed method can be applied to a sound based automatic diagnosis system.

• 한국정보통신학회논문지
• /
• 제7권6호
• /
• pp.1312-1317
• /
• 2003

본 논문에서는 임의의 장면에도 얼굴 인식에 영향을 받지 않는 통합된 얼굴 인식 방법을 제안한다. 크기 정규화는 피부 색 분할과 log-polar 매핑 절차의 새로운 조합을 통하여 얻어지고, 주요 얼굴 구성 요소 분석은 자세 변화들을 처리하기 위하여 제안된 멀티 뷰 접근을 통해 이루어진다. 주어진 컬러 입력 이미지로부터 검출기는 얼굴을 원형 경계 안에 둘러싸고 코의 위치를 표시하며 다음 인식을 위해, 원형 경계 내에 배치하는 방사형 격자는 특징 벡터 코 중심에 두었다. 컬러로 분할된 영역의 폭으로서 얼굴의 크기를 평가하고, 추출된 특정 벡터는 평가된 크기에 의하여 정규화 된 크기이다. 특징 벡터는 얼굴 인식을 위해 훈련된 신경망 분류자에게 입력된다. 시스템은 서로 다른 복합적인 배경에서 다양한 크기와 자세를 가진 20 명의 얼굴 데이터 베이스를 사용하여 실험한 결과 얼굴 인식기의 수행능력은 매우 작은 크기의 얼굴 이미지 외에는 87%에서 92%의 평균 인식율을 얻을 수 있었다.

• 전자공학회논문지SC
• /
• 제47권5호
• /
• pp.62-68
• /
• 2010

적외선영상에서 표적을 효율적으로 탐지하는 새로운 자동표적탐지 알고리즘을 제안한다. 이 연구의 목적은 실제 야지환경에서 획득된 적외선영상에서 낮은 오경보 확률로 표적의 위치를 정확히 찾는 것이다. 제안한 방법이 기존의 방법과 다른 점은 초기 탐지단계에서 사용되는 모폴로지 필터링 기법을 밝기정보를 갖고 있는 원래 입력 영상이 아닌 가버(Gabor) 응답 영상에 적용한 것과 표적과 클러터를 구분하기 위해 표적의 정확한 윤곽선 추출을 필요로 하지않는 것이다. 제안한 방법은 크게 3단계로 구성된다. 첫째로, 영상에서 돌출된 영역을 찾기 위해 입력영상으로부터 4 방향의 가버 응답을 구하고 픽셀별로 가버응답 합 영상을 구한다. 이 영상에 모폴로지 기법을 적용하여 돌출된 영역의 위치를 찾는다. 둘째로, 원래의 입력영상의 돌출된 영역에서 지역적인 질감특징 정보들을 찾는다. 마지막 단계로, 찾아진 지역적 특징 정보들이 신경회로망인 다층퍼셉트론 (Multi-Layer Perceptron)으로 입력되어 학습된 훈련 데이터들과의 비교를 통해 실제 표적과 클러터를 구분한다. 실험에서는 제안한 방법을 군사용 적외선 영상장비를 사용하여 실제 야지 환경에 획득된 영상에 적용하여 우수성과 실용가능성을 확인한다.

• 전자공학회논문지C
• /
• 제36C권12호
• /
• pp.90-97
• /
• 1999

최근에 컴퓨터를 이용한 영상처리기술 및 고속통신망의 발달과 더불어 하드웨어의 고성능화로 의학분야에서 발생되는 영상들에 대해 분석 및 처리를 자동화하려는 많은 연구가 진행되고 있다. 본 논문에서는 말초혈액영상에서 혈구세포들을 자동으로 분석, 분류 및 카운트하기 위해 다층신경망에 기반한 시스템을 설계 및 구현하였다. 이를 위해 먼저 CDD 카메라가 부착된 현미경으로부터 영상을 입력받아 적혈구와 백혈구 분류를 위한 다양한 특징추출 알고리즘을 적용하였다. 또한, PCA를 적용해 다차원의 특징을 저차원으로 줄여 분류기의 훈련과 인식 시간을 단축시킴으로서 보다 효율적인 분류기 시스템을 구축하였다. 따라서 , 본 논문에서는 제안된 시스템이 실제 임상 병리진단 가이드 시스템에 적용 가능함을 보일 수 있었다.