• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권2호
• /
• pp.751-770
• /
• 2019

Action recognition is an essential task in computer vision due to the variety of prospective applications, such as security surveillance, machine learning, and human-computer interaction. The availability of more video data than ever before and the lofty performance of deep convolutional neural networks also make it essential for action recognition in video. Unfortunately, limited crafted video features and the scarcity of benchmark datasets make it challenging to address the multi-person action recognition task in video data. In this work, we propose a deep convolutional neural network-based Effective Hybrid Learning (EHL) framework for two-person interaction classification in video data. Our approach exploits a pre-trained network model (the VGG16 from the University of Oxford Visual Geometry Group) and extends the Faster R-CNN (region-based convolutional neural network a state-of-the-art detector for image classification). We broaden a semi-supervised learning method combined with an active learning method to improve overall performance. Numerous types of two-person interactions exist in the real world, which makes this a challenging task. In our experiment, we consider a limited number of actions, such as hugging, fighting, linking arms, talking, and kidnapping in two environment such simple and complex. We show that our trained model with an active semi-supervised learning architecture gradually improves the performance. In a simple environment using an Intelligent Technology Laboratory (ITLab) dataset from Inha University, performance increased to 95.6% accuracy, and in a complex environment, performance reached 81% accuracy. Our method reduces data-labeling time, compared to supervised learning methods, for the ITLab dataset. We also conduct extensive experiment on Human Action Recognition benchmarks such as UT-Interaction dataset, HMDB51 dataset and obtain better performance than state-of-the-art approaches.

• 한국통신학회논문지
• /
• 제36권7C호
• /
• pp.421-427
• /
• 2011

실시간 객체 인식 및 추적은 컴퓨터 비전 응용 산업이 발달하면서 그 중요성이 더해지고 있다. 객체 추적을 위해 많이 이용되고 있는 알고리즘으로 Mean-Shift 알고리즘이 있다. Mean-Shift 알고리즘을 기반으로 한 객체 추적 알고리즘은 구현이 간단하고, 적은 계산 복잡도를 갖는 장점이 있다. 따라서 실시간 객체 추적 시스템에 적합하다고 할 수 있지만, 지역 모드로의 수렴만을 보장하는 특성으로 인해 객체의 수가 많은 경우 좋은 성능을 나타내지 못하는 단점을 가지고 있다. 그러므로 본 논문에서는 다중 이동 객체를 실시간으로 추적하기 위한 광류기반의 움직임 추정 기법을 제안한다. 제안된 알고리즘의 성능을 확인하기 위해 다중 이동 객체의 인식 실험 결과 유사도는 0.96으로 기존의 Mean-Shift 알고리즘에 비해 약 13.4% 정도 유사도가 개선되었고 평균 픽셀 오류도 3.07로 또한 50% 이상 감소하였다. 향후 알고리즘을 개선하여 처리 속도를 더욱 줄임으로써 매우 빠른 이동 객체 인식과 상황 인지 알고리즘을 추가한다면 보다 효율적인 인식 및 추적 시스템을 구축할 수 있을 것으로 사료된다.

• 지능정보연구
• /
• 제25권4호
• /
• pp.53-65
• /
• 2019

영상 기반의 보안 시스템의 증가함에 따라 각 용도마다 다른 다양한 객체들에 대한 처리들이 중요해지고 있다. 객체 추적은 객체 인식, 검출과 같은 작업들과 함께 필수적인 작업으로 다뤄진다. 이 객체 추적을 달성하기 위해서 다양한 머신러닝이 적용될 수 있다. 성공적인 분류기로써 전체 에러율 최소화(total-error-rate minimization) 기반의 방법론이 사용될 수 있다. 이 전체 에러율 최소화 기반의 방법론은 오프라인 학습을 기반으로 하고 있다. 객체 추적은 실시간으로 처리하며 갱신해야하는 것이 필수적이므로 온라인 학습(online learning)을 기반으로 하는 것이 적합하다. 온라인 전체 에러율 최소화 방법론이 개발되었지만 점근적으로 재가중되는(approximately reweighted) 작업이 포함되어 에러를 누적시킬 수 있다는 단점이 있다. 본 논문에서는 정확하게 재가중되는(exactly reweighted) 방법론을 제안하면서 온라인 전체 에러율 최소화가 달성되었다. 이 제안된 온라인 학습 방법론을 객체 추적에 적용하여 총 8개의 데이터베이스에서 다른 추적 방법론들 보다 좋은 성능이 달성되었다.

• 한국산업정보학회논문지
• /
• 제16권4호
• /
• pp.87-98
• /
• 2011

동영상에서의 움직이는 객체 검출과 추적은 객체 식별, 상황인식, 지능형 영상 감시 시스템 등 많은 시각 기반 응용 시스템에서 기본적이고 필수적인 전처리 작업이다. 본 논문에서는 배경과 조명이 실시간으로 변화하는 상황에서 움직이는 객체를 빠르고 정확하게 추출하고 움직이는 객체가 다른 물체에 가려지는 경우에도 강인하게 객체를 추적하는 방법을 제안한다. 객체의 효과적인 검출을 위해서 효과적인 고유 공간과 Fuzzy C-means(FCM) 를 결합하여 사용하고 검출된 객체를 강인하게 추적하기 위해 Conditional Density Propagation (CONDENSATION) 알고리즘을 사용한다. 먼저 Principal Component Analysis(PCA)를 이용하여 배경 영상에서 수집한 학습데이터를 주성분(Principal component)으로 선형변환 한다. 주성분들의 고유 특성에 대한 해석을 통하여 객체와 배경에 대하여 판별 능력이 우수한 주성분을 선별하여 고유 배경을 구성한다. 다음으로 이전단계에서 구성된 고유 벡터와 입력 영상을 결합한 연산 결과를 FCM의 입력 값으로 사용해서 객체를 검출한다. 최종적으로 검출된 객체의 좌표를 CONDENSATION의 입력으로 사용해서 객체를 추적한다. 고정된 카메라에서 조명변화와 배경변화에 적용 가능한 시스템을 구현하기 위해 고정된 카메라에서 움직이는 다양한 객체가 포함된 영상을 수집하여 학습데이터로 구성하여 사용하였다. 실험 결과에 따르면 제안하는 방법이 조명변화와 배경변화 그리고 객체의 부분적 움직임에 모두 강인하게 객체를 검출하고 다른 물체나 배경에 의해 객체가 일부 가려지더라도 객체를 추적함을 보여준다.

• 방송공학회논문지
• /
• 제24권5호
• /
• pp.713-725
• /
• 2019

번호판 자동인식(ALPR: Automatic License Plate Recognition)은 지능형 교통시스템 및 비디오 감시 시스템 등 많은 응용 분야에서 필요한 기술이다. 대부분의 연구는 자동차를 대상으로 번호판 감지 및 인식을 연구하였고, 오토바이를 대상으로 번호판 감지 및 인식은 매우 적은 편이다. 자동차의 경우 번호판이 차량의 전방 또는 후방 중앙에 위치하며 번호판의 뒷배경은 주로 단색으로 덜 복잡한 편이다. 그러나 오토바이의 경우 킥 스탠드를 이용하여 세우기 때문에 주차할 때 오토바이는 다양한 각도로 기울어져 있으므로 번호판의 글자 및 숫자 인식하는 과정이 훨씬 더 복잡하다. 본 논문에서는 다양한 각도로 주차된 오토바이 데이터세트에 대하여 번호판의 문자 인식 정확도를 높이기 위하여 2-스테이지 YOLOv2 알고리즘을 사용하여 오토바이 영역을 선 검출 후 번호판 영역을 검지한다. 인식률을 높이기 위해 앵커박스의 사이즈와 개수를 오토바이 특성에 맞추어 조절하였다. 그 후 기울어진 번호판을 검출한 후 영상 워핑 알고리즘을 적용하였다. 모의실험 결과, 기존 방식의 인식률이 47.74%에 비해 제안된 방식은 80.23%의 번호판의 인식률을 얻었다. 제안된 방법은 전체적으로 오토바이 번호판 특성에 맞는 앵커박스와 이미지 워핑을 통해서 다양한 기울기의 오토바이 번호판 문자 인식을 높일 수 있었다.

• 지능정보연구
• /
• 제29권2호
• /
• pp.171-187
• /
• 2023

저화소의 감시카메라와 같은 촬영 장비를 통해 사람의 얼굴을 인식할 경우, 화질이 낮아 얼굴을 포착하기 어렵다는 문제점이 있다. 이렇게, 사람의 얼굴을 인식하기 어렵다면 범죄용의자나 실종자를 특정해내지 못하는 등의 문제가 발생할 수 있다. 기존 이미지 속 안면 인식에 관한 연구들에서는 정제된 데이터셋을 사용하였기 때문에 다양한 환경에서의 성능을 가늠하기 어렵다는 한계가 존재한다. 이에, 본 논문에서는 저화질 이미지에서 안면 인식 성능이 떨어지는 문제를 해결하기 위해 다양한 환경을 고려한 저화질 안면 이미지에 대해 화질 개선을 수행하여 고화질 이미지를 생성한 뒤, 안면 특징점 검출의 성능 향상시키는 방법을 제안한다. 제안 방법의 현실 적용 가능성을 확인하기 위해 전체 이미지에서 사람이 상대적으로 작게 나타나는 데이터셋을 선정하여 실험을 수행하였다. 또한 마스크 착용 상황을 고려한 안면 이미지 데이터셋을 선정하여, 현실 문제로의 확장 가능성을 탐구하였다. 안면 이미지의 화질을 개선하여 특징점 검출 모델의 성능을 측정한 결과, 개선 후 안면의 검출 여부는 마스크를 착용하지 않은 이미지의 경우 평균 3.47배, 마스크를 착용한 경우 평균 9.92배로 성능 향상을 확인할 수 있었다. 안면 특징점에 대한 RMSE는 마스크를 착용한 이미지의 경우 평균 8.49배 감소, 마스크를 착용하지 않은 경우 평균 2.02배 감소한 것을 확인할 수 있었다. 이에, 화질 개선을 통해 저화질로 포착된 안면 이미지에 대한 인식률을 높여 제안 방법의 활용 가능성을 확인할 수 있었다.