• ETRI Journal
• /
• 제44권2호
• /
• pp.327-338
• /
• 2022

Classification models for human action recognition require robust features and large training sets for good generalization. However, data augmentation methods are employed for imbalanced training sets to achieve higher accuracy. These samples generated using data augmentation only reflect existing samples within the training set, their feature representations are less diverse and hence, contribute to less precise classification. This paper presents new data augmentation and action representation approaches to grow training sets. The proposed approach is based on two fundamental concepts: virtual video generation for augmentation and representation of the action videos through robust features. Virtual videos are generated from the motion history templates of action videos, which are convolved using a convolutional neural network, to generate deep features. Furthermore, by observing an objective function of the genetic algorithm, the spatiotemporal features of different samples are combined, to generate the representations of the virtual videos and then classified through an extreme learning machine classifier on MuHAVi-Uncut, iXMAS, and IAVID-1 datasets.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권5호
• /
• pp.217-228
• /
• 2023

비디오 개체 분할은 비디오를 구성하는 영상 프레임 각각에 대해 관심 개체 분할을 수행해야 할 뿐만 아니라, 해당 비디오를 구성하는 프레임 시퀀스 전체에 걸쳐 개체들에 대한 정확한 트래킹을 요구하기 때문에 난이도가 높은 기술이다. 특히 드라마 비디오에서 인물 개체 분할은 다양한 장소와 시간대에서 상호 작용하는 복수의 주요 등장인물들에 대한 정확한 트래킹을 요구하는 특징을 가지고 있다. 또한, 드라마 비디오 인물 개체분할은 주연 인물들과 조연 혹은 보조 출연 인물들 간의 등장 빈도에 상당한 차이가 있어 일종의 클래스 불균형 문제도 있다. 본 논문에서는 미생 드라마 비디오들을 토대로 구축한 인물 개체 분할 데이터 집합인 MHIS를 소개하고, 등장인물 클래스 간의 심각한 데이터 불균형 문제를 효과적으로 해결하기 위한 새로운 비디오 데이터 보강 기법인 CDVA를 제안한다. 기존의 비디오 데이터 보강 기법들과는 달리, 새로운 CDVA 보강 기법은 비디오들의 시-공간적 맥락을 충분히 고려해서 목표 인물이 삽입되어야 할 배경 클립 내의 위치를 결정함으로써, 보다 더 현실적인 보강 비디오들을 생성한다. 따라서 본 논문에서 제안하는 새로운 비디오 데이터 보강 기법인 CDVA는 비디오 개체 분할을 위한 심층 신경망 모델의 성능을 효과적으로 향상시킬 수 있다. 본 논문에서는 MHIS 데이터 집합을 이용한 다양한 정량 및 정성 실험들을 통해, 제안 비디오 데이터 보강 기법의 유용성과 효과를 입증한다.

• 방송공학회논문지
• /
• 제27권1호
• /
• pp.13-19
• /
• 2022

동영상 객체 분할(VOS) 기술은 연속된 레이블링 데이터를 필요로 하며, 현재 공개된 데이터셋으로 훈련된 VOS방법은 그 성능이 제한된다. 이 문제를 해결하기 위해 본 논문에서는 간단하면서도 효과적인 동영상 데이터 증강 기술들을 제안한다. 첫번째 증강 기술은 영상 내에서 객체를 제외한 배경을 다른 영상의 배경으로 대체하는 기법이고, 두번째 기술은 학습될 동영상 데이터의 순서를 무작위 확률로 뒤집어 역 재생되는 영상을 학습시키는 기법이다. 두 증강 기술은 객체 분할 시 배경 정보에 강인한 추정을 가능하게 하였고, 추가 데이터 없이 기존 모델의 성능을 향상시킬 수 있음을 보였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.521-523
• /
• 2021

데이터 증강은 데이터셋의 양이 충분하지 않을 때 소량의 데이터를 활용하여 데이터의 양을 늘리는 기법이다. 인터넷의 보급으로 인해 손쉽게 얻을 수 있는 데이터는 많아졌지만 의학과 같이 데이터의 수집이 곤란한 분야도 여전히 남아 있다. 블랙 스크린 감지 모델에서 사용하는 비디오 월 컨트롤러에서 블랙 스크린이 발생한 이미지도 수집하기 어려운 데이터인데, 이는 비디오 월 컨트롤러를 운용하고 있는 중에 블랙 스크린이 발생하는 빈도가 낮기 때문이다. 따라서 본 논문에서는 비디오 월 컨트롤러에서 수집한 소량의 블랙 스크린 이미지를 활용하여 DCGAN을 훈련한 후 DCGAN의 생성자로 대량의 데이터셋을 생성하는 모델을 제안한다.

• 한국인터넷방송통신학회논문지
• /
• 제24권1호
• /
• pp.49-54
• /
• 2024

데이터 불균형은 분류 문제에서 흔히 마주치는 문제로, 데이터셋 내의 클래스간 샘플 수의 현저한 차이에서 기인한다. 이러한 데이터 불균형은 일반적으로 분류 모델에서 과적합, 과소적합, 성능 지표의 오해 등의 문제를 야기한다. 이를 해결하기 위한 방법으로는 Resampling, Augmentation, 규제 기법, 손실 함수 조정 등이 있다. 본 논문에서는 손실 함수 조정에 대해 다루며 특히, 불균형 문제를 가진 Multi-Class 블랙박스 동영상 데이터에서 여러 구성의 손실 함수(Cross Entropy, Balanced Cross Entropy, 두 가지 Focal Loss 설정: 𝛼 = 1 및 𝛼 = Balanced, Asymmetric Loss)의 성능을 I3D, R3D_18 모델을 활용하여 비교하였다.

• 한국멀티미디어학회논문지
• /
• 제14권2호
• /
• pp.329-338
• /
• 2011

증강현실에서 다양한 미디어의 결합으로 보다 향상된 현실감 있는 멀티미디어 데이터가 요구되고 있다. 기존의 미디어 정보에 텍스트 및 음성과 비디오 등 다양한 미디어를 결합한 멀티미디어 정보에 대한 첨단 기술이 미디어 산업 전반에 주도적인 위치를 점하고 있다. 특히 인터넷에서의 다양한 의사전달 수단 및 시각화에 대한 관심과 가상공간에서의 의사 표현을 위한 실시간 상호작용 시스템 구축 및 3차원 콘텐츠, 증강현실 기술에 대한 서비스 요구가 증가되고 있다. 이러한 서비스들은 기존 콘텐츠에서 입체감 형성을 위한 3차원 공간구조의 복원에 필요한 깊이 값 생성에 어려움이 있다. 그러므로 2차원 영상을 이용하여 효율적인 Depth-map 생성에 관한 연구가 필요하다. 본 논문에서는 2차원 영상을 이용하여 3차원 공간구조 복원에 필요한 Depth-map 생성기법의 단점을 보완하여, 기존 알고리즘에서 정의 되지 않은 영상 내 소실점 위치에 따른 갚아 방향의 정의를 통한 개선된 Depth-map 생성 기법을 제안하였다.

• 센서학회지
• /
• 제33권1호
• /
• pp.18-23
• /
• 2024

Humanoid robots, designed to interact in human environments, require stable mobility to ensure safety. When a humanoid robot falls, it causes damage, breakdown, and potential harm to the robot. Therefore, fall detection is critical to preventing the robot from falling. Prevention of falling of a humanoid robot requires an operator controlling a crane. For efficient and safe walking control experiments, a system that can replace a crane operator is needed. To replace such a crane operator, it is essential to detect the falling conditions of humanoid robots. In this study, we propose falling detection methods using Convolution Neural Network (CNN) model. The image data of a humanoid robot are collected from various angles and environments. A large amount of data is collected by dividing video data into frames per second, and data augmentation techniques are used. The effectiveness of the proposed CNN model is verified by the experiments with the humanoid robot MAX-E1.

• ETRI Journal
• /
• 제42권3호
• /
• pp.411-419
• /
• 2020

In real-world intelligent transportation systems, accuracy in vehicle license plate detection and recognition is considered quite critical. Many algorithms have been proposed for still images, but their accuracy on actual videos is not satisfactory. This stems from several problematic conditions in videos, such as vehicle motion blur, variety in viewpoints, outliers, and the lack of publicly available video datasets. In this study, we focus on these challenges and propose a license plate detection and recognition scheme for videos based on a temporal matching prior network. Specifically, to improve the robustness of detection and recognition accuracy in the presence of motion blur and outliers, forward and bidirectional matching priors between consecutive frames are properly combined with layer structures specifically designed for plate detection. We also built our own video dataset for the deep training of the proposed network. During network training, we perform data augmentation based on image rotation to increase robustness regarding the various viewpoints in videos.

• 방송공학회논문지
• /
• 제27권1호
• /
• pp.44-55
• /
• 2022

농업 관련 방송 콘텐츠에서 과일에 대한 자동적인 정보 제공을 위해서 대상 과일의 인스턴스 영상 분할이 요구된다. 또한, 해당 과일에 대한 3차원 자세에 대한 정보 제공도 의미있게 사용될 수 있다. 본 논문에서는 영상 콘텐츠에서 토마토에 대한 정보를 제공하는 연구를 다룬다. 인스턴스 영상 분할 기법을 학습하기 위해서는 다량의 데이터가 필요하지만 충분한 토마토 학습데이터를 얻기는 힘들다. 따라서 적은 양의 실사 영상을 바탕으로 데이터 증대기법을 통해 학습 데이터를 생성하였다. 실사 영상만을 통한 학습 결과 정확도에 비해서, 전경과 배경을 분리해서 만들어진 합성 영상을 통해 학습한 결과, 기존 대비 성능이 향상되는 것을 확인하였다. 영상 전처리 기법들을 활용해서 만들어진 영상을 사용한 데이터 증대 영상의 학습 결과, 전경과 배경을 분리한 합성 영상보다 높은 성능을 얻는 것을 확인하였다. 객체 검출 후 자세 추정을 하기 위해 RGB-D 카메라를 이용하여 포인트 클라우드를 획득하였고 최소제곱법을 이용한 실린더 피팅을 진행하였고, 실린더의 축 방향을 통해 토마토 자세를 추정하였다. 우리는 다양한 실험을 통해서 대상 객체에 대한 검출, 인스턴스 영상 분할, 실린더 피팅의 결과가 의미있게 나타난다는 것을 보였다.

• 항공우주시스템공학회지
• /
• 제16권5호
• /
• pp.70-77
• /
• 2022

본 논문에서, 데이터베이스 생성 및 관리 시스템은 미소 픽셀 공중 표적 인식을 위해 제안된다. 제안된 시스템은 1)비행 테스트 비디오 프레임에 의한 직접 이미지 추출, 2) 자동 이미지 보관, 3) 이미지 데이터 레이블링 및 메타 데이터 주석, 4) 컬러 채널 변환, 5) HOG/LBP 기반 소화소 대상 증강 이미지 데이터 생성의 다섯가지 주요 기능으로 구성된다. 제안하는 프로그램은 파이썬 기반의 PyQt5와 OpenCV를 이용하여 구성하였고 공중 표적 인식을 위한 이미지 데이터셋은 제안한 시스템을 이용해 생성했으며 비행 실험으로 부터 수집된 영상을 입력영상으로 사용하였다.