• Journal of Information Processing Systems
• /
• 제15권1호
• /
• pp.67-90
• /
• 2019

Accurate detection, tracking and analysis of human movement using robots and other visual surveillance systems is still a challenge. Efforts are on to make the system robust against constraints such as variation in shape, size, pose and occlusion. Traditional methods of detection used the sliding window approach which involved scanning of various sizes of windows across an image. This paper concentrates on employing a state-of-the-art, hierarchical graph based method for segmentation. It has two stages: part level segmentation for color-consistent segments and object level segmentation for category-consistent regions. The tracking phase is achieved by employing SIFT keypoint descriptor based technique in a combined matching and tracking scheme with validation phase. Localization of human region in each frame is performed by keypoints by casting votes for the center of the human detected region. As it is difficult to avoid incorrect keypoints, a consensus-based framework is used to detect voting behavior. The designed methodology is tested on the video sequences having 3 to 4 persons.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.37-38
• /
• 2023

본 논문에서는 딥러닝을 기반으로 하는 키포인트 인식 모델을 산업용 품질검사 머신비전에 응용하는 방법을 제안한다. 전이학습 방법을 이용하여 딥러닝 모델의 인식률을 높이는 방법을 제시하였고, 전이시킨 특성 추출 모델에 대해 추가로 데이터 세트에 대한 학습을 진행하는 것이 특성추출 모델의 초기 ImageNet 가중치를 동결시켜 학습하는 것보다 학습 속도나 정확도가 높다는 것을 보여준다. 실험을 통해 딥러닝을 응용하는 산업용 품질 검사 공정에는 특성추출 모델의 추가 학습이 중요하다는 점을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제19권2호
• /
• pp.166-173
• /
• 2014

최근 다양한 방송 및 영상 분야에서 사람의 행동을 인식하여는 연구들이 많이 이루어지고 있다. 영상은 다양한 형태를 가질 수 있기 때문에 제약된 환경에서 유용한 템플릿 방법들보다 특징점에 기반한 연구들이 실제 사용자 환경에서 더욱 관심을 받고 있다. 특징점 기반의 연구들은 영상에서 움직임이 발생하는 지점들을 찾아내어 이를 3차원 패치들로 생성한다. 이를 이용하여 영상의 움직임을 히스토그램에 기반한 descriptor(서술자)로 표현하고 학습기반의 판별기로 최종적으로 영상내에 존재하는 행동들을 인식하였다. 그러나 단일 판별기로는 다양한 행동을 인식하기에 어려움이 있다. 따라서 이러한 문제를 개선하기 위하여 최근에 다중 판별기를 활용한 연구들이 영상 판별 및 물체 검출 영역에서 사용되고 있다. 따라서 본 논문에서는 행동 인식을 위하여 support vector machine과 sparse representation을 이용한 decision-level fusion 방법을 제안하고자 한다. 제안된 논문의 방법은 영상에서 특징점 기반의 descriptor를 추출하고 이를 각각의 판별기를 통하여 판별 결과들을 획득한다. 이 후 학습단계에서 획득된 가중치를 활용하여 각 결과들을 융합하여 최종 결과를 도출하였다. 본 논문에 실험에서 제안된 방법은 기존의 융합 방법보다 높은 행동 인식 성능을 보여 주었다.

• 융합신호처리학회논문지
• /
• 제10권1호
• /
• pp.13-22
• /
• 2009

본 연구에서는 레이저 슬릿 빔을 이용한 능동 스테레오 정합 기법과 모자이크 기법을 결합한 3차원 형상 복원 기법을 제안한다. 능동 스테레오 정합 기법은 레이저 슬릿 빔이 조사된 좌, 우 영상에서 색상과 밝기 변화를 분석하여 레이저 라인의 위치정보를 검출하고, 등극선(epipolar line)에서 이를 비교하여 깊이 정보를 획득하는 방법이다. 모자이크 기법은 해리스 코너 검출 방법(harris corner detection)을 이용하여 영상의 특징점을 검출하고, 특징점 기술자(keypoint descriptor) 색인 분류 방법으로 연속 영상 간 특징점의 대응쌍을 찾고 상호 변환 관계를 추정하는 방법이다. 능동 스테레오 정합기법과 모자이크 기법을 이용하여 전체 연속 영상의 깊이 정보를 계산하였다. 이와 같은 방법으로 획득한 연속 영상의 깊이 정보를 영상의 색상, 질감 정보와 융합(blending)과정을 거쳐 최종 3차원 형상 정보로 복원하였다. 제안한 복원기법은 레이저 슬릿 빔과 스테레오 카메라를 사용함으로써 장소와 거리 제약 조건을 극복하여 용이하면서도 강인한 3차원 거리 정보를 획득할 수 있었다.

• 대한전자공학회논문지SD
• /
• 제45권6호
• /
• pp.49-59
• /
• 2008

본 논문에서는 SIFT(Scale Invariant Feature Transform) 알고리즘을 임베디드 환경에서 실시간으로 처리하기 위해 가장 연산량이 많은 특징점 위치 결정 단계를 고정 소수점 모델로 설계 및 분석하고 그에 근거한 하드웨어 구조를 제안한다. SIFT 알고리즘은 객체의 꼭지점이나 모서리와 같이 색상 성분의 차가 심한 구역에서 얻어진 특징점 주위 픽셀의 벡터성분을 추출하는 알고리즘으로, 현재 얼굴인식, 3차원 객체 인식, 파노라마, 3차원 영상 복원 작업의 핵심 알고리즘으로 연구 되고 있다. 본 알고리즘에 대한 최적의 하드웨어 구현을 위해 특징점 위치(Keypoint Localization)와 방향(Orient Assignment)에 대한 정확도, 오차율을 사용하여 고정 소수점 모델에서 각 중요 변수들의 비트 크기를 결정 한다. 얻어진 고정 소수점 모델은 원래의 부동 소수점 모델과 비교했을 때 정확도 93.57%, 오차율 2.72%의 결과를 보이며, 고정 소수점 모델은 부동 소수점 모델과 비교하여 제거된 특징점의 대부분이 두 영상에서 추출된 특징점 끼리의 매칭과정에서 불필요한 객체의 모서리 영역에 몰려있음을 확인했다. 고정 소수점 모델링 결과 ARM 400MHz 환경에서 약 3시간, Pentium Core2Duo 2.13GHz 환경에서 약 15초의 연산시간을 갖는 부동 소수점 모델이 동일한 환경에서 약 1시간과 10초의 연산시간을 가지며, 최적화된 고정 소수점 모델을 하드웨어로 구현 시 $10{\sim}15\;frame/sec$의 성능을 보일 것으로 예상한다.

• 정보과학회 논문지
• /
• 제42권6호
• /
• pp.764-768
• /
• 2015

멀티미디어 데이터의 생산과 소비가 증가함에 따라 이를 효과적으로 처리하고 관리하는 데 필요한 이미지 검색 기술의 필요성이 점차 커지고 있다. 본 논문에서는 이미지 검색 기법 중 최근 주목 받고 있는 특징점 기반의 이미지 검색 방법에서 기존 보다 강인한 기술자를 생성하는 방법을 제안한다. 즉, 스케일 공간 이미지에 더하여 1차 및 2차 미분 이미지를 기술자 생성에 이용함으로써 기술자의 변별력을 향상시키도록 한다. 제시되는 기술자는 다양한 영상 변환을 포함하는 공용 데이터 셋을 이용하여 성능 평가를 수행하였다. 새로운 기술자는 길이가 약간 증가하는 단점이 있으나 특징점 매칭에 있어서 현저한 성능 향상을 보인다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2006년도 제37회 하계학술대회 논문집 D
• /
• pp.1931-1932
• /
• 2006

로봇이 어떤 물체를 인지하고 그 물체에 대해 어떤 작업을 하고자 할 때 특정 물체의 인식 문제, 3차원 정보를 획득하는 문제, 자세를 추정하는 문제 등 해결해야 될 문제들이 있다. 물체를 인식하는 과정에서는 주위 배경과 물체의 크기의 변화, 회전, 가려짐 등으로 인해 물체 인식을 어렵게 만드는 요소들이 있다. 2차원 이미지를 통해 3차원 정보를 추출하는 과정은 일반적으로 두 대의 카메라를 이용하여 스테레오 이미지를 통해 얻는다. 이 때 좌우 영상간의 매칭의 과정이 필요하다. 자세 추정의 문제는 카메라 좌표와 물체의 좌표간의 관계를 알아야 한다. Visual Servoing을 어렵게 만드는 많은 요인들이 있으며 본 논문에서는 물체의 크기, 회전, 이동에 불변인 디스크립터(descriptor)를 사용하는 SIFT(Scale Invariant Feature Transform)를 통해 3차원 물체의 인식과 자세를 추정하는 방법을 제시한다. 또한 자세 추정을 위해 2차원 Keypoint들의 매칭을 3차원 정보를 통해 검증하는 방법을 제시한다. (SIFT에 의해 추출된 point를 Keypoint라 명한다.)

• ETRI Journal
• /
• 제39권1호
• /
• pp.97-107
• /
• 2017

A fast and accurate building-level visual place recognition method built on an image-retrieval scheme using street-view images is proposed. Reference images generated from street-view images usually depict multiple buildings and confusing regions, such as roads, sky, and vehicles, which degrades retrieval accuracy and causes matching ambiguity. The proposed practical database refinement method uses informative reference image and keypoint selection. For database refinement, the method uses a spatial layout of the buildings in the reference image, specifically a building-identification mask image, which is obtained from a prebuilt three-dimensional model of the site. A global-positioning-system-aware retrieval structure is incorporated in it. To evaluate the method, we constructed a dataset over an area of $0.26km^2$. It was comprised of 38,700 reference images and corresponding building-identification mask images. The proposed method removed 25% of the database images using informative reference image selection. It achieved 85.6% recall of the top five candidates in 1.25 s of full processing. The method thus achieved high accuracy at a low computational complexity.

• 한국멀티미디어학회논문지
• /
• 제16권9호
• /
• pp.1057-1066
• /
• 2013

손가락 관절문(FKP, finger-knuckle-print)을 이용한 개인 인증은 손가락 관절부에 나타나는 주름의 특징을 이용하는 것으로, 텍스처의 방향 정보가 중요한 특징이 된다. 본 논문에서는 SIFT 알고리즘을 이용하여 특징점들을 추출하고, 벡터 유사도 정합을 통해 FKP를 효과적으로 인증할 수 있는 방법을 제안하다. 벡터는 질의 영상에서 추출한 특징점과 이에 대응되는 참조 영상의 특징점을 연결하는 방향 벡터로 정의된다. 국소적인 특징점 쌍으로부터 방향 벡터를 생성하기 때문에 방향 벡터 자체는 국소적인 특징만을 나타내지만, 두 영상 간에 존재하는 다른 벡터들 간의 유사도를 비교함으로써 전역적인 특징으로 확장되는 장점이 있다. 실험결과 제안하는 방법은 기존의 방향코드를 이용한 다양한 방식에 비하여 우수한 성능을 나타내었다.

• Advances in robotics research
• /
• 제2권1호
• /
• pp.33-44
• /
• 2018

This paper presents a novel feature detection algorithm called depth-hybrid speeded-up robust features (DH-SURF) augmented by depth information in the speeded-up robust features (SURF) algorithm. In the keypoint detection part of classical SURF, the standard deviation of the Gaussian kernel is varied for its scale-invariance property, resulting in increased computational complexity. We propose a keypoint detection method with less variation of the standard deviation by using depth data from a red-green-blue depth (RGB-D) sensor. Our approach maintains a scale-invariance property while reducing computation time. An RGB-D simultaneous localization and mapping (SLAM) system uses a feature extraction method and depth data concurrently; thus, the system is well-suited for showing the performance of the DH-SURF method. DH-SURF was implemented on a central processing unit (CPU) and a graphics processing unit (GPU), respectively, and was validated through the real-time RGB-D SLAM.