• 정보처리학회논문지B
• /
• 제14B권4호
• /
• pp.311-320
• /
• 2007

본 논문에서는 강건한 얼굴 포즈 추정과 실시간 표정제어가 가능한 비전 기반 3차원 얼굴 모델의 자동 표정 생성 방법 및 시스템을 제안한다. 기존의 비전 기반 3차원 얼굴 애니메이션에 관한 연구는 얼굴의 움직임을 나타내는 모션 추정을 반영하지 못하고 얼굴 표정 생성에 초점을 맞추고 있다. 그러나, 얼굴 포즈를 정확히 추정하여 반영하는 작업은 현실감 있는 얼굴 애니메이션을 위해서 중요한 이슈로 인식되고 있다. 본 연구 에서는 얼굴 포즈추정과 얼굴 표정제어가 동시에 가능한 통합 애니메이션 시스템을 제안 하였다. 제안된 얼굴 모델의 표정 생성 시스템은 크게 얼굴 검출, 얼굴 모션 추정, 표정 제어로 구성되어 있다. 얼굴 검출은 비모수적 HT 컬러 모델과 템플릿 매칭을 통해 수행된다. 검출된 얼굴 영역으로부터 얼굴 모션 추정과 얼굴 표정 제어를 수행한다. 얼굴 모션 추정을 위하여 3차원 실린더 모델을 검출된 얼굴 영역에 투영하고 광류(optical flow) 알고리즘을 이용하여 얼굴의 모션을 추정하며 추정된 결과를 3차원 얼굴 모델에 적용한다. 얼굴 모델의 표정을 생성하기 위해 특징점 기반의 얼굴 모델 표정 생성 방법을 적용한다. 얼굴의 구조적 정보와 템플릿 매칭을 이용하여 주요 얼굴 특징점을 검출하며 광류 알고리즘에 의하여 특징점을 추적한다. 추적된 특징점의 위치는 얼굴의 모션 정보와 표정 정보의 조합으로 이루어져있기 때문에 기하학적 변환을 이용하여 얼굴의 방향이 정면이었을 경우의 특징점의 변위인 애니메이션 매개변수(parameters)를 계산한다. 결국 얼굴 표정 복제는 두 개의 정합과정을 통해 수행된다. 애니메이션 매개변수 3차원 얼굴 모델의 주요 특징점(제어점)의 이동은 획득된 애니메이션 매개변수를 적용하여 수행하며, 정점 주위의 부가적 정점의 위치는 RBF(Radial Basis Function) 보간법을 통해 변형한다. 실험결과 본 논문에서 제안된 비전기반 애니메이션 시스템은 비디오 영상으로부터 강건한 얼굴 포즈 추정과 얼굴의 표정변화를 잘 반영하여 현실감 있는 애니메이션을 생성함을 입증할 수 있었다.

• 전자공학회논문지
• /
• 제52권6호
• /
• pp.107-116
• /
• 2015

고성능 컴퓨터와 디지털 카메라의 보급으로 컴퓨터를 이용한 객체 탐지 및 추적은 컴퓨터 비전의 다양한 응용분야에서 중요한 문제로 대두 되고 있다. 또한, 지능형 자동화 감시 장치, 영상 분석 장치, 자동화된 로봇 분야 등에서 그 필요성이 점점 부각 되고 있다. 객체 추적은 카메라를 이용하여 움직이는 객체의 위치를 찾는 처리 과정을 의미 하며, 강건한 객체 추적을 위해서는 객체의 스케일, 형태 변화, 회전에 강건하고 정확한 객체의 위치를 파악할 수 있어야한다. 본 논문에서는 랜덤 포레스트를 이용한 강건한 객체 추적에 대한 알고리즘을 제안하였다. 정확한 객체의 위치를 찾기 위해 지역 공분산과 ZNCC (Zeros Mean Normalized Cross Correlation)를 사용하여 객체를 검출하고 검출된 객체를 5개의 부분으로 나누어 랜덤 포레스트로 객체가 잘 검출 되었는지 검증 한다. 검증된 객체 중 모델을 선택하여 객체 검출이 잘못 되었다고 판단된 경우 입력 모델을 변경하여 정확한 객체를 찾도록 하였다. 제안된 알고리즘과 기존의 알고리즘들을 비교 하였을 때 비교적 정확한 객체의 위치를 잘 찾아 가는 것을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제11권3호
• /
• pp.301-314
• /
• 2008

기존의 이벤트 인식은 한정된 규칙 기반으로 이루어졌고, 시나리오 해석은 확률 자료의 크기로 많은 학습 시간이 필요했다. 본 논문에서는 객체로부터 특징 벡터를 추출하고 각 객체의 행동 양식을 분석하여 현재 객체의 이벤트를 인식하는 방법과 확률 모델을 기반으로 본 논문에서 정의한 긴급 상황 시나리오를 해석할 수 있는 방법을 제안한다. 독립 객체의 이벤트 규칙은 주-이벤트, 움직임-이벤트, 상호-이벤트, 그리고 'FALL DOWN' 이벤트로 구성되며, 객체의 특징 벡터와 베이지안 네트워크에 의해 학습된 분할 움직임 방향 벡터(SMOV)를 통해 정의된다. 긴급 상황 시나리오는 현재 이벤트의 상태와 사후 확률에 의해 분석된다. 본 논문에서는 기존 방법에 비해 다양한 이벤트를 정의하였고 이벤트 간의 독립성을 높여 확장성이 용이하도록 하였다. 그리고 객체 추적만을 통해 얻을 수 없는 의미론적 정보를 규칙과 확률을 기반으로 획득할 수 있었다.

• 디지털콘텐츠학회 논문지
• /
• 제16권2호
• /
• pp.179-187
• /
• 2015

스마트폰의 보급 확산으로 다양한 콘텐츠가 등장하고 있다. 이러한 콘텐츠 중에서 위치 기반 서비스를 이용한 증강현실 응용프로그램의 필요성이 널리 대두되고 있다. 본 논문에서는 안드로이드 스마트폰을 이용한 위치정보기반 AR 시스템에서 발생하는 정합 오차를 컴퓨터 비전 기술을 이용하여 효과적으로 줄이는 방법을 제안한다. 위치정보 오차 누적 때문에 객체가 정확하게 정합되지 않는 부정합 현상 최소화를 위해 연산 속도는 유지하면서 연산량을 줄여 성능을 향상한 방법인 SURF(Speeded Up Robust Features)를 사용해 초기 특징점을 검출하고 검출된 특징점을 추적하여 모바일 환경에 적용한다. 위치정보 검색을 위해 GPS 정보를 사용하고 자세추정 및 방향 정보를 위해 자이로 센서, G-센서 등을 이용한다. 하지만 위치정보의 누적된 오차는 객체가 고정되지 않는 부정합 현상을 유발한다. 또한, 증강현실 기술은 구현하면서 많은 연산량이 필요하므로 모바일 환경에서 구현하는데 어려움이 발생한다. 제안된 방법은 모바일 환경에서 성능 저하를 최소화하고 비교적 간단하게 구현할 수 있어 기존 시스템 및 다양한 모바일 환경에서 유용하게 이용될 수 있다.

• 지능정보연구
• /
• 제28권1호
• /
• pp.89-106
• /
• 2022

최근 영상 데이터의 급증으로 이를 효과적으로 처리하기 위해 객체 탐지 및 추적, 행동 인식, 표정 인식, 재식별(Re-ID)과 같은 다양한 컴퓨터비전 기술에 대한 수요도 급증했다. 그러나 객체 탐지 및 추적 기술은 객체의 영상 촬영 장소 이탈과 재등장, 오클루전(Occlusion) 등과 같이 성능을 저하시키는 많은 어려움을 안고 있다. 이에 따라 객체 탐지 및 추적 모델을 근간으로 하는 행동 및 표정 인식 모델 또한 객체별 데이터 추출에 난항을 겪는다. 또한 다양한 모델을 활용한 딥러닝 아키텍처는 병목과 최적화 부족으로 성능 저하를 겪는다. 본 연구에서는 YOLOv5기반 DeepSORT 객체추적 모델, SlowFast 기반 행동 인식 모델, Torchreid 기반 재식별 모델, 그리고 AWS Rekognition의 표정 인식 모델을 활용한 영상 분석 시스템에 단일 연결 계층적 군집화(Single-linkage Hierarchical Clustering)를 활용한 재식별(Re-ID) 기법과 GPU의 메모리 스루풋(Throughput)을 극대화하는 처리 기법을 적용한 행동 및 표정 검출용 영상 분석 시스템을 제안한다. 본 연구에서 제안한 시스템은 간단한 메트릭을 사용하는 재식별 모델의 성능보다 높은 정확도와 실시간에 가까운 처리 성능을 가지며, 객체의 영상 촬영 장소 이탈과 재등장, 오클루전 등에 의한 추적 실패를 방지하고 영상 내 객체별 행동 및 표정 인식 결과를 동일 객체에 지속적으로 연동하여 영상을 효율적으로 분석할 수 있다.

• 한국위성정보통신학회논문지
• /
• 제9권1호
• /
• pp.57-64
• /
• 2014

최근 물리적 디바이스의 도움 없이 사람이 시스템과 인터랙션 할 수 있는 인간 친화적인 인간-기계 인터페이스가 많이 연구되고 있다. 이중 대표적인 것이 본 논문의 주제인 비전기반 제스처인식이다. 본 논문에서 우리는 설정된 가상세계의 객체와의 인터랙션을 위한 손 제스처들을 정의하고 이들을 인식할 수 있는 효과적인 방법론을 제안한다. 먼저, 웹캠으로 촬영된 저해상도 영상에서 사용자의 양손을 검출 및 추적하고, 손 영역을 분할하여 손 실루엣을 추출한다. 우리는 손 검출을 위해, RGB 공간에서 명암에 따라 두개의 타원형 모델을 이용하여 피부색을 모델링하였으며, 블랍매칭(blob matching) 방법을 이용하여 손 추적을 수행하였다. 우리는 플러드필(floodfill) 알고리즘을 이용해 얻은 손 실루엣의 행/열 모드 검출 및 분석을 통해 Thumb-Up, Palm, Cross 등 세 개의 손모양을 인식하였다. 그리고 인식된 손 모양과 손 움직임의 콘텍스트를 분석해서 다섯 가지 제스처를 인식할 수 있었다. 제안하는 제스처인식 방법론은 정확한 손 검출을 위해 카메라 앞에 주요 사용자가 한 명 등장한다는 가정을 하고 있으며 많은 실시간 데모를 통해 효율성 및 정확성이 입증되었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.1056-1058
• /
• 2022

본 연구는 항만에서 안전 수칙을 위반하여 발생하는 사고 및 이상행동을 실시간 탐지를 수행한 후 위험 상황을 관리자가 신속하고 정확하게 대처할 수 있도록 지원하는 지능형 CCTV, Smart Eye를 제안한다. Smart Eye는 컴퓨터 비전(Computer Vision) 기반의 다양한 객체 탐지(Object Detection) 모델과 행동 인식(Action Recognition) 모델을 통해 낙하 및 전도사고, 안전 수칙 미준수 인원, 폭력적인 행동을 보이는 인원을 복합적으로 판단하며, 객체 추적(Object Tracking), 관심 영역(Region of Interest), 객체 간의 거리 측정 알고리즘을 구현하여, 제한구역 접근, 침입, 배회, 안전 보호구 미착용 인원 그리고 화재 및 충돌사고 위험도를 측정한다. 해당 연구를 통한 자동화된 24시간 감시체계는 실시간 영상 데이터 분석 및 판단 처리 과정을 거친 후 각 장소에서 수집된 데이터를 관리자에게 신속히 전달하고 항만 내 통합관제센터에 접목함으로써 효율적인 관리 및 운영할 수 있게 하는 '지능형 인프라'를 구축할 수 있다. 이러한 체계는 곧 스마트 항만 시스템 도입에 이바지할 수 있을 것으로 기대된다.

• 사물인터넷융복합논문지
• /
• 제10권2호
• /
• pp.85-91
• /
• 2024

본 논문에서는 테마파크, 메가 이벤트, 전시공연에 시공간을 넘어서 디지털 캔버스로 활용하고 있는 프로젝션 매핑에 대해서 연구하였다. 기존 고정된 대상에 사용하던 프로젝션 기술은 활용도에 있어서 움직이는 대상에 맵핑 하기 힘들다는 한계점이 있기 때문에 움직이는 피사체를 추적하여 매핑할 수 있는 기술과 동적으로 움직이는 대상을 기반으로 실시간 동적 프로젝션 매핑 시스템을 개발하여 공연, 전시, 테마파크 등 다양한 시장 대응이 가능하도록 관련 연구가 시급한 실정이다. 본문에서는 실시간 사물에 해당하는 요소를 추적할 수 있는 하드웨어 개발과 초고속 영상처리를 하여 딜레이 현상이 없는 시스템을 제시하고자 한다. 구체적으로 실시간 오브제 영상분석 및 프로젝션 포커싱 제어부 개발, 실시간 오브제 추적 시스템을 위한 통합 운영 시스템, 프로젝션 매핑을 위한 영상처리 라이브러리 개발을 구현한다. 본 연구는 최근 실시간 비전머신 기반의 검출 기술을 활용한 기술 집약적인 산업임과 동시에 첨단의 과학기술이 융합되어 연출되는 산업으로 활용도가 다양할 것으로 기대된다.

• 정보보호학회논문지
• /
• 제33권6호
• /
• pp.1099-1110
• /
• 2023

자율주행 및 robot navigation의 인식 시스템은 성능 향상을 위해 다중 센서를 융합(Multi-Sensor Fusion)을 한 후, 객체 인식 및 추적, 차선 감지 등의 비전 작업을 한다. 현재 카메라와 라이다 센서의 융합을 기반으로 한 딥러닝 모델에 대한 연구가 활발히 이루어지고 있다. 그러나 딥러닝 모델은 입력 데이터의 변조를 통한 적대적 공격에 취약하다. 기존의 다중 센서 기반 자율주행 인식 시스템에 대한 공격은 객체 인식 모델의 신뢰 점수를 낮춰 장애물 오검출을 유도하는 데에 초점이 맞춰져 있다. 그러나 타겟 모델에만 공격이 가능하다는 한계가 있다. 센서 융합단계에 대한 공격의 경우 융합 이후의 비전 작업에 대한 오류를 연쇄적으로 유발할 수 있으며, 이러한 위험성에 대한 고려가 필요하다. 또한 시각적으로 판단하기 어려운 라이다의 포인트 클라우드 데이터에 대한 공격을 진행하여 공격 여부를 판단하기 어렵도록 한다. 본 연구에서는 이미지 스케일링 기반 카메라-라이다 융합 모델(camera-LiDAR calibration model)인 LCCNet 의 정확도를 저하시키는 공격 방법을 제안한다. 제안 방법은 입력 라이다의 포인트에 스케일링 공격을 하고자 한다. 스케일링 알고리즘과 크기별 공격 성능 실험을 진행한 결과 평균 77% 이상의 융합 오류를 유발하였다.

• 한국정보통신학회논문지
• /
• 제15권7호
• /
• pp.1564-1572
• /
• 2011

본 논문에서는 증강현실을 위한 히스토그램 기반의 손 인식 기법을 제안한다. 손동작 인식은 사용자와 컴퓨터 사이의 친숙한 상호작용을 가능하게 한다. 하지만, 비젼 기반의 손동작 인식은 복잡한 손의 형태로 인한 관찰 방향 변화에 따른 입력 영상의 다양함으로 인식에 어려움이 따른다. 따라서 본 논문에서는 손의 형태적인 특징을 이용한 새로운 모델을 제안한다. 제안하는 기법에서 손 인식은 카메라로부터 획득한 영상에서 손 영역을 분리하는 부분과 인식하는 부분으로 구성된다. 카메라로부터 획득한 영상에서 배정을 제거하고 피부색 정보를 이용하여 손 영역을 분리한다. 다음으로 히스토그램을 이용하여 손의 특징점을 구하여 손의 형태를 계산한다. 마지막으로 판별된 손인식 정보를 이용하여 3차원 객체를 제어하는 증강현실 시스템을 구현하였다. 실험을 통해 제안한 기법의 구현 속도가 빠르고 인식률도 91.7%로 비교적 높음을 확인하였다.