• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권3호
• /
• pp.209-218
• /
• 2013

인간의 동작 인식에 대한 이전 연구는 주로 관절체로 표현된 신체 움직임을 추적하고 분류하는데 초점을 맞춰 왔다. 이 방식들은 실제 이미지 사용 환경에서 신체 부위에 대한 정확한 분류가 필요하다는 점이 까다롭기 때문에 최근의 동작 인식 연구 동향은 시공간상의 관심 점과 같이 저수준의, 더 추상적인 외형특징을 이용하는 방식이 일반화되었다. 하지만 몇 년 사이 자세 예측 기술이 발전하면서 자세 기반 방식에 대한 시각을 재정립하는 것이 필요하다. 본 연구는 외형 기반 방식에서 저수준의 외형특징만으로 분류기를 학습시키는 것이 충분한지에 대한 문제를 제기하면서 자세 예측을 이용한 효과적인 자세기반 동작인식 방식을 제안하였다. 이를 위해 다양한 감정을 표현하는 동작 시나리오를 대상으로 외형 기반, 자세 기반 특징 및 두 가지 특징을 조합한 방식을 비교하였다. 실험 결과, 자세 예측을 이용한 자세 기반 방식이 저수준의 외형특징을 이용한 방식보다 감정 동작 분류 및 인식 성능이 더 나았으며 잡음 때문에 심하게 망가진 이미지의 감정 동작 인식에도 자세 예측을 이용한 자세기반의 방식이 효과적이었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.322-325
• /
• 2015

본 논문에서는 개선된 자세 인식을 위한 학습을 통한 자세 인식 기법을 제안한다. 제안 자세 인식 기법은 영상의 모든 픽셀 값을 사용하지 않으며 인체의 골격의 위치 정보와 자세의 학습을 기반으로 한다. 최근 자세 인식기법에 다양한 기계 학습 기법을 적용하여 제스처 인식률을 높이는 연구가 진행되고 있지만 실시간 프레임에 적용하는데 한계가 있다. 반면 고차원의 특징점을 추출하여 신경망 학습방식을 이용하면 적은 계산량과 손쉬운 실행이 가능하다. 고차원의 특징점은 깊이 정보로부터 사람의 골격 정보를 이용해 추출하여 차원을 감소시키며 신경망 학습 방식에서는 각 자세에 대한 고차원의 특징점을 이용하여 자세의 학습을 진행한다. 신경망학습은 학습 단계에서는 미리 알려진 자세와 예측된 자세의 비교를 통해 오류를 최소화 하는 방향으로 학습을 진행하며, 판별 단계에서는 새로운 자세를 입력하여 고차원 특징점을 이용한 신경망 학습 기반의 제안 기술의 성능을 평가한다. 실험에 의하면 제안 기법은 약 96%의 자세 인식률을 보이고 자세 인식기법을 동작 인식으로 확장 가능성 또한 보인다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 3부
• /
• pp.176-182
• /
• 2007

본 연구에서는 사용자가 즉석에서 연주한 곡에 대응하는 춤 동작을 자동으로 생성하는 기술을 제안한다. 본 기법은 먼저 댄서로부터 모션 캡쳐 받은 춤 시퀀스를 분절화한 후 사용자가 신디사이저를 통해 직접 연주하여 얻은 MIDI 데이터를 분석해 음악에서의 특징점을 추출한다. 그리고 분절화 한 모션의 세그먼트들을 음악에 맞춰 다시 배열하여 새로운 춤 시퀀스를 생성함으로써 사용자가 연주한 음악과 어울리는 춤 동작을 자동으로 생성한다. 이를 위해 세 단계의 작업을 수행하게 되는데, 첫 번째 단계에서 모션 캡쳐를 통해 얻게 된 데이터에서 캐릭터의 위치와 자세를 기준으로 하여 긴 시퀀스를 의미 있는 작은 춤 동작으로 분절화한다. 두 번째 단계에서는 사용자의 연주를 통해 획득한 MIDI를 분석하여 특징점을 추출하고, 마지막 단계에서는 이를 바탕으로 음악에 기반한 음악과 동작을 합성한다. 본 연구는 음악과 댄스의 리듬감이 파괴되지 않도록 합성함으로써 우리의 연구는 기존 연구에 비해서 훨씬 자연스러운 춤 시퀀스를 결과물로 만들어 낸다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2010년도 춘계학술발표대회
• /
• pp.562-565
• /
• 2010

시각기반 증강현실 시스템의 구현을 위해서는 입력되는 카메라영상의 프레임을 매번 특징점을 추출하고 패턴 매칭 과정을 반복하는 것은 저 사양의 모바일 기기에서는 적합하지 않다. 본 논문에서는 이러한 문제점을 해결 하고자 카메라영상에서 패턴이 한번 인식되게 되면 그 이후의 영상에 대해서는 패턴 인식과정을 생략하고 이전 영상에서 매칭된 특징점을 광류 기반 추적기법을 사용하여 추적하도록 한다. 또한 패턴 추적 절차의 수행 중 추적이 실패하여 생기는 특징점 소실 문제는 정확한 호모그래피 행렬과 카메라 자세 추정을 어렵게 하는데 이러한 문제를 해결하도록 하는 패턴 추적의 성공 또는 실패는 판단하는 기준을 세워 모바일 기기에서 빠르게 동작하도록 하는 광류 추적 기법을 사용한 자연 특징 추적 기반 증강현실 시스템을 제안한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
• /
• pp.35-36
• /
• 2014

본 논문에서는 Kinect 센서의 동작 인식 기능을 활용한 운동요법 앱을 설계하고 구현한다. 이 앱은 사용자의 상체, 하체 관절의 움직임을 인식하여 체조의 올바른 자세를 배울 수 있도록 한다. 이 앱의 특징은 Kinect Sensor로 인식한 관절 요소를 읽어 들이고, 각 관절의 각도를 계산하여 원하는 동작을 표현할 수 있도록 한다. 또한, 사용자의 동작과 기본 동작을 비교하여 오차 범위 내이면 새로운 동작이 진행되도록 한다. 출력되는 각 동작들은 Library를 이용하여 많은 포즈들을 입력하고 출력할 수 있기 때문에 새로운 포즈를 추가하기에 쉽다.

• 전자공학회논문지SC
• /
• 제45권6호
• /
• pp.67-76
• /
• 2008

성공적인 상업화를 위해서는 다양한 조명 환경에서 신뢰성 있는 얼굴 인식이 필요하다. 특징 벡터 기반 얼굴 인식에서 특징 벡터를 잘 선택하는 것은 중요하다. 가버 특징 벡터는 다른 특징 벡터보다도 상대적으로 방향, 자세, 조명 등의 영향을 덜 받는 것으로 잘 알려져 있어 얼굴 인식의 특징 벡터로 많이 이용된다. 그러나 조명의 영향에 대해 완전히 독립적이지 못하다. 본 논문에서는 얼굴 이미지의 가버 특징 벡터에 대한 조명 PCA 모델의 구성을 제안하고 이를 이용하여 조명에 독립적인 얼굴 고유의 특성을 나타내는 가버 특징 벡터만을 분리해내고 이를 이용한 얼굴 인식 방법을 제시한다. 가버 특징 벡터 조명 PCA 모델은 가버 특징 벡터공간을 조명 영향 부분공간과 얼굴 고유특성 부분공간의 직교 분해로 구성한다. 얼굴 고유특성 부분공간으로 투영하여 얻어진 가버 특징 벡터는 조명 영향을 분리해 내었기 때문에 이를 이용한 얼굴 인식은 조명에 보다 강인하게 된다. 실험을 통해서 가버 특징 벡터 조명 PCA 모델을 이용한 제안된 얼굴 인식 방식이 다양한 자세에서 조명에 대해 보다 신뢰성 있게 동작함을 확인하였다.

• 정보처리학회논문지B
• /
• 제13B권5호
• /
• pp.499-506
• /
• 2006

본 논문에서는 실시간 증강현실 시스템에서의 가상 객체 삽입을 위한 빠르고 안정된 카메라 자세 추정 방법을 제안한다. 단일 프레임에서 마커의 특징점 추출을 통해 카메라의 회전행렬과 이동벡터를 추정한다. 카메라 자세 추정을 위해 정사영 투영모델에서의 분해기법을 사용한다. 정사영 투영모델에서의 분해기법은 객체의 모든 특징점의 깊이좌표가 동일하다고 가정하기 때문에 깊이좌표의 기준이 되는 참조점의 설정과 점의 분포에 따라 카메라 자세 계산의 정확도가 달라진다. 본 논문에서는 실제 환경에서 일반적으로 잘 동작하고 융통성 있는 참조점 설정 방법과 이상점 제거 방법을 제안한다. 제안된 카메라 자세추정 방법에 기반하여 탐색된 마커 위치에 가상객체를 삽입하기 위한 비디오 증강 시스템을 구현하였다. 실 환경에서의 다양한 비디오에 대한 실험 결과, 제안된 카메라 자세 추정 기법은 기존의 자세추정 기법만큼 빠르고 기존의 방법보다 안정적이고 다양한 증강현실 시스템 응용에 적용될 수 있음을 보여주었다.

• 한국인터넷방송통신학회논문지
• /
• 제21권6호
• /
• pp.155-161
• /
• 2021

최근, 실시간으로 카메라를 통해 동작을 인식하는 기술의 연구가 많이 진행되고 있다. 기존의 연구들에서는 사람의 관절로부터 특징을 추출하는 개수가 적기 때문에 동작 분류의 정확도가 낮은 한계점들이 있다. 본 논문에서는 이러한 한계점들을 해결하기 위해 움직일 때 변하는 관절의 각도를 특징 추출하여 계산하는 알고리즘과 이미지 분류 시에 정확도가 높은 CBAM(Convolutional Block Attention Module)을 사용한 분류모델을 제안한다. AI Hub에서 제공하는 피트니스 자세 이미지로부터 5가지 운동 동작 이미지를 인용하여 분류 모델에 적용한다. 구글에서 제공하는 그래프 기반 프레임워크인 MediaPipe 기법을 사용하여, 이미지로부터 운동 동작 분류에 중요한 8가지 관절 각도 정보를 추가적으로 추출한다. 추출한 특징들을 모델의 입력으로 설정하여, 분류 모델을 학습시킨다. 시뮬레이션 결과로부터 제안한 모델은 높은 정확도로 운동 동작을 구분하는 것을 확인할 수 있다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2007년도 춘계종합학술대회
• /
• pp.477-480
• /
• 2007

얼굴 동작을 효과적으로 인식하는 방법을 제안하고자 한다. 얼굴 동작은 얼굴 표정, 얼굴 자세, 시선, 주름 같은 얼굴 특징이나 얼굴 행동 등으로 표출될 수 있다. 이러한 표출된 정보들은 얼굴 동작이 다양하고 명확하지 않아 연구 진행에 많은 어려움이 있다. 그러므로, 본 논문에서는 얼굴 동작을 묘사하는 FACS를 기반으로 하여 시각적 관찰에 의해 주요한 얼굴 동작을 표현하고, 베이지안 네트워크를 통하여 여러 정보를 분석 융합하여 얼굴 행동을 추론 할 수 있도록 하였다. 베이지안 네트워크의 하향식 추론으로 시각 정보를 선택 할 수 있고, 관측된 현상을 토대로 상향식 추론 하여 얼굴 동작의 신뢰 전파를 통하여 분류 인식한다.

• 한국산학기술학회논문지
• /
• 제22권2호
• /
• pp.127-133
• /
• 2021

낙상 판단을 위한 최근 발표되는 연구는 RNN(Recurrent Neural Network)을 이용한 낙상 동작 특징 분석과 동작 분류에 집중되어 있다. 웨어러블 센서를 기반으로 한 접근 방식은 높은 탐지율을 제공하나 사용자의 착용 불편으로 보편화 되지 못했고 최근 영상이나 이미지 기반에 딥러닝 접근방식을 이용한 낙상 감지방법이 소개 되었다. 본 논문은 2D RGB 저가 카메라에서 얻은 영상을 PoseNet을 이용해 추출한 인체 골격 키포인트(Keypoints) 정보로 머리와 어깨의 키포인트들의 위치와 위치 변화 가속도를 추정함으로써 낙상 판단의 정확도를 높이기 위한 감지 방법을 연구하였다. 특히 낙상 후 자세 특징 추출을 기반으로 Convolutional Neural Networks 중 Gated Recurrent Unit 기법을 사용하는 비전 기반 낙상 감지 솔루션을 제안한다. 인체 골격 특징 추출을 위해 공개 데이터 세트를 사용하였고, 동작분류 정확도를 높이는 기법으로 코, 좌우 눈 그리고 양쪽 귀를 포함하는 머리와 어깨를 하나의 세그먼트로 하는 특징 추출 방법을 적용해, 세그먼트의 하강 속도와 17개의 인체 골격 키포인트가 구성하는 바운딩 박스(Bounding Box)의 높이 대 폭의 비율을 융합하여 실험을 하였다. 제안한 방법은 기존 원시골격 데이터 사용 기법보다 낙상 탐지에 보다 효과적이며 실험환경에서 약 99.8%의 성공률을 보였다.