• 스마트미디어저널
• /
• 제5권2호
• /
• pp.15-23
• /
• 2016

본 논문에서는 신체 부분 포즈를 이용한 깊이 영상 포즈렛과 제스처를 인식하는 방법을 제안한다. 제스처는 순차적인 포즈로 구성되어 있기 때문에, 제스처를 인식하기 위해서는 시계열 포즈를 획득하는 것에 중점을 두고 있어야 한다. 하지만 인간의 포즈는 자유도가 높고 왜곡이 많기 때문에 포즈를 정확히 인식하는 것은 쉽지 않은 일이다. 그래서 본 논문에서는 신체의 전신 포즈를 사용하지 않고 포즈 특징을 정확히 얻기 위해 부분 포즈를 사용하였다. 본 논문에서는 16개의 제스처를 정의하였으며, 학습 영상으로 사용하는 깊이 영상 포즈렛은 정의된 제스처를 바탕으로 생성하였다. 본 논문에서 제안하는 깊이 영상 포즈렛은 신체 부분의 깊이 영상과 해당 깊이 영상의 주요 3차원 좌표로 구성하였다. 학습과정에서는 제스처를 학습하기 위하여 깊이 카메라를 이용하여 정의된 제스처를 입력받은 후, 3차원 관절 좌표를 획득하여 깊이 영상 포즈렛이 생성되었다. 그리고 깊이 영상 포즈렛을 이용하여 부분 제스처 HMM을 구성하였다. 실험과정에서는 실험을 위해 깊이 카메라를 이용하여 실험 영상을 입력받은 후, 전경을 추출하고 학습된 제스처에 해당하는 깊이 영상 포즈렛을 비교하여 입력 영상의 신체 부분을 추출한다. 그리고 HMM을 적용하여 얻은 결과를 이용하여 제스처 인식에 필요한 부분 제스처를 확인한다. 부분 제스처를 이용한 HMM을 이용하여 효과적으로 제스처를 인식할 수 있으며, 관절 벡터를 이용한 인식률은 약 89%를 확인할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.359-361
• /
• 2012

본 논문에서는 깊이영상에서 상반신 포즈 분석을 위하여 원통좌표시스템을 제안한다. 깊이영상에서 포즈 후보 영역을 설정하고, 포즈 후보 영역을 이용하여 카메라로부터 신체 중심점까지의 거리와 신체 특징에 따라 원통좌표계를 설정한다. 그리고 밝기값으로 표현되는 깊이 정보를 이용하여 특징벡터를 추출한다. 추출된 원통좌표계의 특징벡터는 원형의 특징공간에 표현되고 포즈 패턴으로 분류된다. 그리고 포즈 패턴들은 특징벡터들의 평균값을 이용하여 학습되고 미리 정의된 포즈 패턴들과 유클리디언 거리로 비교하여 포즈로 분류된다. 본 논문은 상반신 포즈 후보 영역에 동적인 원통 모델을 적용하여 간단한 연산을 통해 머리와 몸통, 팔을 구분할 수 있도록 효과적인 포즈 정보 추출에 목적을 두고 있다.

• 스마트미디어저널
• /
• 제1권2호
• /
• pp.40-46
• /
• 2012

본 논문은 비전 기반 신체 제스처 인식 결과를 입력인터페이스로 사용하는 상호작용 콘텐츠에 대해 기술한다. 제작된 콘텐츠 는 아시아의 공통문화요소인 도깨비를 소재로 사용하여 지역 문화에 친숙하게 접근할 수 있도록 하였다. 그리고 콘텐츠를 구성 하는 시나리오는 도깨비와의 결투장면에서 사용자의 제스처 인식을 통해 결투를 진행하므로 사용자는 자연스럽게 콘텐츠 시나리오에 몰입할 수 있다. 시나리오의 후반부에서는 사용자는 시간과 공간이 다른 다중의 결말을 선택할 수 있다. 신체 제스처 인식 부분에서는 키넥트(KINECT)를 통해 얻을 수 있는 각 신체 부분의 3차원좌표를 이용하여 정지동작인 포즈를 활용한다. 비전기반 3차원 인체 포즈 인식 기술은 HCI(Human-Computer Interaction)에서 인간의 제스처를 전달하기 위한 방법으로 사용된다. 특수한 환경에서 단순한 2차원 움직임 포즈만 인식할 수 있는 2차원 포즈모델 기반 인식 방법에 비해 3차원 관절을 묘사한 포즈모델은 관절각에 대한 정보와 신체 부위의 모양정보를 선행지식으로 사용할 수 있어서 좀 더 일반적인 환경에서 복잡한 3차원 포즈도 인식할 수 있다는 장점이 있다. 인간이 사용하는 제스처는 정지동작인 포즈들의 연속적인 동작을 통해 표현이 가능하므로 HMM을 이용하여 정지동작 포즈들로 구성된 제스처를 인식하였다. 본 논문에서 기술한 체험형 콘텐츠는 사용자가 부가적인 장치의 사용 없이 제스처 인식 결과를 입력인터페이스로 사용하였으며 사용자의 몸동작만으로 자연스럽게 콘텐츠를 조작할 수 있도록 해준다. 본 논문에서 기술한 체험형 콘텐츠는 평소 접하기 어려운 도깨비를 이용하여 사용자와 실시간 상호작용이 가능케 함으로써 몰입도와 재미를 향상시키고자 하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.851-853
• /
• 2024

본 논문에서는 MediaPipe 라이브러리 및 OpenCV 를 활용한 포즈 추정 및 체형 인식 알고리즘을 통해 사용자의 체형과 선호도에 맞는 의류를 가상으로 입어볼 수 있는 생성형 FashionNet 을 제안한다. 구체적으로는 먼저 웹 카메라를 통해 얻어진 사용자의 외형 이미지로부터, 사용자의 신체 포즈를 추정하고, OpenCV 코드를 통해 사용자의 신체 윤곽을 검출한다. 이후 가상 옷장 데이터베이스로부터 선택된 가상 의류를 사용자의 신체 윤곽에 맞춰 입혀진 가상 피팅 이미지를 생성한다. 특히, 본 논문의 FashionNet 은 사용자와 카메라 간의 거리에 따른 인체 비율을 사전 실험으로 미리 설정해놓음으로써, 카메라와 사용자간의 거리에 관계없이 의류 사이즈가 사용자의 신체 조건에 맞게 자동으로 피팅되는 특징을 갖는다. 또한 가상 옷장 데이터베이스로부터 의류 아이템 선정의 편의를 제공하기 위해, 가상 현실 속에서 스크린상의 메뉴 버튼과 사용자의 포즈 동작간의 상호작용을 통해 FashionNet 의 다양한 기능을 수행할 수 있는 증강현실(AR) 기법을 적용하였다. 가상 옷장 데이터베이스를 사용한 다양한 가상 피팅 체험 실험을 통해 온라인상에서 자기가 원하는 의류를 가상으로 착용해 볼 수 있고 이를 통해 구매를 결정하는 등의 FashionNet 의 유효성과 가능성을 확인하였다.

• 정보과학회 논문지
• /
• 제41권11호
• /
• pp.927-934
• /
• 2014

본 논문에서는 Kinect와 같은 RGB-D 센서를 이용하여 사람의 3차원 신체 포즈 스트림 데이터를 생성하고, 이로부터 사람의 일상 행위를 효과적으로 인식하는 방법을 제안한다. Kinect SDK나 OpenNI에서 제공하는 실시간 신체 포즈 데이터는 Kinect 중심의 3차원 데카르트 좌표계로 표현되기 때문에, 시점 변화 문제와 크기 변화 문제를 겪을 가능성이 높다. 이러한 문제를 해결하고 시점 및 크기 불변인 특징을 얻기 위해, 본 논문에서는 신체 포즈 데이터를 실험자의 골반을 원점으로 하는 구면 좌표계로 변환하고 실험자의 팔 길이를 이용한 크기 정규화를 수행한다. 또한, 본 논문에서는 확률 그래프 모델 중 하나인 은닉 조건부 랜덤 필드를 이용하여, 고수준의 일상 행위들이 내포하는 다양한 내부 구조를 효과적으로 표현한다. 두 가지 데이터 집합 KAD-70과 CAD-60을 이용한 실험을 통해, 본 논문에서 제안한 행위 인식 방법과 구현 시스템의 높은 인식 성능을 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제11권12호
• /
• pp.619-628
• /
• 2011

일반적으로 비전기반 3차원 인체 포즈 인식 기술은 HCI(Human-Computer Interaction)에서 인간의 제스처를 전달하기 위한 방법으로 사용된다. 특수한 환경에서 단순한 2차원 움직임 포즈만 인식할 수 있는 2차원 포즈모델 기반 인식 방법에 비해 3차원 관절을 묘사한 포즈모델은 관절각에 대한 정보와 신체 부위의 모양정보를 선행지식으로 사용할 수 있어서 좀 더 일반적인 환경에서 복잡한 3차원 포즈도 인식할 수 있다는 장점이 있다. 이 논문은 인체의 3차원 관절 정보를 이용한 포즈 인식 기술을 인터페이스로 활용한 상호작용 게임 콘텐츠 개발에 관해 기술한다. 제안된 시스템에서 사용되는 포즈는 인체 관절 중 14개 관절의 3차원 위치정보를 이용해서 구성한 포즈 템플릿과 현재 사용자의 포즈를 비교해 인식된다. 이 방법을 이용하여 제작된 시스템은 사용자가 부가적인 장치의 사용 없이 사용자의 몸동작만으로 자연스럽게 게임 콘텐츠를 조작할 수 있도록 해준다. 제안된 3차원 인식 기술을 게임 콘텐츠에 적용하여 성능을 평가한다. 향후 다양한 환경에서 더욱 강건하게 포즈를 인식할 수 있는 연구를 수행할 계획이다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.489-490
• /
• 2023

본 논문에서는 신체 영상 인식 기술을 이용한 운동 자세 교정 시스템을 제안하고 개발하였다. 구글에서 제공하는 미디어파이프 포즈(MediaPipe Pose) 오픈소스를 사용하여 웹캠으로 사용자의 운동 동작을 실시간으로 인식하여, 인식된 신체 구조의 33개의 관절 위치로 Pose Landmark를 사용하여 사용자의 운동 자세에 대한 횟수 카운트, 운동 동작의 정확도 측정을 할 수 있게 하여 혼자 운동하거나 처음 운동하는 사람들에게 운동의 접근성을 높이고, 올바른 자세로 운동을 하도록 유도할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.615-616
• /
• 2024

현대 야구에서 타자의 스윙 패턴 분석은 상대 투수가 투구 전략을 수립하는데 상당히 중요하다. 이미지 기반의 인간 포즈 추정(HPE)은 대규모 스윙 패턴 분석을 자동화할 수 있다. 그러나 기존의 HPE 방법은 빠르고 가려진 신체 움직임으로 인해 복잡한 스윙 모션을 정확하게 추정하는 데 어려움이 있다. 이러한 문제를 극복하기 위해 스윙 모션에 대한 사전 정보를 활용하여 야구 선수의 포즈를 보정하는 방법(BPPC)을 제안한다. BPPC는 동작 인식, 오프셋 학습, 3D에서 2D 프로젝션 및 동작 인지 손실 함수를 통해 스윙 모션에 대한 사전 정보를 반영하여 기성 HPE 모델 결과를 보정한다. 실험에 따르면 BPPC는 벤치마크 데이터셋에서 기성 HPE 모델의 2D 키포인트 정확도를 정량적 및 정성적으로 향상시키고, 특히 신뢰도 점수가 낮고 부정확한 키포인트를 크게 보정했다.

• 대한전자공학회논문지SP
• /
• 제45권5호
• /
• pp.63-71
• /
• 2008

본 논문에서는 다관절체 추적을 위해 기존에 물체 추적에 자주 이용되는 파티클 필터를 확장한 계층적 파티클 필터 방법을 제안한다. 칼라 특징은 부분 겹침, 회전등에 강건한 특징을 가지고 있어서, 칼라 기반 파티클 필터는 물체 추적에 널리 쓰이고 있다. 다관절체 추적에서 상태 벡터는 높은 차원을 가지기 때문에 기존의 파티클 필터를 이용해 바람직한 추적 결과를 얻기 위해서는 많은 수의 샘플이 요구된다. 이러한 문제점을 해결하기 위해, 본 논문에서는 이미 알고 있는 다른 신체 부위의 위치를 이용해 계층적으로 신체 부위를 추적한다. 계층적 추적 방법에 의해 복잡한 환경에서 강건한 추적을 위한 샘플의 수를 줄일 수 있었다. 또한 포즈를 인식하기 위해 상박과 하박의 각도를 이용한 SVM(Support Vector Machine)을 이용해 8개의 포즈를 분류한다. 실험 결과는 세안한 방법이 기존의 칼라 기반의 파티클 필터보다 효율적임을 보여준다.

• 스마트미디어저널
• /
• 제12권7호
• /
• pp.59-67
• /
• 2023

최근 인간의 자세와 행동을 추적하는 행동 분석 연구가 활발해지고 있다. 특히 2017년 CMU에서 개발한 오픈소스인 오픈포즈(OpenPose)는 사람의 외모와 행동을 추정하는 대표적인 방법이다. 오픈포즈는 사람의 키, 얼굴, 손 등의 신체부위를 실시간으로 감지하고 추정할 수 있어 스마트 헬스케어, 운 동 트레이닝, 보안시스템, 의료 등 다양한 분야에 적용될 수 있다. 본 논문에서는 헬스장에서 사용자들이 가장 많이 운동하는 Squat, Walk, Wave, Fall-down 4개 동작을 오픈포즈기반 딥러닝인 DNN과 CNN을 이용하여 운동 동작 분류 방법을 제안한다. 학습데이터는 녹화영상 및 실시간으로 카메라를 통해 사용자의 동작을 캡처해서 데이터 셋을 수집한다. 수집된 데이터 셋은 OpenPose을 이용하여 전처리과정을 진행하고, 전처리과정이 완료된 데이터 셋은 본 논문에서 제안한 DNN 및 CNN 모델 이용하여 운동 동작 분류를 학습한다. 제안한 모델에 대한 성능 오차는 MSE, RMSE, MAE를 사용한다. 성능 평가 결과, 제안한 DNN 모델 성능이 제안한 CNN 모델보다 우수한 것으로 나타났다.