• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 춘계학술발표대회
• /
• pp.157-160
• /
• 2022

딥러닝이 각광받기 시작하면서 인간의 자세와 행동을 인식하고 분류하기 위한 인공지능 기술 또한 급속도로 발전하게 되었다. 영상에서 인간의 자세를 디지털 데이터로 표현할 때 인체의 주요 관절점의 위치와 연결관계를 나타내는 스켈레톤 표현 방식을 주로 사용한다. 본 논문에서는 스켈레톤 데이터에 비밀 메시지를 은닉할 수 있는 스테가노그라피 알고리즘에 대해 소개하고, 스켈레톤을 구성하는 주요 관절점 키포인트를 조작했을 때 행동 인식 인공지능 모델이 어떻게 반응하는지 살펴봄으로써 스켈레톤 데이터에 대한 스테가노그라피 알고리즘의 특성과 보안성에 대해 논의한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.1101-1104
• /
• 2019

키넥트는 RGBD 카메라로 인체의 뼈대와 관절을 3D 공간에서 스켈레톤 데이터수집을 가능하게 해주었다. 스켈레톤 데이터를 활용한 행동 분류는 RNN, CNN 등 다양한 인공 신경망으로 접근하고 있다. 본 연구는 키넥트를 이용해서 Skeleton Joints를 수집하고, DNN 기반 스켈레톤 모델링 학습으로 행동을 분류한다. Skeleton Joints Processing 과정은 키넥트의 Depth Map 기반의 Skeleton Tracker로 25가지 Skeleton Joints 좌표를 얻고, 학습을 위한 전처리 과정으로 각 좌표를 상대좌표로 변경하고 데이터 수를 제한하며, Joint가 트래킹 되지 않은 부분에 대한 예외 처리를 수행한다. 스켈레톤 모델링 학습 과정에선 3계층의 DNN 신경망을 구축하고, softmax_cross_entropy 함수로 Skeleton Joints를 집는 모션, 내려놓는 모션, 팔짱 낀 모션, 얼굴을 가까이 가져가는 모션 해서 4가지 행동으로 분류한다.

• 한국항행학회논문지
• /
• 제24권2호
• /
• pp.155-162
• /
• 2020

최근 컴퓨터 비전과 딥러닝 기술의 발전으로 비디오 분석, 영상 감시, 인터렉티브 멀티미디어 및 인간 기계 상호작용 응용을 위해 인간 행동 인식에 관한 연구가 활발히 진행되고 있다. 많은 연구자에 의해 RGB 영상, 깊이 영상, 스켈레톤 및 관성 데이터를 사용하여 인간 행동 인식 및 분류를 위해 다양한 기술이 도입되었다. 그러나 스켈레톤 기반 행동 인식은 여전히 인간 기계 상호작용 분야에서 도전적인 연구 주제이다. 본 논문에서는 동적 이미지라 불리는 시공간 이미지를 생성하기 위해 동작의 종단간 스켈레톤 조인트 매핑 기법을 제안한다. 행동 클래스 간의 분류를 수행하기 위해 효율적인 심층 컨볼루션 신경망이 고안된다. 제안된 기법의 성능을 평가하기 위해 공개적으로 액세스 가능한 UTD-MHAD 스켈레톤 데이터 세트를 사용하였다. 실험 결과 제안된 시스템이 97.45 %의 높은 정확도로 기존 방법보다 성능이 우수함을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.838-841
• /
• 2020

본 논문은 영상 속 폭력행위를 인식하기 위해 3 차원 컨벌루션을 활용하여 원본 영상과 스켈레톤(skeleton)영상으로부터 추출한 시각 및 움직임 정보를 동시에 활용하는 2-스트림 구조의 폭력상황 인식기를 제안한다. 제안된 폭력상황 인식기에서는 수평, 수직 방향의 큰 움직임이 많이 나타나는 폭력영상의 특성을 활용하기위해 각 방향의 특성을 독립적으로 학습할 수 있는 split-FAST 3차원 컨벌루션을 활용하고, 3 차원 Attention 을 적용하여 시각 및 움직임 정보 추출 시 영상의 중요지역을 중점적으로 반영하도록 함으로써 촬영 기기의 이동 또는 여러 사람의 뒤엉킴 등으로 영상의 시점 변화나 상황 변화가 잦은 경우에도 강인한 성능을 가질 수 있도록 하였다. 또한 기존의 연구들과 달리 비제약적인 환경에서 CCTV, 모바일 카메라 등으로 촬영된 실제 영상들로 구성된 RLVS 데이터셋을 학습 데이터로 사용함으로써 실제의 폭력 행위를 잘 인식할 수 있도록 하였다. RLVS 를 이용한 평가 실험에서 제안된 폭력상황 인식기가 약 92%의 인식 정확도를 얻었다.

• 스마트미디어저널
• /
• 제11권1호
• /
• pp.46-57
• /
• 2022

본 논문에서는 딥러닝을 기반으로 입력영상의 옵티컬 플로우(optical flow)와 그래디언트(gradient)를 이용하여 종단간 행동인식이 가능한 다중영역 기반 방사성 GCN(MRGCN: Multi-region based Radial Graph Convolutional Network) 알고리즘에 대해 기술한다. 이 방법은 데이터 취득이 어렵고 계산이 복잡한 스켈레톤 정보를 사용하지 않기 때문에 카메라만을 주로 사용하는 일반 CCTV 환경에도 활용이 가능하다. MRGCN의 특징은 입력영상의 옵티컬플로우와 그래디언트를 방향성 히스토그램으로 표현한 후 계산량 축소를 위해 6개의 특징 벡터로 변환하여 사용한다는 것과 시공간 영역에서 인체의 움직임과 형상변화를 계층적으로 전파시키기 위해 새롭게 고안한 방사형 구조의 네트워크 모델을 사용한다는 것이다. 또 데이터 입력 영역을 서로 겹치도록 배치하여 각 노드 간에 공간적으로 단절이 없는 정보를 입력으로 사용한 것도 중요한 특징이다. 30가지의 행동에 대해 성능평가 실험을 수행한 결과 스켈레톤 데이터를 입력으로 사용한 기존의 GCN기반 행동인식과 동등한 84.78%의 Top-1 정확도를 얻을 수 있었다. 이 결과로부터 취득이 어려운 스켈레톤 정보를 사용하지 않는 MRGCN이 복잡한 행동인식이 필요한 실제 상황에서 더욱 실용적인 방법임을 알 수 있었다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2002년도 춘계학술발표논문집(상)
• /
• pp.474-478
• /
• 2002

본 논문에서는 광학식 모션 캡쳐를 이용하여 얻은 한국인의 발레 동작에 대한 모션 캡쳐 데이터를 사용하여 다른 모션으로 변형함으로써 새로운 형태의 동작을 생성하거나 원래 데이터의 에러가 생긴 경우에 보정이 쉽게 수정 가능하도록 하였다. 즉, 모션 캡쳐 데이터의 구조는 다양한 포맷들로 되어 있는 스켈레톤 구조로서 관절의 각도나 위치에 대해 변형을 가하기 힘들다. 그러므로 모션 수정에 관련된 기술을 이용하여 선택된 조인트(joint), 엔드이펙터(end effecter), 마커(marker)들을 보여주고, 오일러(Euler Angles), 쿼터니언(Quaternions), 지수 맵(Exponential Map) 보간이 가능하여 실시간에서도 재생 되도록 구현하였다.

• 응용통계연구
• /
• 제37권5호
• /
• pp.643-661
• /
• 2024

본 연구는 3D 스켈레톤 데이터를 활용하여 머신러닝 및 딥러닝 모델을 통해 동작 인식을 수행하고, 모델 간 분류 성능 차이를 비교 분석하였다. 데이터는 NTU RGB+D 데이터의 정면 촬영 데이터로 40명의 참가자가 수행한 60가지 동작을 분류하였다. 머신러닝 모델로는 선형판별분석(LDA), 다중 클래스 서포트 벡터 머신(SVM), 그리고 랜덤 포레스트(RF)가 있으며, 딥러닝 모델로는 RNN 기반의 HBRNN (hierarchical bidirectional RNN) 모델과 GCN 기반의 SGN (semantics-guided neural network) 모델을 적용하였다. 각 모델의 분류 성능을 평가하기 위해 40명의 참가자별로 교차 검증을 실시하였다. 분석 결과, 모델 간 성능 차이는 동작 유형에 크게 영향을 받았으며, 군집 분석을 통해 각 동작에 대한 분류 성능을 살펴본 결과, 인식이 비교적 쉬운 큰 동작에서는 머신러닝 모델과 딥러닝 모델 간의 성능 차이가 유의미하지 않았고, 비슷한 성능을 나타냈다. 반면, 손뼉치기나 손을 비비는 동작처럼 정면 촬영된 관절 좌표만으로 구별하기 어려운 동작의 경우, 딥러닝 모델이 머신러닝 모델보다 관절의 미세한 움직임을 인식하는 데 더 우수한 성능을 보였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.419-420
• /
• 2022

본 논문은 동작 기반 게임 플레이 시스템을 위해 사용자 스스로가 제스처를 등록할 수 있는 방법에 대한 것이다. 기존의 동작 기반 게임 플레이 시스템들은 사전에 정의된 제스처 데이터들을 모아 인식기를 만들었다. 하지만 이는 때로 어려운 전문 지식이 필요하거나 다소 어려운 과정들을 필요로 한다. 이러한 복잡한 상황들을 완화하고자 상호작용적으로 제스처 등록이 가능한 전신 스켈레톤 기반의 게임 시스템을 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.1023-1024
• /
• 2023

랜덤 플레이 댄스 라는 오프라인 이벤트를 언제 어디서나 참여할 수 있도록 실시간 온라인 앱 서비스로 제시한다. 실시간 플레이를 위해 앱으로 사용자 영상에서 바로 스켈레톤을 추출하고 웹소켓으로 스켈레톤 데이터를 주고받으며 스켈레톤 추출, 시각화, 송출을 한다. 플레이가 끝나면 안무동작 정확도 알고리즘을 통해 사용자가 자신의 춤 정확도를 가늠할 수 있다.

• 방송공학회논문지
• /
• 제23권5호
• /
• pp.598-605
• /
• 2018

행동 인식은 데이터를 통해 인간의 행동을 인식하는 기술로서 비디오 감시 시스템을 통한 위험 행동과 같은 어플리케이션에 활용되어 질 수 있다. 기존의 행동 인식 알고리즘은 2차원 카메라를 통한 영상이나 다중모드 센서, 멀티 뷰와 같은 장비를 이용한 방법을 사용하거나 3D 장비를 이용하여 이루어져 왔다. 2차원 데이터를 사용한 경우 3차원 공간의 행위 인식에서는 가려짐과 같은 현상으로 낮은 인식율을 보였고 다른 방법은 복잡한 장비의 구성이나 고가의 추가적인 장비로 인한 어려움이 많았다. 본 논문은 RGB와 Depth 정보만을 이용하여 추가적인 장비 없이 CCTV 영상만으로 인간의 행동을 인식하는 방법을 제안한다. 먼저 RGB 영상에서 스켈레톤 추출 알고리즘을 적용하여 관절과 신체부위의 포인트를 추출한다. 이를 식을 적용하여 변위 벡터와 관계 벡터를 포함한 벡터로 변형한 후 RNN 모델을 통하여 연속된 벡터 데이터를 학습한다. 학습된 모델을 다양한 데이터 세트에 적용하여 행동 인식 정확도를 확인한 결과 2차원 정보만으로 3차원 정보를 이용한 기존의 알고리즘과 유사한 성능을 입증할 수 있었다.