• Journal of the Semiconductor & Display Technology
• /
• v.21 no.2
• /
• pp.117-122
• /
• 2022

This paper proposes a method for evaluating the work of manufacturing workers using MediaPipe as a risk factor for musculoskeletal diseases. Recently, musculoskeletal disorders (MSDs) caused by repeated working attitudes in industrial sites have emerged as one of the biggest problems in the industrial health field while increasing public interest. The Korea Occupational Safety and Health Agency presents tools such as NIOSH Lifting Equations (NIOSH), OWAS (Ovako Working-posture Analysis System), Rapid Upper Limb Assessment (RULA), and Rapid Entertainment Assessment (REBA) as ways to quantitatively calculate the risk of musculoskeletal diseases that can occur due to workers' repeated working attitudes. To compensate for these shortcomings, the system proposed in this study obtains the position of the joint by estimating the posture of the worker using the posture estimation learning model of MediaPipe. The position of the joint is calculated using inverse kinetics to obtain an angle and substitute it into the REBA equation to calculate the load level of the working posture. The calculated result was compared to the expert's image-based REBA evaluation result, and if there was a result with a large error, feedback was conducted with the expert again.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.752-753
• /
• 2023

본 논문에서는 손가락 관절의 운동범위와 MediaPipe 손 추적기를 이용하여 3 차원 손 추적 방법을 설계하였다. MediaPipe 손 추적기가 추정한 신뢰할 수 있는 2 차원 좌표를 바탕으로 손 랜드마크의 깊이를 추정한 후, 손가락 관절 운동범위와 부합한 결과를 도출하였다. 본 논문에서 제안한 3 차원 손 추적 방법은 전용 하드웨어 없이 동작하며 기존의 3 차원 손 추적기에 비해 보다 직관적인 인간-컴퓨터 인터페이스 확산에 긍정적 영향을 줄 것으로 기대한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.355-356
• /
• 2023

K-POP의 가파른 성장세에 따라 댄스 콘텐츠 산업이 확산되는 추세이다. 최근 SNS의 보급이 증가하면서 자신의 댄스 영상을 촬영하고 공유하기도 한다. 그러나 초보자들은 자신의 동작이 어떻게 보이는지 평가하는 데 어려움을 겪어 춤동작을 습득하기 쉽지 않다. 본 논문에서는 MediaPipe를 활용하여 안무 영상과 사용자의 춤영상을 비교하고 올바르게 동작을 따라 하고 있는지 검출해 주는 시스템에 대해 기술한다. 본 시스템을 통해 사용자의 춤동작에 대한 피드백을 받을 수 있으며 초보자들도 정확한 춤동작을 연습할 수 있을 것으로 기대한다.

• Journal of Internet of Things and Convergence
• /
• v.9 no.6
• /
• pp.125-134
• /
• 2023

The purpose of this paper is to propose a method to improve the performance of the previous research is characterized by recognizing facial gestures from the 3D coordinates of seven landmarks selected from the MediaPipe Face Mesh model, generating corresponding user events, and executing corresponding commands. The proposed method applied adaptive moving average processing to the cursor positions in the process to stabilize the cursor by alleviating microtremor, and improved performance by blocking temporary opening/closing discrepancies between both eyes when opening and closing both eyes simultaneously. As a result of the usability evaluation of the proposed facial gesture interface, it was confirmed that the average recognition rate of facial gestures was increased to 98.7% compared to 95.8% in the previous research.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.19 no.1
• /
• pp.217-224
• /
• 2024

With the rapid growth of K-POP, the dance content industry is spreading. With the recent increase in the spread of SNS, they also shoot and share their dance videos. However, it is not easy for dance beginners who are new to dancing to learn dance moves because it is difficult to receive objective feedback when dancing alone while watching videos. This paper describes a system that uses MediaPipe to compare choreography videos and dance videos of users and detect whether they are following the movement correctly. This study proposes a method of giving feedback based on Color Map to users by calculating the similarity of dance movements between user images taken with webcam or camera and choreography images using cosine similarity and COCO OKS. Through this system, objective feedback on users' dance movements can be visually received, and beginners are expected to be able to learn accurate dance movements.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.684-686
• /
• 2022

다양한 언어로 소통하고 있는 우리는 다른 언어와 교류하기 위해 번역, 통역의 존재가 필수가 되기도 한다. 하지만 음성언어를 사용하지 않는 즉, 손으로 언어를 표현하는 수어를 번역하는 통역의 존재는 아직 실현되지 않았다. 이에 본 논문에서는 MediaPipe와 OpenCV 라이브러리를 이용하여 손의 형태를 인식하고 CNN 알고리즘을 통한 텍스트 데이터화 하여 수어 동작을 학습시켜 이를 번역시켜주는 시스템을 연구한다. 이를 통해 공공기관을 이용함에 불편함을 줄이고, 농인의 의사를 보다 빠르게 파악할 수 있도록 도와주는 번역 시스템 제작하는 것에 목적이 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.01a
• /
• pp.271-272
• /
• 2023

본 논문에서는 게임 개발 플랫폼인 언리얼 엔진 4를 사용하여 동작 인식 기반 복싱 게임 콘텐츠를 개발하였다. Google 사의 미디어파이프(MediaPipe) 오픈소스를 통해 웹캠으로 플레이어의 동작을 인식하며, 미디어파이프의 Pose Landmarks를 기준으로 게임 내의 캐릭터와 매핑하여 캐릭터 동작을 제어하여 복싱 게임에 대한 동작, 자세, 반응속도 등을 연습할 수 있는 콘텐츠를 즐길 수 있다. 제안한 동작 인식 기반 게임은 MediaPipe 기술을 이용하여 자신의 동작으로 게임 캐릭터를 제어하여 더 강한 몰입감을 느낄 수 있고, 비싼 VR 기기들 없이 웹캠만 있으면 어디서든 즐길 수 있고, 다양한 콘텐츠를 싼 가격에 즐길 수 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.01a
• /
• pp.287-288
• /
• 2023

본 논문에서는 실시간 영상 처리 라이브러리인 OpenCV와 미디어파이프(MediaPipe)를 사용하여 동작 인식 기반 키보드, 마우스 제어 프로그램을 개발하였다. Google의 미디어파이프(MediaPipe)에서 제공하는 손가락 마디 부분의 랜드마크를 인식하며, 실시간 영상 처리로 띄워진 사용자 인터페이스에서 제스처를 통해 키보드 입력과 마우스 제어를 할 수 있으며, Google에서 제공하는 오픈 소스와 결합하여 음성인식을 통한 키보드 입력이 가능하다. 또한, 각 기능끼리 제스처를 통해 기능 변경이 가능하여 다양한 산업 분야에서 원하는 키를 매핑할 수 있기 때문에 활용 가능성이 높으며, 의료 분야에서 감염 예방을 목적으로 사용할 수 있다. 특히 기존의 메타버스에서 사용되는 고가의 센서를 대체하여 비용 절감 부분에서 장점이 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.563-565
• /
• 2023

Acupuncture and acupressure apply needles or pressure to anatomical points for therapeutic benefit. The over 350 mapped acupuncture points in the human body can each treat various conditions, but anatomical variations make precisely locating these acupoints difficult. We propose a computer vision technique using the real-time hand and face tracking capabilities of the MediaPipe framework to identify acupoint locations. Our model detects anatomical facial and hand landmarks, and then maps these to corresponding acupoint regions. In summary, our proposed model facilitates precise acupoint localization for self-treatment and enhances practitioners' abilities to deliver targeted acupuncture and acupressure therapies.

• The Journal of Korean Institute of Electromagnetic Engineering and Science
• /
• v.30 no.5
• /
• pp.399-406
• /
• 2019

The variation of ground-penetrating radar(GPR) signal characteristics from dielectric-filled nonmetallic pipes buried in inhomogeneous ground are compared through a numerical simulation. The relative permittivity distribution of the ground is generated by using the continuous random media(CRM) technique. As a function of the relative permittivity of the material filling the nonmetallic pipe buried in the ground media, GPR signals are simulated by using the finite-difference time-domain(FDTD) method. We show that, unlike the case for homogeneous ground, the distortion characteristics of the reflected waves caused by the front convex surface and the rear concave surface of the pipe buried in inhomogeneous ground are different depending on the permittivity contrast between the inside and outside of the pipe.